隨著科技的飛速發(fā)展，人工智能和機(jī)器學(xué)習(xí)逐漸融入我們生活的方方面面。 作為全球領(lǐng)先的云計算公司，亞馬遜云科技始終站在科技前沿，探索創(chuàng)新的可能性。

其中，芯片領(lǐng)域是亞馬遜云科技多年來大力投入和重度創(chuàng)新的一個方向。從云端數(shù)據(jù)中心到智能家居設(shè)備，亞馬遜云科技的芯片技術(shù)正為智能科技提供原動力。

隨著生成式AI的崛起，當(dāng)“所有行業(yè)都值得再做一遍”成為普遍的悸動，由此帶來的諸如GPU短缺、算力饑渴的窘境，已不再是廟堂之高的學(xué)術(shù)討論，而是順理成章地成為茶余飯后的日常談資。

芯片可以被視為現(xiàn)代科技進(jìn)步的基石之一，芯片是工作負(fù)載的基礎(chǔ)，機(jī)器學(xué)習(xí)訓(xùn)練和生成式AI應(yīng)用等廣泛的工作負(fù)載期待著芯片提供更高性價比和更高能效。

生成式AI與芯片可以看作是“賽車“與”引擎”。生成式AI是賽車，需要在比賽中快速、準(zhǔn)確地完成任務(wù)，而芯片則是引擎，為賽車提供強(qiáng)大的動力。

沒有強(qiáng)大的引擎，賽車難以在比賽中取得勝利。同樣地，沒有高性能的芯片，生成式AI在處理復(fù)雜任務(wù)時就會顯得力不從心，生成式AI的性能和創(chuàng)造力也會受到限制。

三大“芯”動力提供強(qiáng)勁算力

亞馬遜云科技2023 re:Invent 在美國剛剛落下帷幕，中國行城市巡展活動隨即在北京開啟，最新的技術(shù)和創(chuàng)新之花隨著生成式AI的浪涌潮至即將開遍神州大地。

萬眾矚目的“芯片”這一關(guān)鍵詞無疑撩撥著千行百業(yè)的敏感神經(jīng)。

亞馬遜云科技2023 re:Invent

中國行城市巡展活動北京開啟

亞馬遜云科技在2023 re:Invent大會上宣布，Amazon Graviton處理器再次升級，Amazon Graviton系列是基于Arm架構(gòu)的服務(wù)器CPU，首款產(chǎn)品在2018年發(fā)布，近5年間一共更迭了四代。

新一代的AmazonGraviton4處理器提供了更高的性能和效率Amazon Graviton4與當(dāng)前一代Amazon Graviton3處理器相比，性能提升高達(dá)30%，獨(dú)立核心增加50%以上，內(nèi)存帶寬提升75%以上，為在Amazon Elastic Compute Cloud (Amazon EC2)上運(yùn)行的工作負(fù)載提供最佳性能和能效。

亞馬遜云科技大中華區(qū)產(chǎn)品部總經(jīng)理陳曉建

介紹Amazon Graviton4 處理器

基于Amazon Graviton4的Amazon EC2 R8g實(shí)例目前已提供預(yù)覽。

但是，有很多人會問，升級后的Amazon Graviton4畢竟是一款通用處理器，與生成式AI究竟有多大的關(guān)系？

這其實(shí)一個靈魂拷問，我們需要理解的是，Amazon Graviton4 的確并非專為生成式 AI 設(shè)計的芯片，但它作為亞馬遜云科技的高性能通用處理器，對生成式 AI 應(yīng)用有著積極的影響。

因?yàn)橥ㄟ^提高性能、優(yōu)化能效以及與亞馬遜云科技其他服務(wù)的緊密集成，Amazon Graviton4 處理器可以幫助推動生成式 AI 在云計算環(huán)境中的發(fā)展。

譬如，其強(qiáng)大的計算能力可以支持各種類型的工作負(fù)載就包括機(jī)器學(xué)習(xí)和人工智能應(yīng)用。對于生成式 AI 工作負(fù)載來說，更快的計算速度意味著更短的訓(xùn)練時間、更快的推理響應(yīng)以及更好的用戶體驗(yàn)。

簡單說，Amazon Graviton4不是一般的通用的處理器芯片，因?yàn)槠湔Q生在亞馬遜云科技大家庭中，還可以集成其他很多服務(wù)。

亙古不變的道理是：強(qiáng)將手下無弱兵，亞馬遜云科技升級通用芯片Amazon Graviton4 與生成式 AI 的發(fā)展自然是正相關(guān)，懂的自然都懂。

相比Amazon Graviton4，Amazon Trainium2芯片則專為以高性能訓(xùn)練具有數(shù)萬億個參數(shù)或變量的基礎(chǔ)模型和大語言模型而構(gòu)建，它基于 NVIDIA Hopper 架構(gòu)，采用 7nm 工藝制造。

陳曉建介紹Amazon Trainium2處理器

Amazon Trainium2與Amazon Trainium芯片相比，在性能比第一代快 4 倍，比采用 X86 處理器的Amazon EC2 實(shí)例快 3 倍，這可以幫助開發(fā)人員更快地訓(xùn)練和部署 ML 模型。

Amazon Trainium2 的功耗比Amazon Trainium能源效率（每瓦性能）提升多達(dá)2倍，這可以幫助開發(fā)人員節(jié)省成本。

當(dāng)然還有大家關(guān)心的時延指標(biāo)，Amazon Trainium 2 的延遲比 Trainium 降低了 50%。這意味著，使用Amazon Trainium 2 可以提高人工智能模型的推理性能。

Amazon Trainium2 適用于圖像分類、自然語言處理、機(jī)器翻譯、推薦系統(tǒng)、生成式模型等ML工作負(fù)載，Amazon Trainium2 目前處于預(yù)覽版，可在亞馬遜云科技在全球范圍內(nèi)的所有可用區(qū)域使用。

Amazon EC2 Trn2實(shí)例采用最新的Amazon Trainium2，一個單獨(dú)實(shí)例包含16個Trainium加速芯片。Amazon Trainium2實(shí)例致力于為客戶在新一代EC2 UltraClusters中擴(kuò)展多達(dá)100,000個并與Amazon Trainium2加速芯片，并與Amazon Elastic Fabric Adapter（EFA）PB級網(wǎng)絡(luò)互聯(lián)，提供的算力高達(dá)65 exaflops，客戶可按需獲得超級計算級別的性能。

總而言之，Amazon Trainium2 是一款性能強(qiáng)大、功耗低、成本效益高的 ML 加速器。它可以幫助開發(fā)人員更快、更高效地訓(xùn)練和部署 ML 模型。

亞馬遜云科技與英偉達(dá)宣布了擴(kuò)大合作，以共同開發(fā)和部署人工智能基礎(chǔ)設(shè)施。

雙方基于迄今為止最強(qiáng)大的 GPU 推出首款云AI超級計算機(jī)，結(jié)合了英偉達(dá)H200 Grace Hopper超級芯片和亞馬遜云科技UltraCluster擴(kuò)展功能，來加速人工智能模型的訓(xùn)練和推理。

該項(xiàng)目代號為 "Project Ceiba"。這臺超級計算機(jī)配備了16384顆英偉達(dá)的H200 Grace Hopper超級芯片，能夠處理65 exaflops速度等級的AI運(yùn)算。這個系統(tǒng)是大規(guī)模的，使用了H200 NVL32與Amazon EFA互連技術(shù)。

陳曉建介紹GH200 AI超級計算集群

該超級計算機(jī)旨在提供強(qiáng)大的AI基礎(chǔ)設(shè)施和服務(wù)，以滿足日益增長的高性能計算需求，特別是在機(jī)器學(xué)習(xí)和人工智能領(lǐng)域。

通過結(jié)合亞馬遜云科技的云計算能力和英偉達(dá)在高性能計算硬件方面的專長，兩家公司希望推動科學(xué)研究、工程模擬和其他對計算能力有高要求的應(yīng)用。

此外，亞馬遜云科技還宣布將首先提供NVIDIA GH200 Grace Hopper超級芯片作為云服務(wù)提供商，并且這些芯片將通過NVIDIA DGX Cloud與NVIDIA NVLink技術(shù)相連。這一舉措將進(jìn)一步加強(qiáng)亞馬遜云科技在云端高性能計算領(lǐng)域的地位，并為客戶提供更多選擇來處理復(fù)雜的AI工作負(fù)載。

更為重要的是，通過提供云端訪問，亞馬遜云科技和英偉達(dá)正在降低企業(yè)和研究機(jī)構(gòu)使用超級計算機(jī)的門檻，使得更多組織能夠受益于這些強(qiáng)大的計算資源，這在當(dāng)前算力成本高昂的背景下顯得尤為重要。

正所謂：為技術(shù)普惠而重塑云計算。

總之，Project Ceiba不僅代表著高性能計算技術(shù)的巨大進(jìn)步，還將對許多領(lǐng)域產(chǎn)生深遠(yuǎn)影響，包括科研、商業(yè)和整個社會。

提供軟件和工具讓算力更高效

光有性能爆棚的芯片，對于開發(fā)人員來說還遠(yuǎn)遠(yuǎn)不夠，亞馬遜云科技 提供一系列軟件和工具，幫助開發(fā)人員更容易地使用亞馬遜云科技的訓(xùn)練和推理芯片來開發(fā)生成式 AI 應(yīng)用。

Amazon SageMaker是亞馬遜云科技提供的完全托管的人工智能服務(wù)，包括訓(xùn)練、推理、部署和管理等全流程服務(wù)，支持各種生成式 AI 模型，并提供豐富的軟件開發(fā)工具包和 API。

具體來說，Amazon SageMaker 提供以下功能，可以幫助開發(fā)人員更容易地使用亞馬遜云科技的訓(xùn)練和推理芯片來開發(fā)生成式 AI 應(yīng)用：

提供各種生成式 AI 模型：Amazon SageMaker 提供各種生成式 AI 模型，包括圖像生成、文本生成、音頻生成和視頻生成等，開發(fā)人員可以根據(jù)自己的需求選擇合適的模型。

提供豐富的軟件開發(fā)工具包和 API：Amazon SageMaker 提供豐富的軟件開發(fā)工具包和 API，可以幫助開發(fā)人員快速構(gòu)建和部署生成式 AI 應(yīng)用。

支持各種訓(xùn)練和推理芯片：Amazon SageMaker 支持各種訓(xùn)練和推理芯片，包括 Amazon 的 Inferentia 和 Trainium 芯片，以及英偉達(dá) GPU。開發(fā)人員可以根據(jù)自己的需求選擇合適的芯片。

當(dāng)然還不僅僅是這三項(xiàng)。

譬如，Amazon SageMaker提供自動調(diào)優(yōu)功能可以幫助開發(fā)人員自動調(diào)整模型訓(xùn)練參數(shù)，以獲得最佳性能。這對于生成式 AI 模型特別有用，因?yàn)檫@些模型通常需要大量的計算資源才能訓(xùn)練。

再譬如，Amazon SageMaker模型預(yù)測功能可以幫助開發(fā)人員預(yù)測模型在不同數(shù)據(jù)集上的性能。這可以幫助開發(fā)人員選擇合適的訓(xùn)練和推理芯片，以獲得最佳的模型性能。

還有，Amazon SageMaker 還提供各種訓(xùn)練套件和推理容器。

我們再來看看為生成AI而生的Amazon Bedrock。

Amazon Bedrock是一項(xiàng)完全托管的服務(wù)，可通過單一 API 提供多種高性能基礎(chǔ)模型（FM）的選擇，以及構(gòu)建生成式 AI 應(yīng)用程序所需的一系列廣泛功能，通過安全性、隱私性和負(fù)責(zé)任的人工智能簡化開發(fā)。

陳曉建介紹Amazon Bedrock

Amazon Bedrock 提供了一個統(tǒng)一的API來訪問多個高性能的基礎(chǔ)模型（FM），包括來自不同公司的模型，如 Amazon Titan、 AI21 Labs、Anthropic、Cohere、Meta 和 StabilityAI，這使得開發(fā)者能夠輕松集成不同的基礎(chǔ)模型，并根據(jù)需要選擇最適合他們應(yīng)用的模型。

Amazon Bedrock是一個完全托管的服務(wù)，這意味著 亞馬遜云科技負(fù)責(zé)底層基礎(chǔ)設(shè)施的管理，包括擴(kuò)展、監(jiān)控、安全性和更新。這讓開發(fā)人員可以專注于構(gòu)建和優(yōu)化他們的應(yīng)用程序，而不是擔(dān)心基礎(chǔ)設(shè)施的維護(hù)問題。

Amazon Bedrock 還提供自定義功能，可幫助開發(fā)人員根據(jù)自己的需求調(diào)整 FM。開發(fā)人員可以使用微調(diào)技術(shù)來調(diào)整 FM，以適應(yīng)特定的應(yīng)用程序需求；開發(fā)人員可以使用檢索增強(qiáng)生成（RAG） 技術(shù)來生成更高質(zhì)量的生成內(nèi)容。

陳曉建介紹Amazon Neuron SDK

當(dāng)然還有安全合規(guī)、社區(qū)支援等亞馬遜云科技傳統(tǒng)優(yōu)勢，需要強(qiáng)調(diào)一點(diǎn)的是，亞馬遜云科技還提供了Amazon Elastic Inference、 Amazon Greengrass、Amazon Neuron SDK ……等一系列的軟件和工具來幫助開發(fā)人員快速構(gòu)建和部署生成式 AI 應(yīng)用，就不再一一舉例了。

結(jié) 語

亞馬遜云科技芯片領(lǐng)域的探索歷程始于2013年，從整個過程來看，可以分為為了滿足自身業(yè)務(wù)需求，亞馬遜云科技開始涉足芯片領(lǐng)域，研發(fā)出第一款定制芯片Nitro，用于提升數(shù)據(jù)中心的效率的起步階段、隨著技術(shù)的積累，亞馬遜云科技逐漸將芯片應(yīng)用于更多場景，如智能家居、無人駕駛等，不斷拓展其應(yīng)用范圍的進(jìn)階階段，以及推動生成式AI每一步的跨越階段。

亞馬遜云科技“芯”動力所展現(xiàn)出的強(qiáng)大實(shí)力，正是源于不斷地創(chuàng)新精神和技術(shù)積累。作為全球領(lǐng)先的云計算公司，亞馬遜云科技將繼續(xù)以重塑、創(chuàng)新的姿態(tài)引領(lǐng)智能科技新時代。

而作為用戶和消費(fèi)者，也將享受到更多由亞馬遜云科技“芯”動力帶來的便捷、安全和智能化的生活體驗(yàn)。

2023亞馬遜云科技re:Invent中國行城市巡展活動還將覆蓋上海、廣州、深圳、成都、青島、南京、西安、杭州、長沙9個城市。巡展活動將為中國客戶全面展示亞馬遜云科技最新的云計算技術(shù)、行業(yè)應(yīng)用及實(shí)踐，推動數(shù)字化轉(zhuǎn)型以及促進(jìn)生成式AI的應(yīng)用和發(fā)展。更多信息請點(diǎn)擊“閱讀原文”一鏈速看亞馬遜云科技 re:Invent 2023 的所有熱門發(fā)布。