谷歌云正在努力推出其所謂的迄今為止最強大的人工智能基礎(chǔ)設(shè)施。11月7日谷歌云推出了第七代張量處理單元（TPU） Ironwood和擴展的基于Arm的計算選項，旨在滿足對人工智能模型部署的激增需求——該公司將其描述為從訓練模型到為數(shù)十億用戶服務(wù)的推理服務(wù)根本性行業(yè)轉(zhuǎn)變。

谷歌最新的定制人工智能加速器芯片——TPU 芯片 Ironwood將在未來幾周內(nèi)全面上市。Claude 系列模型背后的人工智能安全公司 Anthropic 披露了獲得多達 100 萬個此類 TPU 芯片的計劃，這是對該技術(shù)的驚人驗證，該承諾價值數(shù)百億美元，是迄今為止已知最大的人工智能基礎(chǔ)設(shè)施交易之一。

此舉凸顯了云提供商之間為控制人工智能驅(qū)動的基礎(chǔ)設(shè)施層而進行的競爭日益的激烈，盡管人們對該行業(yè)能否維持當前資本支出速度的質(zhì)疑越來越大。谷歌的方法——構(gòu)建定制芯片，而不是僅僅依賴英偉達占主導地位的 GPU 芯片——相當于長期押注，即從芯片設(shè)計到軟件的垂直整合將提供卓越的經(jīng)濟性和性能。

谷歌云新TPU定位于AI推理服務(wù)，而不僅僅是訓練

谷歌新TPU定位于“推理時代”，公司將資源從訓練前沿人工智能模型轉(zhuǎn)移到將它們部署到每天為數(shù)百萬或數(shù)十億個請求提供服務(wù)的生產(chǎn)應(yīng)用程序中。

當今的前沿模型，包括谷歌的 Gemini、Veo 和 Imagen 以及 Anthropic 的 Claude，都在TPU張量處理單元上訓練和服務(wù)。對于許多組織來說，重點正在從訓練這些模型轉(zhuǎn)向支持與它們進行有用的、響應(yīng)迅速的交互。

這種轉(zhuǎn)變對基礎(chǔ)設(shè)施的要求具有深遠的影響。訓練工作負載通?？梢匀萑膛幚砗洼^長的完成時間，而推理（實際運行經(jīng)過訓練的模型以生成響應(yīng)的過程）需要始終如一的低延遲、高吞吐量和堅定不移的可靠性。需要 30 秒才能響應(yīng)的聊天機器人或經(jīng)常超時的編碼助手，無論底層模型的功能如何，都變得無法使用。

代理工作流程（人工智能系統(tǒng)采取自主行動而不是簡單地響應(yīng)提示）帶來了特別復雜的基礎(chǔ)設(shè)施挑戰(zhàn)，需要專門的人工智能加速器和通用計算之間的緊密協(xié)調(diào)。

Ironwood 的架構(gòu)內(nèi)部：9,216 個芯片作為一臺超級計算機工作

Ironwood 不僅僅是對谷歌第六代 TPU 的漸進式改進。根據(jù)該公司共享的技術(shù)規(guī)范，與前代產(chǎn)品相比，它在訓練和推理工作負載方面提供了4倍多的性能——谷歌將這一優(yōu)勢歸因于系統(tǒng)級協(xié)同設(shè)計方法，而不是簡單地增加晶體管數(shù)量。

該架構(gòu)最顯著的特點是其規(guī)模。單個 Ironwood“吊艙”——一個緊密集成的 TPU 芯片單元，充當一臺超級計算機——可以通過谷歌專有的芯片間互連網(wǎng)絡(luò)連接多達 9,216 個單獨的芯片，運行速度為每秒 9.6 太比特。從這個帶寬的角度來看，它大致相當于在不到兩秒鐘的時間內(nèi)下載整個美國國會圖書館。

這種巨大的互連結(jié)構(gòu)允許 9,216 個芯片共享對 1.77 PB 高帶寬內(nèi)存的訪問——內(nèi)存足夠快，可以跟上芯片的處理速度。這大約相當于 40,000 部高清藍光電影的工作內(nèi)存，可由數(shù)千個處理器同時訪問?！熬蜕舷挛亩?，這意味著 Ironwood Pods 可以提供比下一個最接近的競爭對手多 118 倍的 FP8 ExaFLOPS，”谷歌在技術(shù)文檔中表示。

該系統(tǒng)采用光電路交換技術(shù)，充當“動態(tài)、可重構(gòu)結(jié)構(gòu)”。當單個組件出現(xiàn)故障或需要維護時（在這種規(guī)模下是不可避免的），OCS 技術(shù)會在幾毫秒內(nèi)自動圍繞中斷重新路由數(shù)據(jù)流量，從而使工作負載能夠繼續(xù)運行，而不會造成用戶可見的中斷。

這種可靠性重點反映了部署前五代 TPU 的經(jīng)驗教訓。谷歌報告稱，自 2020 年以來，其液冷系統(tǒng)全機隊正常運行時間保持了約 99.999% 的可用性，相當于每年的停機時間不到六分鐘。

Anthropic 的 10 億美元賭注驗證了谷歌的定制芯片戰(zhàn)略

也許對 Ironwood 能力最重要的外部驗證來自于 Anthropic 對獲取多達 100 萬個 TPU 芯片的承諾——在一個即使是 10,000 到 50,000 個加速器集群也被認為是巨大的行業(yè)中，這是一個驚人的數(shù)字。

Anthropic表示：“Anthropic 和谷歌有著長期的合作伙伴關(guān)系，這一最新的擴張將幫助我們繼續(xù)發(fā)展定義人工智能前沿所需的計算能力。我們的客戶——從財富 500 強公司到人工智能原生初創(chuàng)公司——依靠 Claude 來完成他們最重要的工作，這種擴展的產(chǎn)能確保我們能夠滿足呈指數(shù)級增長的需求?！?/p>

根據(jù)另一份聲明，Anthropic 將獲得“到 2026 年上線的容量遠遠超過千兆瓦”——足以為一個小城市供電。該公司特別將 TPU 的“性價比和效率”列為做出決定的關(guān)鍵因素，以及“使用 TPU 訓練和服務(wù)其模型的現(xiàn)有經(jīng)驗”。

行業(yè)分析師估計，承諾訪問 100 萬個 TPU 芯片以及相關(guān)的基礎(chǔ)設(shè)施、網(wǎng)絡(luò)、電源和冷卻，可能代表一份價值數(shù)百億美元的多年合同——這是歷史上已知最大的云基礎(chǔ)設(shè)施承諾之一。

Anthropic認為：“Ironwood 在推理性能和訓練可擴展性方面的改進將幫助我們高效擴展，同時保持客戶期望的速度和可靠性?！?/p>

隱藏的挑戰(zhàn)：為 1 兆瓦服務(wù)器機架供電和冷卻

這些發(fā)布的背后是谷歌在最近的開放計算項目歐洲、中東和非洲峰會上解決的巨大物理基礎(chǔ)設(shè)施挑戰(zhàn)。該公司透露，它正在實施 +/-400 伏直流電力傳輸，能夠支持每個機架高達 1 兆瓦的電力，比典型部署增加了十倍。

人工智能時代需要更強大的電力傳輸能力，到 2030 年，ML 將需要每個 IT 機架超過 500 kW。

谷歌正在與 Meta 和 Microsoft 合作，標準化高壓直流配電的電氣和機械接口。該公司選擇 400 VDC 專門用于利用電動汽車建立的供應(yīng)鏈，“實現(xiàn)更大的規(guī)模經(jīng)濟、更高效的制造以及更高的質(zhì)量和規(guī)?！?。

在冷卻方面，谷歌透露將把第五代冷卻分配單元設(shè)計貢獻給開放計算項目。該公司“在過去7年中在 2,000 多個 TPU Pod 上部署了千兆瓦規(guī)模的液體冷卻”，整個機隊的可用性約為 99.999%。

在給定的溫度變化下，水每單位體積輸送的熱量大約是空氣的 4,000 倍——這在單個 AI 加速器芯片的耗散功率越來越大 1,000 瓦或更多時至關(guān)重要。

TPU挑戰(zhàn)英偉達的 AI 加速器主導地位

谷歌發(fā)布公告之際，人工智能基礎(chǔ)設(shè)施市場正處于拐點。雖然 Nvidia 在 AI 加速器領(lǐng)域保持著壓倒性的主導地位——估計占據(jù) 80-95% 的市場份額——但云提供商越來越多地投資定制芯片，以區(qū)分其產(chǎn)品并提高單位經(jīng)濟效益。

亞馬遜云科技通過基于 Graviton Arm 的 CPU 和 Inferentia / Trainium AI 芯片率先采用了這種方法。Microsoft 已經(jīng)開發(fā)了 Cobalt 處理器，據(jù)報道正在開發(fā) AI 加速器。谷歌現(xiàn)在提供主要云提供商中最全面的定制芯片產(chǎn)品組合。

該戰(zhàn)略面臨固有挑戰(zhàn)。定制芯片開發(fā)需要巨大的前期投資——通常數(shù)十億美元。專業(yè)加速器的軟件生態(tài)系統(tǒng)落后于 Nvidia 的 CUDA 平臺，后者受益于 15+ 年的開發(fā)人員工具。人工智能模型架構(gòu)的快速發(fā)展帶來了風險，即隨著新技術(shù)的出現(xiàn)，針對當今模型優(yōu)化的定制芯片變得不那么重要。

然而，谷歌認為其方法具有獨特的優(yōu)勢?！斑@就是我們十年前構(gòu)建第一個 TPU 的方式，這反過來又解鎖了八年前 Transformer 的發(fā)明——正是為大多數(shù)現(xiàn)代人工智能提供動力的架構(gòu)，”該公司指出，他指的是谷歌研究人員在 2017 年發(fā)表的開創(chuàng)性論文“注意力就是你所需要的”。

論點是，緊密集成——“模型研究、軟件和硬件開發(fā)在一個屋檐下”——使得使用現(xiàn)成組件無法實現(xiàn)的優(yōu)化成為可能。

除了 Anthropic 之外，其他幾位客戶也提供了早期反饋。開發(fā)創(chuàng)意人工智能工具的 Lightricks 報告稱，早期的 Ironwood 測試“讓我們非常熱衷于”為我們的數(shù)百萬全球客戶創(chuàng)建“更細致、更精確、更高保真度的圖像和視頻生成”，該公司研究總監(jiān) Yoav HaCohen 說。

谷歌的公告提出了將在未來幾個季度出現(xiàn)的問題。該行業(yè)能否維持當前的基礎(chǔ)設(shè)施支出，主要人工智能公司集體投入數(shù)千億美元？定制芯片在經(jīng)濟上會優(yōu)于 Nvidia GPU 嗎？模型架構(gòu)將如何發(fā)展？

目前，谷歌似乎致力于幾十年來定義該公司的戰(zhàn)略：構(gòu)建自定義基礎(chǔ)設(shè)施以實現(xiàn)在商用硬件上不可能實現(xiàn)的應(yīng)用程序，然后將該基礎(chǔ)設(shè)施提供給希望在沒有資本投資的情況下具有類似功能的客戶。

隨著人工智能行業(yè)從研究實驗室過渡到為數(shù)十億用戶提供服務(wù)的生產(chǎn)部署，基礎(chǔ)設(shè)施層——使這一切運行的芯片、軟件、網(wǎng)絡(luò)、電源和冷卻——可能與模型本身一樣重要。

如果 Anthropic 愿意承諾獲得多達 100 萬個芯片有任何跡象的話，那么谷歌對專為推理時代設(shè)計的定制芯片的押注可能會在需求達到拐點時得到回報。