【編者按】大模型競(jìng)爭(zhēng)的背后也是基礎(chǔ)設(shè)施的競(jìng)爭(zhēng)。隨著大模型規(guī)模越來(lái)越大，單體數(shù)據(jù)中心所能承受的訓(xùn)練量逐步達(dá)到臨界值，未來(lái)多數(shù)據(jù)中心訓(xùn)練成為趨勢(shì)。大模型三巨頭OpenAI、Google和Anthropic均在布局多數(shù)據(jù)中心訓(xùn)練，Semianalysis對(duì)三巨頭多數(shù)據(jù)中心訓(xùn)練的情況進(jìn)行了分析，以下是具體內(nèi)容。

由于Scaling Laws不斷改進(jìn)，當(dāng)前的人工智能基礎(chǔ)設(shè)施愈發(fā)難以滿(mǎn)足需求。像OpenAI、Google Gemini等領(lǐng)先的前沿人工智能模型訓(xùn)練集群今年已擴(kuò)展到10 萬(wàn)個(gè) GPU ，并計(jì)劃到 2025 年將超過(guò) 30 萬(wàn)個(gè) GPU 集群?？紤]到建設(shè)時(shí)間、許可、法規(guī)和電力可用性等物理限制，傳統(tǒng)的同步訓(xùn)練方法單個(gè)數(shù)據(jù)中心站點(diǎn)的大型模型已達(dá)到臨界點(diǎn)。

Google、OpenAI 和 Anthropic 已經(jīng)在執(zhí)行相關(guān)計(jì)劃，將其大型模型訓(xùn)練從一個(gè)站點(diǎn)擴(kuò)展到多個(gè)數(shù)據(jù)中心園區(qū)。谷歌擁有當(dāng)今世界上最先進(jìn)的計(jì)算系統(tǒng)，并率先大規(guī)模使用了許多關(guān)鍵技術(shù)，這些技術(shù)直到現(xiàn)在才被其他公司采用，例如機(jī)架級(jí)液冷架構(gòu)和多數(shù)據(jù)中心訓(xùn)練。

Gemini 1 Ultra 在多個(gè)數(shù)據(jù)中心進(jìn)行了培訓(xùn)。盡管他們擁有更多的 FLOPS，但他們現(xiàn)有的模型仍落后于 OpenAI 和 Anthropic，因?yàn)樗麄冊(cè)诤铣蓴?shù)據(jù)、強(qiáng)化學(xué)習(xí)和模型架構(gòu)方面仍在追趕，但即將發(fā)布的 Gemini 2 將改變這一現(xiàn)狀。此外，到 2025 年，谷歌將有能力在多個(gè)園區(qū)進(jìn)行千兆瓦級(jí)的訓(xùn)練，但令人驚訝的是，谷歌的長(zhǎng)期計(jì)劃并不像 OpenAI 和微軟那么積極。

大多數(shù)公司才剛剛引入采用 Nvidia GB200 架構(gòu)的高密度液冷 AI 芯片，預(yù)計(jì)明年產(chǎn)量將達(dá)到數(shù)百萬(wàn)顆。另一方面，谷歌已經(jīng)部署了數(shù)百萬(wàn)個(gè)液冷 TPU，占液冷 AI 芯片容量超過(guò) 1 GW。谷歌的基礎(chǔ)設(shè)施與其競(jìng)爭(zhēng)對(duì)手之間的差異肉眼可見(jiàn)。

上圖所示的人工智能培訓(xùn)園區(qū)已擁有接近 300MW 的電力容量，明年將增至 500MW。除了規(guī)模龐大之外，這些設(shè)施還非常節(jié)能。我們可以在下面看到大型冷卻塔和集中設(shè)施供水系統(tǒng)，水管連接三座建筑物，能夠排出近 200 兆瓦的熱量。根據(jù)最新的環(huán)境報(bào)告，該系統(tǒng)允許 Google 全年大部分時(shí)間無(wú)需使用冷卻器即可運(yùn)行，從而在 2023 年實(shí)現(xiàn) 1.1 PUE（電力使用效率）。

雖然上圖僅顯示了設(shè)施供水系統(tǒng)，但水也通過(guò)直接到芯片系統(tǒng)輸送到機(jī)架，液-液熱交換器將熱量從機(jī)架傳輸?shù)街醒朐O(shè)施供水系統(tǒng)。這種非常節(jié)能的系統(tǒng)類(lèi)似于 Nvidia GB200 的 L2L 部署 - 在我們的GB200 深入研究中詳細(xì)描述。

另一方面，微軟當(dāng)今最大的培訓(xùn)集群（如下所示）不支持液體冷卻，并且每棟建筑的 IT 容量降低了約 35%，盡管建筑 GFA（總建筑面積）大致相似。已發(fā)布的數(shù)據(jù)顯示 PUE 為 1.223，但 PUE 計(jì)算對(duì)風(fēng)冷系統(tǒng)有利，因?yàn)榉?wù)器內(nèi)部的風(fēng)扇功率沒(méi)有得到正確考慮 - 對(duì)于風(fēng)冷 H100 服務(wù)器來(lái)說(shuō)，這是服務(wù)器功率的 15%+，而對(duì)于風(fēng)冷 H100 服務(wù)器來(lái)說(shuō)，PUE 計(jì)算為 <5%液體 DLC 冷卻服務(wù)器。因此，對(duì)于提供給芯片的每瓦特，微軟需要額外約 45% 以上的功率用于服務(wù)器風(fēng)扇功率、設(shè)施冷卻和其他非 IT 負(fù)載，而谷歌則接近每瓦特 IT 功率約 15% 的額外負(fù)載。疊加 TPU 的更高效率，情況就變得模糊了。

此外，為了在沙漠（亞利桑那州）實(shí)現(xiàn)良好的能源效率，微軟需要大量的水 - 用水效率 (L/kWh) 為 2.24，遠(yuǎn)高于集團(tuán)平均值 0.49，谷歌的平均值略高于 1。用水量增加引起了媒體的負(fù)面關(guān)注，他們被要求為該園區(qū)即將建設(shè)的數(shù)據(jù)中心改用風(fēng)冷式冷水機(jī)，這將減少每棟建筑的用水量，但會(huì)進(jìn)一步增加 PUE，從而擴(kuò)大與 Google 的能效差距。在未來(lái)的報(bào)告中，我們將更詳細(xì)地探討數(shù)據(jù)中心的工作方式和典型的超大規(guī)模設(shè)計(jì)。

因此，基于現(xiàn)有的數(shù)據(jù)中心參考設(shè)計(jì)，Google 擁有更高效的基礎(chǔ)設(shè)施，并且可以更快地建造兆瓦，因?yàn)槊織澖ㄖ娜萘刻岣吡?>50%，并且每個(gè) IT 負(fù)載需要承包的公用電力更少。

0 1

谷歌的AI訓(xùn)練基礎(chǔ)設(shè)施

谷歌總是有一種獨(dú)特的方式來(lái)構(gòu)建基礎(chǔ)設(shè)施。雖然他們各自的數(shù)據(jù)中心設(shè)計(jì)比當(dāng)今的微軟、亞馬遜和 Meta 更先進(jìn)，但這并不能全面體現(xiàn)他們的基礎(chǔ)設(shè)施優(yōu)勢(shì)。十多年來(lái)，谷歌也一直在建設(shè)大型園區(qū)。下圖所示的 Google 位于愛(ài)荷華州康瑟爾布拉夫斯的站點(diǎn)就是一個(gè)很好的例子，盡管已有多年歷史，但其西部地區(qū)的 IT 容量仍接近 300MW 。雖然大量容量被分配給傳統(tǒng)工作負(fù)載，但我們相信底層的建筑承載著大量的 TPU 。東部擴(kuò)建采用最新的數(shù)據(jù)中心設(shè)計(jì)，將進(jìn)一步提高人工智能培訓(xùn)能力。

谷歌最大的人工智能數(shù)據(jù)中心也彼此非常接近。 Google 有兩個(gè)主要的多數(shù)據(jù)中心區(qū)域，位于俄亥俄州和愛(ài)荷華州/內(nèi)布拉斯加州。如今，康瑟爾布拉夫斯周?chē)膮^(qū)域正在積極擴(kuò)建，容量已達(dá)到現(xiàn)有容量的兩倍以上。除了上述園區(qū)外，谷歌還在該地區(qū)擁有其他三個(gè)站點(diǎn)，這些站點(diǎn)都在建設(shè)中，并且正在升級(jí)為高帶寬光纖網(wǎng)絡(luò)。

三個(gè)站點(diǎn)彼此相距約 15 英里（康瑟爾布拉夫斯、奧馬哈和 Papillon 愛(ài)荷華州），另一個(gè)站點(diǎn)位于內(nèi)布拉斯加州林肯市約 50 英里。下圖所示的 Papillion 園區(qū)將為 Google 在奧馬哈和康瑟爾布拉夫斯周?chē)臉I(yè)務(wù)增加 >250MW 的容量，加上上述總?cè)萘?，?2023 年將超過(guò) 500MW，其中很大一部分分配給 TPU。

另外兩個(gè)站點(diǎn)尚未那么大，但正在快速發(fā)展：到 2026 年，所有四個(gè)園區(qū)合并起來(lái)將形成一個(gè) GW 規(guī)模的人工智能訓(xùn)練集群。約 50 英里外的林肯數(shù)據(jù)中心將成為 Google 最大的單個(gè)站點(diǎn)。

谷歌龐大的 TPU 足跡還不止于此。另一個(gè)即將到來(lái)的千兆瓦級(jí)集群位于俄亥俄州哥倫布市周?chē)?- 該地區(qū)遵循類(lèi)似的主題，正在開(kāi)發(fā)三個(gè)園區(qū)，到 2025 年底總裝機(jī)容量將達(dá)到 1 GW！

如下所示的新奧爾巴尼集群將成為 Google 最大的集群之一，并且已經(jīng)托管 TPU v4、v5、v6。

谷歌俄亥俄州和谷歌愛(ài)荷華州/內(nèi)布拉斯加州的集中區(qū)域也可以進(jìn)一步互連，為訓(xùn)練單個(gè)模型提供數(shù)千兆瓦的電力。我們?cè)跀?shù)據(jù)中心模型中擁有超過(guò) 5,000 個(gè)數(shù)據(jù)中心的精確詳細(xì)的季度歷史和預(yù)測(cè)電力數(shù)據(jù)。這包括人工智能實(shí)驗(yàn)室、超大規(guī)模、新云和企業(yè)的集群構(gòu)建狀態(tài)。本報(bào)告稍后將詳細(xì)介紹多數(shù)據(jù)中心培訓(xùn)的軟件堆棧和方法。

0 2

微軟和OpenAI開(kāi)始反擊？

微軟和 OpenAI 很清楚他們短期內(nèi)在基礎(chǔ)設(shè)施方面的劣勢(shì)，并開(kāi)始了一項(xiàng)雄心勃勃的基礎(chǔ)設(shè)施建設(shè)，以超越谷歌。他們正試圖在自己的水冷多數(shù)據(jù)中心訓(xùn)練集群游戲中擊敗谷歌。

微軟和 OpenAI正在建設(shè)接近GW級(jí)的超密集液冷數(shù)據(jù)中心園區(qū)，并與Oracle、Crusoe、CoreWeave、QTS、Compass 等公司合作，幫助他們實(shí)現(xiàn)比 Google更大的總AI 訓(xùn)練和推理能力。

其中一些園區(qū)一旦建成，將比目前任何一個(gè)谷歌園區(qū)還要大。事實(shí)上，微軟在威斯康星州的園區(qū)將比谷歌在俄亥俄州的所有園區(qū)加起來(lái)還要大，但建設(shè)它需要一些時(shí)間。

更雄心勃勃的是 OpenAI 和微軟計(jì)劃將各個(gè)超大型園區(qū)互連在一起，并在全國(guó)范圍內(nèi)開(kāi)展大規(guī)模的分布式培訓(xùn)。微軟和 OpenAI 將率先推出多 GW 計(jì)算系統(tǒng)。他們與供應(yīng)鏈合作伙伴一起深入開(kāi)展有史以來(lái)最雄心勃勃的基礎(chǔ)設(shè)施建設(shè)。

這份報(bào)告將在接近尾聲時(shí)詳細(xì)介紹微軟和 OpenAI 的基礎(chǔ)設(shè)施建設(shè)。在此之前，它將首先介紹多校區(qū)同步和異步訓(xùn)練方法、落后者、容錯(cuò)、靜默數(shù)據(jù)損壞以及與多數(shù)據(jù)中心訓(xùn)練相關(guān)的各種挑戰(zhàn)。

0 3

多數(shù)據(jù)中心分布式訓(xùn)練

大型語(yǔ)言模型 ( LLMs ) 主要是同步訓(xùn)練的。訓(xùn)練數(shù)據(jù)通常分為幾個(gè)較小的小批量，每個(gè)小批量都由在不同 GPU 組上運(yùn)行的模型的單獨(dú)數(shù)據(jù)副本進(jìn)行處理。處理完小批量后，每個(gè)副本都會(huì)計(jì)算梯度，然后所有副本必須在每個(gè)小批量處理結(jié)束時(shí)同步。

這種同步涉及聚合來(lái)自所有副本的梯度，通常通過(guò)像全歸約這樣的集體通信操作。一旦梯度被聚合，它們就會(huì)被平均并用于一致更新模型的參數(shù)。這確保了所有數(shù)據(jù)副本都維護(hù)一組相同的參數(shù)，從而使模型能夠以穩(wěn)定的方式收斂。此過(guò)程的鎖步性質(zhì)（所有設(shè)備在進(jìn)入下一步之前等待彼此完成）確保沒(méi)有設(shè)備在模型狀態(tài)方面領(lǐng)先或落后太遠(yuǎn)。

雖然同步梯度下降提供了穩(wěn)定的收斂，但它也帶來(lái)了重大挑戰(zhàn)，特別是當(dāng)您在單個(gè)訓(xùn)練作業(yè)中擴(kuò)展到超過(guò) 100k+ 芯片時(shí)，通信開(kāi)銷(xiāo)會(huì)增加。同步性質(zhì)還意味著您有嚴(yán)格的延遲要求，并且必須有一個(gè)連接所有芯片的大管道，因?yàn)閿?shù)據(jù)交換會(huì)發(fā)生巨大的突發(fā)。

當(dāng)您嘗試使用來(lái)自多個(gè)區(qū)域的 GPU 來(lái)處理相同的訓(xùn)練工作負(fù)載時(shí)，它們之間的延遲會(huì)增加。即使光纖中的光速為 208,188 公里/秒，從美國(guó)東海岸到美國(guó)西海岸的往返時(shí)間 (RTT) 也為 43.2 毫秒 (ms)。此外，各種電信設(shè)備也會(huì)造成額外的延遲。這是一個(gè)很大的延遲，對(duì)于標(biāo)準(zhǔn)同步訓(xùn)練來(lái)說(shuō)很難克服。

根據(jù)阿姆達(dá)爾定律，當(dāng)存在大量同步活動(dòng)時(shí)，向工作負(fù)載添加更多芯片所帶來(lái)的加速效果會(huì)遞減。當(dāng)您添加更多芯片時(shí)，并且程序運(yùn)行時(shí)需要同步的部分（即對(duì)應(yīng)于保持串行且無(wú)法并行化的計(jì)算比例）保持不變，將達(dá)到理論極限，即使 GPU 數(shù)量增加一倍不會(huì)使總體吞吐量增加超過(guò) 1%。

除了阿姆達(dá)爾定律描述的將更多 GPU 擴(kuò)展到單個(gè)工作負(fù)載的理論限制之外，同步梯度下降還存在諸如落后者等實(shí)際挑戰(zhàn)。當(dāng)只有一個(gè)芯片慢 10% 時(shí)，就會(huì)導(dǎo)致整個(gè)訓(xùn)練運(yùn)行慢 10%。例如，在下圖中，從第 7,500 步到第 19,000 步，字節(jié)跳動(dòng)看到他們的 MFU 慢慢下降，因?yàn)楣ぷ髫?fù)載中越來(lái)越多的芯片逐漸變慢，整個(gè)工作負(fù)載變得落后。

在識(shí)別并清除掉隊(duì)者后，他們從檢查點(diǎn)重新開(kāi)始訓(xùn)練工作量，將 MFU 增加到正常水平。正如您所看到的，MFU 從 40% 降至 30%，下降了 25%。當(dāng)您擁有 100 萬(wàn)個(gè) GPU 時(shí)，MFU 減少 25% 相當(dāng)于在任何給定時(shí)間有 25 萬(wàn)個(gè) GPU 處于空閑狀態(tài)，僅 IT 資本支出就相當(dāng)于超過(guò) 10B 美元的成本。