如果你覺得英偉達的GB200機架式系統(tǒng)已經(jīng)夠龐大了，那么CEO黃仁勛的野心才剛剛開始。在上個月的GTC大會上，這家全球市值最高的公司公布了計劃，擬利用光子互連技術，在2028年前將超過一千個GPU集成到一個巨型系統(tǒng)中。

該公司并未坐等供應鏈的穩(wěn)定。過去一個月，這家GPU巨頭已向Marvell、Coherent和Lumentum等光學和互連技術公司投資數(shù)十億美元，為這些系統(tǒng)的廣泛部署做好準備。

黃仁勛在GTC主題演講中表示：“對于我們生態(tài)系統(tǒng)中的所有參與者來說，我們需要更大的產(chǎn)能。我們需要更大的銅纜產(chǎn)能；我們需要更大的光器件產(chǎn)能；我們需要更大的CPO產(chǎn)能；正因如此，我們一直在與大家合作，為實現(xiàn)這一增長水平奠定基礎。”

英偉達走到今天這一步的歷程其實開始得更早。事實上，早在2022年底OpenAI向世界發(fā)布ChatGPT時，英偉達就已經(jīng)意識到自己遇到了問題。

當時，這家GPU巨頭最強大的系統(tǒng)也只有8個GPU，而推動人工智能蓬勃發(fā)展的模型卻需要數(shù)千個GPU進行訓練。英偉達需要更大的處理器，或者至少需要一個速度更快的網(wǎng)絡，能夠有效地將工作負載分配到數(shù)十個芯片上。

我們在2023年英偉達的Grace Hopper超級芯片上首次窺見了這種技術的雛形，但直到2024年初，其全貌才得以展現(xiàn)。同年在GTC大會上亮相的Grace Blackwell NVL72，是一款功率高達120千瓦的巨型機器，它采用銅質背板，內部布滿數(shù)英里的線纜，使36個節(jié)點和72個GPU能夠像一個巨大的AI加速器一樣協(xié)同工作。

Nvidia 網(wǎng)絡高級副總裁 Gilad Shainer 告訴El Reg ，銅是實現(xiàn)這一目標的自然選擇。

“如果條件允許，銅線是最佳的連接方式，”他說?！八浅＝?jīng)濟實惠，價格低廉，而且零功耗。它非?？煽?，也沒有任何有源元件?！?/strong>

但銅線并非完美無缺。在 1.8 TB/s 的傳輸速率下，由于 GPU 之間通信，銅線只能延伸幾英尺，信號就會開始衰減。如果你曾經(jīng)好奇為什么 NVL72 的 NVSwitch 都位于機架中央，那是因為線路長度有限。銅線傳輸距離的局限性也意味著英偉達必須盡可能多地將 GPU 塞進單個機架中。

兩年后，英偉達正迅速接近銅的極限，如果想要組裝更大的 GPU 系統(tǒng)，就需要采用光學技術。

可插拔問題

當黃先生首次展示代號為 Oberon 的 NVL72 機架時，將兩個加速器進行光學連接的唯一商業(yè)可行方法是使用可插拔光學器件。

這些模塊的大小和一包口香糖差不多，包含了將電信號轉換成光信號以及將光信號轉換回電信號所需的所有激光器、定時器和數(shù)字信號處理裝置。

可插拔設備在數(shù)據(jù)中心網(wǎng)絡中并不新鮮，但將其用于像英偉達的 NVLink 這樣的縱向擴展計算架構，會帶來一些問題。

為了達到 1.8 TB/s 的帶寬，每塊 Blackwell GPU 需要 18 個 800 Gbps 的可插拔模塊：9 個用于加速器，另外 9 個用于交換機。這些可插拔模塊本身功耗并不高——大約 10-15 瓦——但 72 塊 GPU 加起來，功耗就相當可觀了。

正如黃在 2024 年 GTC 主題演講中指出的那樣，光學器件需要額外的 20,000 瓦功率。

自 Oberon 機架首次亮相以來，很多情況都發(fā)生了變化。共封裝光學器件 (CPO) 技術的進步，將光引擎直接集成到交換機 ASIC 旁邊，有助于降低功耗。

2025年，英偉達成為首批采用CPO技術的AI基礎設施提供商之一，將其直接集成到Spectrum以太網(wǎng)和Quantum InfiniBand交換機中。（博通旗下的Micas Networks也在采取類似舉措。）

這大大減少了構建人工智能訓練集群所需的可插拔組件數(shù)量。直到最近，該公司才開始探討在其NVSwitch架構中使用光模塊和CPO（光纖通道模塊）。

NVLink 實現(xiàn)光纖化

兩年前，黃仁勛還對光互連過于耗電嗤之以鼻，但今年春天在GTC大會上，他又重新審視了這一話題，推出了Vera Rubin NVL576和Rosa Feynman NVL1152，這兩個多機架系統(tǒng)將利用光子學技術將其計算域擴展八倍。

如果您覺得 NVL576 這個數(shù)字耳熟，那是因為它之前就出現(xiàn)過。事實上，在最初的 NVL72 機架式顯卡發(fā)布時，Nvidia就曾預告過一款配置了這么多 GPU 的顯卡，但據(jù)我們所知，這樣的系統(tǒng)從未在實際應用中部署過。

Nvidia 也曾短暫地以 NVL576 品牌銷售其 Vera Rubin Ultra Kyber 機架，但后來決定實際上并不想將每個單獨的 GPU 芯片計為一個獨立的加速器。

除非英偉達的市場營銷或路線圖再次發(fā)生變化，否則真正的 Vera Rubin NVL576 將采用銅和光纖互連的組合。

黃仁勛在本次 GTC 主題演講中表示：“現(xiàn)在有很多關于‘英偉達是會擴大銅纜規(guī)模還是擴大光纜規(guī)模？’的討論。我們將兩者都做?！?/p>

據(jù)英偉達超大規(guī)模和高性能計算副總裁伊恩·巴克 (Ian Buck) 介紹，網(wǎng)絡的第一層將采用機架內的銅纜互連，這意味著GPU無需任何改動。第二層主干網(wǎng)將采用可插拔模塊。

我們尚不清楚英偉達計劃為此使用哪種拓撲結構，但兩層胖樹肯定符合要求，并且脊柱層只需要一個機架的交換機（總共 72 個 ASIC）。

對于模塊本身而言，可插拔模塊是最簡單的選擇，但英偉達也可以選擇近封裝光學器件 (NPO)，就像Lightmatter上個月展示的那樣。

Vera Rubin 認為，英偉達目前只談論其 Oberon NVL72 機架的光學縮放，而不是其 NVL144 Kyber 系統(tǒng)。

我們不太清楚英偉達做出這個決定的具體原因，但值得注意的是，如果支持光刻擴展，就不需要把所有東西都塞進一個機架里。因此，從散熱和功耗的角度來看，支持跨越八個機架的光刻擴展可能更合理。

Nvidia Feynman 采用共封裝

真正有趣的地方在于英偉達的費曼一代產(chǎn)品，預計將于 2028 年中后期開始出貨。據(jù)悉，這些系統(tǒng)將提供銅纜或共封裝光纖 NVLink 互連兩種選擇。

英偉達對這一切將如何運作守口如瓶，但有幾種可能的途徑。

最簡單的選擇是將 CPO 集成到 NVLink 交換機 ASIC 中，并繼續(xù)在機架中使用銅互連。

這將需要一個兩層 NVSwitch 架構和兩到三個不同的交換機 ASIC：一個半光纖的，一個全光纖的，以及一個可能沒有 CPO 的。

這樣做可以讓英偉達通過簡單地更換 NVLink 交換機托架或根據(jù)需要推入脊柱機架來支持多種配置。

更有趣的方案是將CPO集成到交換機和GPU封裝中。這幾乎肯定會導致Feynman GPU推出多個SKU——一個帶光模塊，一個不帶——但可以將網(wǎng)絡架構簡化為單層結構。

上個月在 GTC 大會上，Shainer 在接受El Reg采訪時拒絕評論公司計劃采用哪種方法，但他強調了單層計算架構的優(yōu)勢。

他說：“如果沒有必要，就不要構建多個層級，因為要盡量減少計算引擎之間的延遲?！?/p>

雖然可以將CPO集成到GPU中，但單層NVL1152系統(tǒng)需要一個極其高階的交換機。不過，考慮到Feynman芯片不太可能在2028年中后期上市，我們認為這并非不可能。

保障生產(chǎn)資料

無論哪種方案，都需要充足的激光模塊供應。雖然CPO（集成光刻）技術將大部分光學和信號處理功能集成到封裝中，但為了便于維護，激光器通常仍保持獨立。這或許可以解釋英偉達上個月為何向Coherent和Lumentum這兩家專注于光學激光器的公司分別投資40億美元（各20億美元）。如果英偉達想要真正有效地采用CPO技術，其供應鏈必須做好準備。

進一步的證據(jù)表明，英偉達正在轉向加速器上的CPO策略，例如該公司本周早些時候宣布與Marvell達成20億美元的合作協(xié)議。

作為這項投資的一部分，英偉達將與 Marvell 合作，將 NVLink Fusion（其高速互連技術的授權版本）集成到定制的 XPU 中，供英偉達 Vera CPU 使用。雙方還將合作開發(fā)光纖 I/O 技術，但具體合作范圍并未透露。

正如The Next Platform本周早些時候 討論的那樣，Marvell 以 32.5 億美元收購 Celestial AI 的交易可能與此有關。

這家初創(chuàng)公司的光子互連技術可用于構建跨多個機架的相干存儲網(wǎng)絡，這對于英偉達來說可能極具吸引力，正如它對Marvell最大的客戶之一（包括AWS）一樣。您可能還記得，AWS是英偉達NVLink Fusion的最大客戶之一，并計劃在其下一代Trainium4計算集群中使用這項技術。

總之，英偉達顯然已經(jīng)意識到光學擴展的重要性，我們可以預期CPO將在其未來的系統(tǒng)設計中發(fā)揮更大的作用。