隨著AI大模型邁入萬億參數(shù)時代，算力集群從千卡向萬卡乃至十萬卡規(guī)模演進，網(wǎng)絡(luò)互連已成為決定訓(xùn)練效率的關(guān)鍵瓶頸。RDMA（遠程直接內(nèi)存訪問）技術(shù)通過繞過CPU、實現(xiàn)內(nèi)存直通，為智算中心提供了超低延遲、高帶寬的數(shù)據(jù)傳輸能力。當(dāng)前，主流的RDMA實現(xiàn)路徑分為兩大體系：InfiniBand（IB）與RoCE（RDMA over Converged Ethernet）。二者均以RDMA為核心，卻在架構(gòu)設(shè)計、性能表現(xiàn)與適用場景上存在本質(zhì)差異。

一、InfiniBand（IB）網(wǎng)絡(luò)

技術(shù)概述

InfiniBand 是一種專為高性能計算設(shè)計的原生RDMA網(wǎng)絡(luò)，擁有獨立的協(xié)議棧和專用交換芯片。它從物理層到傳輸層均為無損網(wǎng)絡(luò)而生，通過硬件級的信用流控機制，確保數(shù)據(jù)在傳輸過程中絕不丟包。

關(guān)鍵特性

專用硬件：采用InfiniBand交換機與HCA（主機通道適配器），非以太網(wǎng)生態(tài)。

信用流控：基于信用的鏈路層流控，從源頭避免緩沖區(qū)溢出，實現(xiàn)真正無損。

集中管理：由子網(wǎng)管理器（SM）統(tǒng)一配置路由與轉(zhuǎn)發(fā)，網(wǎng)絡(luò)狀態(tài)全局可控。

極低延遲：交換機直通轉(zhuǎn)發(fā)，延遲低至100ns級，端到端延遲可穩(wěn)定在1-2μs。

優(yōu)點

? 性能極致：400G/800G（NDR）帶寬，可支撐十萬節(jié)點級超大規(guī)模集群。

? 無損可靠：內(nèi)建擁塞控制和鏈路級重傳，訓(xùn)練任務(wù)無需擔(dān)憂丟包。

? 即插即用：配置簡單，開箱即用，無需繁瑣調(diào)優(yōu)。

缺點

? 成本高昂：專用設(shè)備與線纜價格遠超以太網(wǎng)方案。

? 供應(yīng)商鎖定：主要由NVIDIA/Mellanox壟斷，國產(chǎn)供應(yīng)鏈缺失。

二、RoCE（RDMA over Converged Ethernet）網(wǎng)絡(luò)

技術(shù)概述

RoCE 旨在標(biāo)準(zhǔn)以太網(wǎng)上實現(xiàn)RDMA，v2版本基于UDP/IP封裝，使其可路由、可跨網(wǎng)段通信。它通過引入PFC（優(yōu)先級流控）、ECN（顯式擁塞通知）等機制，在傳統(tǒng)有損以太網(wǎng)上營造無損環(huán)境。

關(guān)鍵特性

以太網(wǎng)兼容：復(fù)用現(xiàn)有交換機與網(wǎng)卡，降低硬件采購成本。

無損補�。阂蕾嘝FC、ECN、DCQCN等技術(shù)防止丟包，需精細調(diào)參。

三層路由：RoCEv2支持跨子網(wǎng)通信，適配數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)。

優(yōu)點

? 成本親民：采用標(biāo)準(zhǔn)以太網(wǎng)設(shè)備，總體擁有成本較低。

? 靈活擴展：可與IP網(wǎng)絡(luò)共存，適合混合負載的云數(shù)據(jù)中心。

? 供應(yīng)鏈多元：避免單一供應(yīng)商依賴，國產(chǎn)廠商已大量布局。

缺點

? 配置復(fù)雜：PFC死鎖、ECN水線調(diào)整高度依賴運維經(jīng)驗，易出故障。

? 延遲稍高：交換機需存儲轉(zhuǎn)發(fā)，延遲300-500ns，端到端3-5μs。

? 擴展受限：跨POD通信性能衰減明顯，通常不推薦萬卡以上規(guī)模。

三、國產(chǎn)突破：原生IB賽道崛起

IB與RoCE并非簡單的替代關(guān)系，而是智算網(wǎng)絡(luò)不同場景下的理性選擇。RoCE憑借成本與生態(tài)優(yōu)勢，將在中小規(guī)模及混合負載場景持續(xù)占據(jù)一席之地；而IB憑借極致性能，始終是頂級超算與萬卡級AI集群的“皇冠明珠”。

長期以來，國內(nèi)廠商多聚焦于RoCE優(yōu)化，試圖通過軟件調(diào)優(yōu)彌合與IB的性能鴻溝。然而，RoCE基于以太網(wǎng)的先天缺陷使其在超大規(guī)模集群中難以匹敵IB的原生無損優(yōu)勢。真正的RDMA無法被“模擬”，唯有從底層架構(gòu)重構(gòu)，才能突破天花板。

近期外網(wǎng)爆料引發(fā)廣泛關(guān)注，據(jù)悉，中國科技巨頭正在構(gòu)建基于InfiniBand的專有RDMA技術(shù)，直接挑戰(zhàn)英偉達在互連技術(shù)領(lǐng)域的主導(dǎo)地位。

國產(chǎn)原生IB的突破，標(biāo)志著中國首次擁有從芯片到系統(tǒng)的完整無損網(wǎng)絡(luò)能力，有望打破海外壟斷，補齊智算產(chǎn)業(yè)鏈的關(guān)鍵一環(huán)。正如知情人士所言，當(dāng)向中國銷售高端GPU的難度日益增加之時，國產(chǎn)互連技術(shù)的崛起，正在為自主AI算力底座鋪就一條堅實的道路。