最近，又一個(gè)長(zhǎng)期被國(guó)外壟斷的技術(shù)高地被攻克。中科曙光正式發(fā)布首款全棧自研400G無(wú)損高速網(wǎng)絡(luò)——scaleFabric。它是國(guó)內(nèi)首款國(guó)產(chǎn)類InfiniBand（簡(jiǎn)稱IB）原生無(wú)損RDMA超高速網(wǎng)絡(luò)產(chǎn)品，曙光全棧自研，專為大規(guī)模萬(wàn)卡集群打造，適配大模型訓(xùn)練等高端計(jì)算場(chǎng)景，是實(shí)現(xiàn)國(guó)產(chǎn)算力網(wǎng)絡(luò)自主可控的核心產(chǎn)品。

曙光歷時(shí)三年研發(fā)，實(shí)現(xiàn)scaleFabric從底層芯片到上層軟件的100%全棧自研。目前，曙光推出了scaleFabric 400單口標(biāo)準(zhǔn)網(wǎng)卡、scaleFabric 400 1U 80口液冷交換機(jī)、scaleFabric 400 2U 80口風(fēng)冷交換機(jī)三款產(chǎn)品，核心技術(shù)是兩顆自研芯片：一是網(wǎng)卡芯片，400G高帶寬，自研RDMA引擎；二是交換芯片，64T雙向交換容量，轉(zhuǎn)發(fā)延時(shí)低至260納秒，采用112G高速Serdes。

這項(xiàng)突破究竟有多重要？業(yè)內(nèi)普遍認(rèn)為，計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)是支撐大規(guī)模計(jì)算系統(tǒng)的三大核心支柱，算力決定系統(tǒng)性能的上限，但一旦網(wǎng)絡(luò)拉垮，可能將整體性能下限歸零。尤其在大規(guī)模集群場(chǎng)景下，網(wǎng)絡(luò)的重要性更為突出。

當(dāng)前，從GPT?3到GPT?5，智算集群已正式邁入萬(wàn)卡時(shí)代。隨著大模型即將進(jìn)入萬(wàn)億參數(shù)時(shí)代，計(jì)算卡規(guī)模持續(xù)擴(kuò)張，網(wǎng)絡(luò)已成為制約智算性能的核心瓶頸。而scaleFabric的出現(xiàn)，正是補(bǔ)齊了我國(guó)高端智算領(lǐng)域的最后一塊關(guān)鍵拼圖，讓上萬(wàn)張GPU卡實(shí)現(xiàn)高效協(xié)同、緊密互聯(lián)。

scaleFabric的優(yōu)勢(shì)所在

當(dāng)前國(guó)內(nèi)廠商以RoCE路線為主，而曙光堅(jiān)持采用IB原生RDMA路線，這是為什么？

RoCE網(wǎng)絡(luò)基于以太網(wǎng)嫁接RDMA技術(shù)，本質(zhì)是“在以太網(wǎng)之上跑IB協(xié)議”，用UDP報(bào)文封裝IB協(xié)議，屬于嫁接式技術(shù)，可以兼容IP生態(tài)，不過(guò)帶寬低、時(shí)延高、運(yùn)維復(fù)雜、大規(guī)模組網(wǎng)能力弱等技術(shù)短板。如果只是中小規(guī)模系統(tǒng)，RoCE會(huì)是不錯(cuò)的選擇，但對(duì)大規(guī)模系統(tǒng)可能就不夠了。

IB是面向高端計(jì)算的原生RDMA專用高速網(wǎng)絡(luò)，協(xié)議棧專為高速通信設(shè)計(jì)、包頭信息短、有效載荷高，但成本昂貴且長(zhǎng)期被國(guó)際廠商壟斷。以英偉達(dá)為例，其在2019年收購(gòu)Mellanox補(bǔ)齊高速網(wǎng)絡(luò)板塊，足以見(jiàn)得其對(duì)IB這項(xiàng)技術(shù)的重視程度。

隨著以scaleFabric為代表的國(guó)產(chǎn)自主RDMA高速網(wǎng)絡(luò)應(yīng)運(yùn)而生，徹底打破了IB設(shè)備受限的現(xiàn)狀。它兼容IB生態(tài)，擴(kuò)展協(xié)議可支撐10萬(wàn)卡規(guī)模集群，搭配400G網(wǎng)卡芯片，性能已達(dá)業(yè)界一流水平。

從核心指標(biāo)方面看，時(shí)延方面，IB交換機(jī)采用VCT交換機(jī)制，支持邊收邊轉(zhuǎn)，交換時(shí)延小于 300ns，而RoCE采用存儲(chǔ) - 轉(zhuǎn)發(fā)模式，需要完整接收數(shù)據(jù)包后才能轉(zhuǎn)發(fā)，時(shí)延普遍在500ns以上，達(dá)到IB的兩倍以上，且動(dòng)態(tài)時(shí)延容易受網(wǎng)絡(luò)擁堵影響而大幅波動(dòng)；帶寬方面，主流IB網(wǎng)卡400G，主流RoCE網(wǎng)卡200G，而sacleFabric單端口帶寬達(dá)到了800G；無(wú)損網(wǎng)絡(luò)實(shí)現(xiàn)上，IB采用基于信用的精細(xì)化流控，發(fā)送前確認(rèn)接收端資源，從根源避免丟包，無(wú)需額外擁塞控制；RoCE采用PFC暫停機(jī)制，粗粒度流控，易出現(xiàn)丟包、PFC風(fēng)暴/死鎖，必須依賴擁塞控制且需人工調(diào)優(yōu)水線。

在并行效率方面，scaleFabric達(dá)到了85%，遠(yuǎn)超RoCE的65%，核心算力利用率大幅提升。相比傳統(tǒng)RoCE方案，采用國(guó)產(chǎn)scaleFabric網(wǎng)絡(luò)后，整體應(yīng)用性能提升幅度超過(guò)30%。

從參數(shù)來(lái)看，scaleFabric全面對(duì)標(biāo)英偉達(dá)NDR系列，甚至部分規(guī)格更優(yōu)：端口密度上，交換機(jī)達(dá)80口400G，比NDR的64口提升25%，大幅降低組網(wǎng)成本；最大QP數(shù)上，支持256K，是NDR的2倍，更好支撐大規(guī)模并行計(jì)算；實(shí)測(cè)性能上，RDMA延時(shí)0.93微秒，轉(zhuǎn)發(fā)延時(shí)260納秒，達(dá)到國(guó)內(nèi)領(lǐng)先水平。

目前，scaleFabric已落地國(guó)家超算互聯(lián)網(wǎng)核心節(jié)點(diǎn)的3萬(wàn)卡商用集群，實(shí)現(xiàn)3套scaleX萬(wàn)卡集群同步上線，為國(guó)產(chǎn)最大規(guī)模真實(shí)負(fù)載驗(yàn)證。

專家實(shí)測(cè)使用效果顯著

如果在國(guó)內(nèi)要找一家與英偉達(dá)基因最像的企業(yè)，我們認(rèn)為是曙光。英偉達(dá)的GPGPU起源于科學(xué)計(jì)算，最早在中國(guó)高校和科研院所推廣生態(tài)；而曙光同樣發(fā)軔于科學(xué)計(jì)算領(lǐng)域，在產(chǎn)品層面已形成全線對(duì)標(biāo)英偉達(dá)的布局。

紙上談兵易，實(shí)戰(zhàn)驗(yàn)證難。那么，站在一線工程師和從業(yè)者角度來(lái)看，曙光的scaleFabric使用體驗(yàn)究竟如何？

中國(guó)科學(xué)院計(jì)算技術(shù)研究所研究員王展的團(tuán)隊(duì)聚焦分子動(dòng)力學(xué)模擬這一典型科學(xué)智能場(chǎng)景，其核心挑戰(zhàn)在于高精度長(zhǎng)時(shí)間模擬。他表示，團(tuán)隊(duì)曾在日本富岳超算上的優(yōu)化經(jīng)驗(yàn)表明，通信是最大瓶頸。在拿到scaleFabric后，他們第一時(shí)間部署測(cè)試，在單卡性能方面，單QP通信性能優(yōu)于NVIDIA ConnectX-7（CX7），多QP通信Write/Send性能領(lǐng)先，RDMA Write延遲1.14μs、Send延遲 1.47μs，表現(xiàn)優(yōu)異；交換機(jī)轉(zhuǎn)發(fā)延遲實(shí)測(cè)255ns，與英偉達(dá)IB持平，優(yōu)于主流300ns方案；在大規(guī)模集群測(cè)試中，124 GPU規(guī)模下帶寬突破 120GB/s，4096 GPU至萬(wàn)卡級(jí)規(guī)模帶寬基本穩(wěn)定。

王展特別提到，scaleFabric具備極強(qiáng)的科研友好性，開(kāi)箱即用、OpenSM服務(wù)完善，HPL、LAMMPS 等應(yīng)用無(wú)需額外配置即可運(yùn)行，監(jiān)控與管理工具便捷易用。

北京科技大學(xué)計(jì)算機(jī)與通信工程學(xué)院儲(chǔ)根深表示，重大工程依賴數(shù)智模擬來(lái)降低成本、縮短周期，要實(shí)現(xiàn)“算得準(zhǔn)、算得好”，必須做到高保真數(shù)值模擬，而這會(huì)帶來(lái)計(jì)算量激增，如何充分發(fā)揮算力成為核心挑戰(zhàn)，尤其在超智一體架構(gòu)下，如何利用scaleFabric優(yōu)化通信，是提升性能的關(guān)鍵。

儲(chǔ)根深的團(tuán)隊(duì)基于scaleFabric硬件，從硬件層、系統(tǒng)庫(kù)層、算法層三層架構(gòu)展開(kāi)優(yōu)化。在國(guó)家超算互聯(lián)網(wǎng)核心節(jié)點(diǎn)的實(shí)測(cè)中，輻照材料分子動(dòng)力學(xué)軟件從千卡擴(kuò)展至萬(wàn)卡，并行效率實(shí)現(xiàn)了86%，通信開(kāi)銷從50%降至10%；堆芯流體力學(xué)CFD軟件 phi-flow萬(wàn)卡并行效率57%，通信時(shí)間下降10%；三維快堆堆芯中子物理輸運(yùn)軟件 ANT MOC2.0在萬(wàn)卡規(guī)模下并行效率42%，特征線數(shù)量近2000億，計(jì)算精度提升7 倍。

“實(shí)際測(cè)試中，scaleFabric表現(xiàn)出優(yōu)異的穩(wěn)定性，兩周連續(xù)測(cè)試無(wú)網(wǎng)絡(luò)抖動(dòng)或故障，生態(tài)兼容性對(duì)標(biāo)英偉達(dá)?！眱?chǔ)根深感嘆道，scaleFabric為工程計(jì)算軟件的萬(wàn)卡擴(kuò)展提供了堅(jiān)實(shí)硬件支撐，未來(lái)期待在生態(tài)層面持續(xù)優(yōu)化，進(jìn)一步釋放國(guó)產(chǎn)算力潛能。

科大訊飛AI工程院智算基礎(chǔ)設(shè)施架構(gòu)師鮑中帥表示，自2019年起，科大訊飛堅(jiān)定走國(guó)產(chǎn)化路線，并與曙光展開(kāi)深度合作。在國(guó)家超算互聯(lián)網(wǎng)核心節(jié)點(diǎn)的3萬(wàn)卡商用集群中，科大訊飛也落地了多項(xiàng)應(yīng)用優(yōu)化成果：落地了DeepEP，重點(diǎn)解決高吞吐場(chǎng)景的性能瓶頸；通過(guò)Ripiple策略重計(jì)算技術(shù)解除了重計(jì)算與反向計(jì)算的綁定關(guān)系，實(shí)現(xiàn)更細(xì)粒度的流水線并行；dualpipev+cudagraph技術(shù)實(shí)現(xiàn)EP域通信計(jì)算overlap，有效降低流水空泡。

鮑中帥強(qiáng)調(diào)，曙光不僅在IB領(lǐng)域能力突出，同時(shí)保持開(kāi)放生態(tài)，科大訊飛與曙光合作歷史久遠(yuǎn)、深入且全面。此外，雙方的合作也不止于IB。

中國(guó)自主進(jìn)入新階段

實(shí)現(xiàn)突破，曙光來(lái)時(shí)的路并不輕松。事實(shí)上，IB真正的難點(diǎn)在底層，物理層與工藝強(qiáng)相關(guān)，想把網(wǎng)絡(luò)做得比IB更好極其困難。研發(fā)初期，曙光并無(wú)十足把握能達(dá)到其水平，過(guò)程中經(jīng)歷了諸多艱辛。

最終能取得成功，得益于兩點(diǎn)：一是站在巨人的肩膀上，長(zhǎng)期使用IB產(chǎn)品讓曙光對(duì)其有深刻理解；二是基于這些經(jīng)驗(yàn)，得以在自研過(guò)程中改進(jìn)其原有設(shè)計(jì)的不足，規(guī)避某些痛點(diǎn)。正因如此，曙光在部分性能上反而實(shí)現(xiàn)了超越。

而在整個(gè)大算力領(lǐng)域，曙光的布局不止是IB，主要集中在三個(gè)層面：一是核心計(jì)算芯片的研發(fā)；二是硬件層面的高效實(shí)現(xiàn)，隨著芯片功率密度、熱密度和IO密度的急劇攀升，在供電和冷卻等支撐技術(shù)上已進(jìn)入“深水區(qū)”，面臨著極具挑戰(zhàn)性的工程難題，必須在此領(lǐng)域?qū)崿F(xiàn)技術(shù)突破；三是系統(tǒng)級(jí)的協(xié)同與生態(tài)合作，曙光強(qiáng)調(diào)算、存、傳的協(xié)同，以及與IB等設(shè)備的深度融合。

通過(guò)在不同層級(jí)進(jìn)行布局，并與國(guó)內(nèi)產(chǎn)業(yè)鏈上下游伙伴保持緊密合作，曙光正在構(gòu)建一個(gè)自主可控的算力生態(tài)。

從全球看，IB市場(chǎng)由少數(shù)全棧能力廠商主導(dǎo)，英偉達(dá)收購(gòu)Mellanox后，軟硬件深度結(jié)合，構(gòu)建了高性能集群。國(guó)內(nèi)IB發(fā)展正迎頭趕上，從協(xié)議標(biāo)準(zhǔn)確立到速率快速升級(jí)，目前已步入融合與自研階段。由于IB設(shè)備一體機(jī)難以獲取，國(guó)產(chǎn)自主衍生的RDMA高速網(wǎng)絡(luò)便應(yīng)運(yùn)而生，如曙光scaleFabric。在此之后，真正的難點(diǎn)在上層生態(tài)建設(shè)。光合組織等平臺(tái)的協(xié)同正在加速這一進(jìn)程。

請(qǐng)將我們?cè)O(shè)為“星標(biāo)”，這樣就會(huì)第一時(shí)間收到推送消息。

歡迎關(guān)注EEWorld旗下訂閱號(hào)：“機(jī)器人開(kāi)發(fā)圈”

掃碼添加小助手回復(fù)“機(jī)器人”

進(jìn)群和電子工程師們面對(duì)面交流經(jīng)驗(yàn)