智算科技萬卡集群攻堅團(tuán)隊合影。 （受訪者供圖）

隨著風(fēng)扇持續(xù)轟鳴，上萬張GPU（圖形處理器）與幾十萬根高速網(wǎng)絡(luò)線纜在約30個模塊化機(jī)房里交織運(yùn)轉(zhuǎn)——在位于松江的儀電智算中心，記者直觀感受到萬卡集群的龐大。

萬卡集群的背后，是一支平均年齡僅32歲的青年攻堅團(tuán)隊——上海智能算力科技有限公司智算科技萬卡集群突擊隊。他們所搭建的，不只是算力基礎(chǔ)設(shè)施，更是支撐未來智能世界運(yùn)轉(zhuǎn)的底座。

把上萬張GPU變成“一個大腦”

算力作為數(shù)字經(jīng)濟(jì)的重要底座，主要分為通用算力、智能算力和超算算力。其中，智能算力依托GPU，為AI訓(xùn)練和推理提供核心支撐。所謂“萬卡集群”，就是將一萬張甚至更多頂級GPU，通過高速網(wǎng)絡(luò)與軟硬件系統(tǒng)連接起來，形成一個統(tǒng)一調(diào)度的“超級AI計算大腦”。但真正的難點，并不在“堆數(shù)量”，而在“做協(xié)同”——讓不同架構(gòu)、不同代際、不同廠商的GPU，在極端規(guī)模下像一個人一樣高效協(xié)同。

建設(shè)萬卡集群時，機(jī)房基礎(chǔ)環(huán)境、網(wǎng)絡(luò)、單機(jī)可靠性、調(diào)度系統(tǒng)等都是需要逐一攻破的痛點?！耙詸C(jī)房為例，散熱、供電、冷卻、潔凈度，任何一個環(huán)節(jié)失守，都可能讓集群無法運(yùn)行。一粒細(xì)小的灰塵進(jìn)入光模塊，造成的后果都難以想象?！鄙虾x電集團(tuán)旗下上海智能算力科技有限公司系統(tǒng)工程中心總監(jiān)、團(tuán)隊負(fù)責(zé)人胡寶群告訴記者，從冷熱通道設(shè)計、下沉式地板到天花板回風(fēng)系統(tǒng)，每一處細(xì)節(jié)都經(jīng)過精密計算。供電系統(tǒng)不僅要夠用，更要實現(xiàn)負(fù)載均衡與多重冗余，即便單路故障也不影響整體運(yùn)行。冷卻系統(tǒng)則需反復(fù)測算，確保極端負(fù)載下溫度依然可控。

網(wǎng)絡(luò)側(cè)同樣是一項“精密工程”。團(tuán)隊采用Spine-Leaf架構(gòu)，持續(xù)優(yōu)化交換機(jī)配置與通信協(xié)議，追求極致的低延遲與無損傳輸。每一根光纖、每一個端口都需全覆蓋測試，確保NCCL等通信庫運(yùn)行效率達(dá)到極限。此外，每批服務(wù)器上線前都要經(jīng)歷高強(qiáng)度“鐵血壓測”，模擬真實訓(xùn)練場景中的計算、內(nèi)存與I/O壓力，提前暴露隱患。如今，團(tuán)隊已建立起快速故障診斷與預(yù)測性維護(hù)機(jī)制，將單機(jī)故障率壓降至最低。

應(yīng)對調(diào)度與穩(wěn)定性的極限挑戰(zhàn)

如果說“建起來”只是第一步，那么，“穩(wěn)運(yùn)行”才是真正的難關(guān)?！癆I算力芯片的故障率遠(yuǎn)高于傳統(tǒng)IT設(shè)備。在大模型訓(xùn)練過程中，哪怕1分鐘的中斷，都可能導(dǎo)致數(shù)十小時的訓(xùn)練成果付諸東流?！焙鷮毴罕硎荆谌f卡集群中，算力調(diào)度的復(fù)雜程度，堪比讓上萬架無人機(jī)在同一片空域高速飛行且不發(fā)生碰撞。任何微小偏差，都可能帶來系統(tǒng)級影響。

為此，智算科技系統(tǒng)平臺部負(fù)責(zé)人翟雨佳帶領(lǐng)團(tuán)隊，把不同廠商、不同代際，甚至國產(chǎn)和進(jìn)口卡全部拉進(jìn)同一個集群，讓它們像一個整體一樣協(xié)同工作。他們首創(chuàng)的“動態(tài)感知調(diào)度方案”，使訓(xùn)練效率飆升，實現(xiàn)混合架構(gòu)萬卡集群調(diào)度技術(shù)的自主可控。

為了0.1%的效率提升，團(tuán)隊甚至曾連續(xù)79天駐守機(jī)房，吃住一體，反復(fù)打磨代碼、優(yōu)化算法。在緊急任務(wù)中，他們打破傳統(tǒng)線性流程，采用“并行施工+邊測邊調(diào)”的方式，爭分奪秒推進(jìn)項目進(jìn)度。最終，集群實現(xiàn)99.99%的高可用性，相當(dāng)于全年故障時間減少378小時。這一穩(wěn)定能力，已支撐多模態(tài)大模型訓(xùn)練達(dá)到國際領(lǐng)先水平，同時保障自動駕駛模型每日100萬公里虛擬路測，以及氣象大模型提前7天預(yù)警極端天氣。

翟雨佳表示，為了更高效運(yùn)維萬卡集群，團(tuán)隊目前也在研發(fā)AI智能體，讓萬卡集群相互協(xié)作配合，快速預(yù)測問題，做到底層算力保障?！拔覀儸F(xiàn)在基本上可以做到分鐘級甚至秒級定位故障，在5分鐘內(nèi)恢復(fù)業(yè)務(wù)。核心目標(biāo)是讓底層算力基礎(chǔ)設(shè)施像水電煤一樣穩(wěn)定供給?！?/p>

要做下一代工程師

在這座“數(shù)字發(fā)電站”的背后，是一支成立于2023年的百余人團(tuán)隊，平均年齡僅32歲。團(tuán)隊中，七成成員來自互聯(lián)網(wǎng)大廠，六成為碩士及以上學(xué)歷，還有多位海外歸來的技術(shù)專家。

“我們要做下一代工程師，而不是當(dāng)代工程師?！焙鷮毴哼@樣定義團(tuán)隊的方向——持續(xù)自我革新，從工具鏈到生產(chǎn)方式，再到價值創(chuàng)造路徑，都要不斷被重構(gòu)。目前，這支隊伍已完成數(shù)十萬張高性能算力卡的部署，適配多款國產(chǎn)GPU。

萬卡集群是近幾年隨著大模型發(fā)展而提出的新需求，這支隊伍正是在攻堅實戰(zhàn)中鍛煉出來的。智算科技董事長、總經(jīng)理、黨支部書記孫躍表示：“作為一家平臺型的鏈主企業(yè)，我們不光要建萬卡集群，更要賦能國產(chǎn)大模型及AI+應(yīng)用，包括國家戰(zhàn)略任務(wù)的實施和推動。我們要牽引產(chǎn)業(yè)鏈上的國產(chǎn)軟硬件廠商、GPU和網(wǎng)絡(luò)交換設(shè)備企業(yè)，帶動上下游共同發(fā)展?！?/p>

團(tuán)隊小傳

上海智能算力科技有限公司智算科技萬卡集群攻堅團(tuán)隊，一支百余人組成的青年尖兵，平均年齡僅32歲。承擔(dān)上海市多項智算集群建設(shè)任務(wù)，提供GPU算力資源與智能調(diào)度平臺，服務(wù)重點大模型企業(yè)及頂尖研究機(jī)構(gòu)。2025年獲全國科技創(chuàng)新青年突擊隊崗位建功競賽特等獎。