編輯 | 虞爾湖

出品 | 潮起網(wǎng)「于見專欄」

在AI算力軍備競(jìng)賽中，參數(shù)規(guī)模儼然成為唯一話語(yǔ)權(quán)。尤其近兩年某廠高調(diào)推出384卡超節(jié)點(diǎn)后，幾度宣稱“撕裂AI天花板”、“領(lǐng)先英偉達(dá)一代”，引起輿論場(chǎng)一片歡騰。但喧囂過(guò)后，一個(gè)尖銳的問(wèn)題浮出水面：這種堆砌參數(shù)的“算力怪獸”，應(yīng)該以何種姿態(tài)平穩(wěn)著陸？

光模塊的詛咒：“修的時(shí)間”比“跑的時(shí)間”多？

毋庸置疑，超節(jié)點(diǎn)的核心賣點(diǎn)是大規(guī)模高速互聯(lián)。比如在某廠的產(chǎn)品設(shè)計(jì)中，為了實(shí)現(xiàn)384張卡的全Mesh互聯(lián)，必須依賴極其密集的光模塊組網(wǎng)，造就一臺(tái)精密且繁雜的算力大機(jī)器。

公開資料顯示，某384超節(jié)點(diǎn)配置了6912個(gè)光模塊，采用了總長(zhǎng)度達(dá)316公里的3168根光纖。這個(gè)數(shù)字也意味著，僅單個(gè)超節(jié)點(diǎn)內(nèi)的光模塊數(shù)量，就相當(dāng)于一個(gè)小型數(shù)據(jù)中心的總和。而被頻繁使用光模塊，恰恰是算力集群中最脆弱的環(huán)節(jié)。

在業(yè)內(nèi)，大規(guī)模集群運(yùn)維有一個(gè)“心照不宣”的秘密：光模塊故障是TOP級(jí)硬件故障。由于機(jī)房環(huán)境難以做到100%無(wú)塵，光模塊端面臟污、松動(dòng)問(wèn)題幾乎無(wú)法避免。

根據(jù)某廠商官方技術(shù)文檔數(shù)據(jù)，其大規(guī)模集群包含數(shù)萬(wàn)個(gè)光模塊，年失效率達(dá)4‰，而光模塊臟污、松動(dòng)是導(dǎo)致業(yè)務(wù)劣化或中斷的首要原因。

把這一數(shù)字放到384超節(jié)點(diǎn)上計(jì)算：近7000個(gè)光模塊，意味著每年僅光模塊的自然失效就接近30個(gè)。這還不包括因灰塵污染導(dǎo)致的性能劣化、閃斷等“隱形殺手”。

更致命的是故障定位的復(fù)雜度。當(dāng)一條光路出現(xiàn)問(wèn)題，涉及的不僅僅是光模塊本身，還有兩端設(shè)備、連接器、配線架。傳統(tǒng)運(yùn)維方式需要網(wǎng)絡(luò)和計(jì)算領(lǐng)域?qū)I(yè)人員攜帶專業(yè)檢測(cè)設(shè)備，到機(jī)房現(xiàn)場(chǎng)通過(guò)重插交叉驗(yàn)證判斷故障，耗時(shí)通常數(shù)小時(shí)。

在384這種超大規(guī)模組網(wǎng)中，光鏈路數(shù)量超過(guò)11萬(wàn)條，傳統(tǒng)檢測(cè)手段根本無(wú)從下手。有運(yùn)維人士直言：“這種規(guī)模的光模塊集群，修的時(shí)間比跑的時(shí)間多是常態(tài)。今天換一個(gè)，明天壞兩個(gè)，算法工程師等著出結(jié)果，運(yùn)維工程師在機(jī)房里滿頭大汗——這還怎么商用？”

ASIC的孤島：代碼遷移的“天塹”

在超節(jié)點(diǎn)算力賽道中，如果說(shuō)光模塊問(wèn)題還能靠堆人力勉強(qiáng)應(yīng)對(duì)，那么生態(tài)封閉帶來(lái)的問(wèn)題，正在從根上掐斷部分用戶的使用意愿。

相較于主流生態(tài)，某384超節(jié)點(diǎn)基于ASIC架構(gòu)，推行的是相對(duì)封閉的技術(shù)體系。對(duì)于CUDA開發(fā)者來(lái)說(shuō)，這意味著過(guò)去幾年積累的代碼資產(chǎn)，可能面臨“推倒重來(lái)”。

一位業(yè)內(nèi)人士透露，基于該平臺(tái)的模型訓(xùn)練效果一直不及預(yù)期，導(dǎo)致團(tuán)隊(duì)在壓力下無(wú)奈選擇“套殼”、“續(xù)訓(xùn)”等權(quán)宜之計(jì)，甚至小模型實(shí)驗(yàn)室至今仍需要依賴英偉達(dá)加速卡。坊間甚至傳出“NPU只能用來(lái)推理，從效率效果上根本不適合做訓(xùn)練”的尖銳評(píng)價(jià)。

更深層次的原因則在于，ASIC架構(gòu)與主流的GPGPU路線存在天然隔閡。兩者在架構(gòu)上幾乎不兼容，軟件遷移更是難上加難。有分析指出，若從ASIC轉(zhuǎn)向GPGPU，原平臺(tái)推理引擎與API要大規(guī)模重構(gòu)，推理模型、算法代碼、系統(tǒng)適配都需重寫。

對(duì)于已經(jīng)走上封閉路線的用戶來(lái)說(shuō)，更大的噩夢(mèng)還在后面：一旦廠商調(diào)整技術(shù)路線，已購(gòu)買的硬件、配套板卡、開發(fā)框架可能被棄用，面臨二次投入和算力平臺(tái)重構(gòu)成本。

一位用戶無(wú)奈吐槽：“買了之后才發(fā)現(xiàn)，現(xiàn)在只能跑那幾個(gè)固定的Demo。想跑點(diǎn)自己的模型？先派一個(gè)團(tuán)隊(duì)過(guò)來(lái)做半年遷移?！?/p>

而從某廠最新動(dòng)態(tài)來(lái)看，其底層加速卡從ASIC轉(zhuǎn)向GPGPU已成定局。這一進(jìn)程也再次加劇了配套超節(jié)點(diǎn)產(chǎn)品的遷移問(wèn)題，現(xiàn)階段實(shí)現(xiàn)大規(guī)模商用變得越發(fā)艱難。

部署之痛：從“周級(jí)上線”到“月級(jí)等待”

超節(jié)點(diǎn)的價(jià)值，在于將高端大算力“拽進(jìn)現(xiàn)實(shí)”，而不是把紙面參數(shù)“擺上神壇”。然而考慮到384規(guī)格的部署復(fù)雜度，此前讓人熱血沸騰的性能突破遠(yuǎn)遠(yuǎn)還未著陸。

據(jù)某廠商技術(shù)文檔披露，在大規(guī)模組網(wǎng)情況下，手工配置連線極易接錯(cuò)，而接錯(cuò)問(wèn)題人工排查困難。另外軟件和固件升級(jí)也依賴手工配置，升級(jí)時(shí)間可能超過(guò)用戶維護(hù)窗口期。為此，該廠不得不推出專門的運(yùn)維軟件，試圖通過(guò)自動(dòng)化工具緩解部署難題。

顯然，這是一種典型的“頭痛醫(yī)頭，腳痛醫(yī)腳”，很難徹底根除所有問(wèn)題。

以開局部署為例，384超節(jié)點(diǎn)涉及12個(gè)計(jì)算柜和4個(gè)總線柜，需要對(duì)接的不僅僅是硬件，還有網(wǎng)絡(luò)配置、存儲(chǔ)對(duì)接、軟件安裝、模型適配等一系列環(huán)節(jié)。即便有自動(dòng)化工具加持，官方宣稱的“周級(jí)上線”在實(shí)際機(jī)房環(huán)境中，往往被拉長(zhǎng)到半個(gè)月甚至一個(gè)月。

更別提日常的調(diào)試和維護(hù)。當(dāng)故障發(fā)生時(shí)，運(yùn)維人員面對(duì)的是密密麻麻的光纖和數(shù)不清的指示燈。一位經(jīng)歷過(guò)大規(guī)模集群調(diào)試的工程師感嘆：“每次進(jìn)機(jī)房前都要做心理建設(shè)。調(diào)試一次要一周，中間還可能因?yàn)楦鞣N奇怪的問(wèn)題卡住?！?/p>

這種看起來(lái)高大上的昂貴造物，在落地起始環(huán)節(jié)就被打上了“很難伺候”的標(biāo)簽。面向一日三變的大模型迭代應(yīng)用節(jié)奏，不由讓人疑問(wèn)，它真的符合國(guó)產(chǎn)AI用戶的現(xiàn)實(shí)需求嗎？

某行業(yè)媒體在報(bào)道中直言，384與英偉達(dá)2022年的DGX H100 NVL256“Ranger”頗為相似。但由于成本、功耗和可靠性等問(wèn)題，NV最終放棄了將該平臺(tái)投入生產(chǎn)。有人更進(jìn)一步指出：“從AI產(chǎn)業(yè)化發(fā)展角度來(lái)說(shuō)，這套方案目前對(duì)于國(guó)內(nèi)用戶也是‘有價(jià)無(wú)市’，難以落地?！?/p>

結(jié)語(yǔ)：超節(jié)點(diǎn)算力不是用來(lái)“秀”的

在某些超節(jié)點(diǎn)產(chǎn)品宣傳敘事中，往往會(huì)被塑造成“突破算力邊界”的劃時(shí)代產(chǎn)物。但一個(gè)根本性問(wèn)題被有意無(wú)意忽略：對(duì)于絕大多數(shù)AI企業(yè)，是否愿意為華而不實(shí)的算力造景買單？

這種擔(dān)憂并非空穴來(lái)風(fēng)。近年來(lái)，市場(chǎng)上已傳出某騰算力中心閑置率較高、場(chǎng)景應(yīng)用范圍狹窄的聲音。當(dāng)一款產(chǎn)品只能服務(wù)于極少數(shù)頭部玩家，大多數(shù)企業(yè)連“看一眼”的資格都沒(méi)有，它究竟是產(chǎn)業(yè)福音，還是參數(shù)競(jìng)賽的產(chǎn)物？

中國(guó)AI當(dāng)然需要超節(jié)點(diǎn)算力。不過(guò)要注意的是，AI算力的終極價(jià)值是支撐業(yè)務(wù)創(chuàng)新、加速模型迭代、降低開發(fā)門檻，我們需要的更多是能用、好用、用得起的算力產(chǎn)品，絕非讓部署運(yùn)維“一個(gè)頭兩個(gè)大”的昂貴玩具。真正的技術(shù)突破，也從來(lái)不是參數(shù)上的遙遙領(lǐng)先，而是在最廣泛的用戶群體中，把算力低成本、高效率地轉(zhuǎn)化為生產(chǎn)力。