對AI比較關(guān)注的話，大概率會聽到下面兩個“時髦”的概念：

一個是Scaling Law，通常被翻譯為“規(guī)模定律”，得出了一個通俗易懂的結(jié)論——“模型越大，性能越好?！?/p>

另一個是MoE架構(gòu)，中文名稱是混合專家模型，相對應(yīng)的概念是稠密（Dense）模型。如果說稠密模型一個“通才”，由一個“專家”處理多種不同的任務(wù)，MoE則是將任務(wù)分門別類，分給多個“專家”進行解決。

Scaling Law和MoE的出鏡率越來越高，意味著大模型的參數(shù)量將越來越大，同時開始提升“能力密度”。直接相關(guān)的就是大模型的訓(xùn)練和推理，正在從粗放燒錢到精細調(diào)優(yōu)，從堆算力轉(zhuǎn)向算力利用率最大化。

站在大模型工程化創(chuàng)新的十字路口，恰逢鯤鵬昇騰開發(fā)者大會2025前夕，“昇騰超節(jié)點”迅速成為技術(shù)圈的熱門話題。

由此產(chǎn)生的一個問題是：MoE架構(gòu)大模型的訓(xùn)練都遇到了哪些挑戰(zhàn)，昇騰給出了什么新解法？

01 MoE架構(gòu)成主流，大模型訓(xùn)練遇到“三座大山”

Mixtral、DeepSeek R1、Llama 4、Qwen3……近一年現(xiàn)象級刷屏的大模型，清一色地采用了MoE架構(gòu)。

原因離不開MoE的架構(gòu)創(chuàng)新。

每個專家負責任務(wù)的一部分，極大地提升了模型的可擴展性；每個專家都能針對整個問題的特定方面進行微調(diào)，進一步提升了模型的專業(yè)化和準確性；每次請求只激活部分專家，顯著減少了每次推理的計算負荷……

當MoE架構(gòu)演變?yōu)榇竽Ｐ偷闹髁鞣妒?，由服?wù)器、存儲、網(wǎng)絡(luò)等設(shè)備堆疊而成的傳統(tǒng)集群，在大模型訓(xùn)練上遇到了“三座大山”。

一是資源利用率低。

MoE架構(gòu)對負載均衡非常敏感，路由機制如果分布不均，某些專家會頻繁被調(diào)用，而其他專家?guī)缀蹰e置。

傳統(tǒng)AI集群部署MoE模型時，每臺服務(wù)器只部署部分專家，缺乏全局調(diào)度能力。由于路由機制無法感知底層資源狀態(tài)，可能導(dǎo)致部分服務(wù)器的使用率大于90%，部分服務(wù)器幾乎不參與計算。結(jié)果就是，GPU的利用率遠低于理論峰值，直接拉長了模型的訓(xùn)練周期，提升了能耗與成本。

二是系統(tǒng)穩(wěn)定性差。

MoE架構(gòu)依賴動態(tài)路由+專家選擇，對系統(tǒng)的持續(xù)穩(wěn)定性要求遠高于傳統(tǒng)Dense模型，讓工程的復(fù)雜度陡升。

在傳統(tǒng)AI集群上訓(xùn)練MoE模型，任何一個節(jié)點的故障，都可能導(dǎo)致整個訓(xùn)練任務(wù)失敗。比如某MoE大模型的訓(xùn)練過程，由于集群規(guī)模超過1000張加速卡，平均無故障運行時間不足6小時，每24小時需重新調(diào)度兩次以上，單次訓(xùn)練需要數(shù)天乃至數(shù)周，運維人員長期處于高強度監(jiān)控狀態(tài)。

三是通信帶寬瓶頸。

MoE架構(gòu)的“小專家”，理論上可以節(jié)省計算資源，前提是能靈活高效地選擇和調(diào)度，對通信帶寬提出了極高要求。

在傳統(tǒng)AI集群中，GPU之間通過PCle或InfiniBand通信，激活路由涉及大量跨卡、跨節(jié)點訪問，導(dǎo)致在All-to-All通信模式下，MoE架構(gòu)的通信壓力遠大于Dense架構(gòu)，訓(xùn)練速度甚至比Dense更慢。當GPU資源被通信“拖死”，哪怕是業(yè)界主流的高帶寬GPU，訓(xùn)練效率也難以線性提升。

以上還只是大模型訓(xùn)練時的常見痛點。

倘若推理階段依然部署在傳統(tǒng)AI集群上，在不支持高頻動態(tài)路由和異構(gòu)推理請求的環(huán)境下，用戶請求要觸發(fā)不同專家組合，再加上請求跳轉(zhuǎn)至跨節(jié)點專家時時延大，有些請求的延遲高達200ms以上。

訓(xùn)練系統(tǒng)的可用性，決定著智能化的速度。無法解決資源利用率低、系統(tǒng)穩(wěn)定性差、通信帶寬瓶頸的傳統(tǒng)AI集群，已經(jīng)不符合大模型的創(chuàng)新趨勢。

02 更親和MoE架構(gòu)，“昇騰超節(jié)點”有何不同？

傳統(tǒng)AI集群的本質(zhì)是做加法，即通過硬件堆疊的方式提升算力，在大模型早期確實奏效，短板也很明顯。

被技術(shù)圈追捧的昇騰超節(jié)點，可以看作是算力集群走向“乘法”式增長的標志，不僅僅是計算，進一步結(jié)合了存儲、通信等能力，計算性能倍增的同時，實現(xiàn)了時延、吞吐、負載均衡等能力的整體躍遷。

用一句話總結(jié)的話，昇騰超節(jié)點實現(xiàn)了讓384張卡像一臺計算機一樣工作，更親和MoE架構(gòu)。

根源是昇騰的四個針對性創(chuàng)新。

第一個是自研高速互聯(lián)協(xié)議，能夠?qū)⒊砂偕锨€NPU以TB級帶寬超高速互聯(lián)，大幅提升了并行計算的通信效率。

相較于傳統(tǒng)集群，實現(xiàn)超低延遲、高帶寬通信的昇騰超節(jié)點，大模型訓(xùn)練的All-to-All通信性能可提升5倍，send/recv集合通信性能可提升7倍，進而大幅降低了整體通信占比，讓計算少等待、不等待。打破了通信上存在的瓶頸，整體訓(xùn)練效率提升了3倍、推理吞吐提升了6倍。

第二個是軟硬件協(xié)同調(diào)度，通過異構(gòu)計算平臺CANN的協(xié)同，支持專家調(diào)度感知訓(xùn)練負載與NPU負載實時狀態(tài)。

針對MoE模型訓(xùn)練中專家熱點分布造成部分計算節(jié)點過載的問題，昇騰“超節(jié)點架構(gòu)”能夠依據(jù)MoE結(jié)構(gòu)中專家分布以及每層的計算需求，精細地將個模型切分至不同節(jié)點，更合理分配資源，提高整體資源利用率，同時可運行多種并行策略并動態(tài)調(diào)整，針對實時的負載情況精準分配計算資源。

第三個是全局內(nèi)存統(tǒng)一編址，所有的節(jié)點共享一套全局內(nèi)存體系，數(shù)據(jù)無需頻繁搬移，以此來提高訓(xùn)練的效率。

DeepSeek R1已經(jīng)有288個專家，不排除大模型專家數(shù)量越來越多的可能。支持全局內(nèi)存統(tǒng)一編址的昇騰超節(jié)點，具備更高效的內(nèi)存語義通信能力，通過更低時延指令級內(nèi)存語義通信，可滿足大模型訓(xùn)練/推理中的小包通信需求，提升專家網(wǎng)絡(luò)小包數(shù)據(jù)傳輸及離散隨機訪存通信效率。

第四個是系統(tǒng)穩(wěn)定性的提升，保證訓(xùn)練不中斷、推理更可靠，大幅降低了MoE大模型的部署和運維門檻。

比如MoE訓(xùn)練過程一旦某專家節(jié)點異常，可能導(dǎo)致全局失敗的問題。昇騰超節(jié)點采用了多平面的鏈路設(shè)計、鏈路故障秒級切換、算子級重傳等可靠性能力，確保大模型訓(xùn)練不中斷，平均無故障運行時長從幾小時提升到幾天。同時支持更敏捷的斷點續(xù)訓(xùn)，故障恢復(fù)時長從小時級降低至30分鐘。

可以佐證的是，基于超節(jié)點設(shè)計的AI集群Atlas 900 A3 SuperCluster，在測試中突破了Scale Up物理節(jié)點計算瓶頸，平均無故障運行時長達到數(shù)天，訓(xùn)練效率提升了2.7倍；由于所有專家集中部署在一個超節(jié)點，在推理過程中實現(xiàn)了15ms超低延遲和高吞吐能力，對推薦系統(tǒng)、搜索排序、智能客服等對延遲極敏感的應(yīng)用場景更加友好。

03 算力創(chuàng)新蝶變：從“硬件堆疊”到“系統(tǒng)級協(xié)同”

除了性能上的提升，MoE架構(gòu)創(chuàng)新的另一個深遠影響，在于降低了推理階段的綜合成本。

過去，大模型的強大性能往往伴隨著極高的算力消耗，導(dǎo)致部署門檻極高。MoE通過“按需激活”的專家機制，在保證精度的同時大幅節(jié)省了計算資源，為企業(yè)級、行業(yè)級AI應(yīng)用的落地打通了路徑。

昇騰在算力底層架構(gòu)上的實干式創(chuàng)新，向外界揭示了一個新的趨勢：當大模型走出實驗室，走向生產(chǎn)一線，走向規(guī)?；瘧?yīng)用，為AI提供源動力的基礎(chǔ)設(shè)施，不再是“硬件堆疊”，而是計算、存儲、網(wǎng)絡(luò)的“系統(tǒng)級協(xié)同”。

不單單是親和MoE模型，搬走了大模型訓(xùn)練的“三座大山”，還預(yù)示著AI基礎(chǔ)設(shè)施的“工程可控性”和“業(yè)務(wù)適配性”，更好地支持大模型在工業(yè)、能源、交通、金融等領(lǐng)域的規(guī)?；渴稹?/p>

如果你也對昇騰超節(jié)點感興趣，想要了解更多技術(shù)細節(jié)和創(chuàng)新方案，推薦關(guān)注5月19日的鯤鵬昇騰創(chuàng)享周直播活動，技術(shù)直播的第一場就將深度講解基于昇騰的超節(jié)點架構(gòu)，如何助力MoE模型的訓(xùn)練和推理，帶來15ms超低時延和高吞吐量。