剛剛，華為宣布開源盤古7B稠密和72B混合專家模型！

嘿嘿，一直以來“神龍見首不見尾”的華為盤古，終于亮劍。

此次,華為開源了兩款模型：

1、7B參數(shù)量的稠密模型

2、72B參數(shù)量的MoE模型

在發(fā)布說明中，菊廠給出了一份并不算驚艷的測試對比表。

因為比的對象，大部分都不是“名流”。稍有點說服力的是跟同樣MoE且激活參數(shù)量更大的Llama-4-Scout相比，基本全面碾壓。

當(dāng)然，既然是“后發(fā)”，菊廠肯定要拿出點不一樣?xùn)|西↓

別人都叫MoE，而這次華為提出了MoGE：分組混合專家模型（Mixture of Grouped Experts）。

MoGE核心就是要解決當(dāng)下MoE最大的難題——專家負(fù)載失衡，傳統(tǒng)的Top-K路由會把大量Token塞給同一張卡處理，導(dǎo)致整體吞吐被最慢的卡拖死。

MoGE先將專家劃分為若干等規(guī)模的分組，再從每個分組中選取相同數(shù)量的專家進(jìn)行激活。

在典型的分布式部署中，每個專家分組對應(yīng)獨立的計算設(shè)備，從而 MoGE 天然地實現(xiàn)了跨設(shè)備的計算負(fù)載均衡。

同時，菊廠把這個模型稱為「昇騰原生的分組混合專家模型」，再次把菊廠軟硬協(xié)同的優(yōu)勢打了出來。

怎么「原生」法？說白了，是針對菊廠自己的昇騰鏟子，做了以下優(yōu)化↓

1、分層混合并行+通信裁剪：MFU提升35%
2、專家感知量化與KV壓縮：幾乎為0的量化精度誤差，大幅降低顯存占用。
3、定制化算子——MulAttention+SwiftGMM。
4、MoGE分組路由天然負(fù)載均衡：訓(xùn)推都不卡長尾，效率提升。
5、MTP多Token并行解碼：滿足低延遲高并發(fā)場景。

就不詳說了，大家可以去看論文原文：

https://raw.gitcode.com/ascend-tribe/pangu-pro-moe/raw/main/Pangu-Pro-MoE-CN-Report.pdf

話說，自從大模型爆火以來，華為盤古大模型一直只聞其聲，未見其形，只在行業(yè)場景咔咔落地，凡間吃瓜群眾卻難得上手把玩。

這一次，菊廠來真的了，在開源兩個盤古模型的同時，華為也開源了推理代碼，不光給你金坷垃，還給你金鏟鏟。

華為下場收割，說明大模型市場已經(jīng)進(jìn)入成熟期，這個市場更要卷起來啦。

不過，有吃瓜群眾表示，光這倆模型還不夠看，期待下一步能有吊打DeepSeek滿血版、Qwen3-235B的菊廠大核彈！