就在市場傳聞阿里已經(jīng)開始使用自研芯片訓(xùn)練AI模型時，阿里推出了其下一代模型的雛形Qwen3-Next。

阿里巴巴正式開源的兩款模型，分別是Qwen3-Next-80B-A3B的指令（Insctruct）模型和推理（Thinking）模型。兩者在在大多數(shù)標(biāo)準(zhǔn)化基準(zhǔn)測試中，接近阿里旗下旗艦?zāi)Ｐ蚎wen3-235B-A22B系列對應(yīng)最新模型。相當(dāng)于在總參數(shù)規(guī)模下降2/3，激活參數(shù)規(guī)模下降5/6的前提下，輸出大致相當(dāng)?shù)慕Y(jié)果。

這不是一次常規(guī)的模型迭代。通義千問大模型負(fù)責(zé)人林俊旸自稱為“大膽”。它嘗試用極致稀疏MoE，低成本擴展模型的智能涌現(xiàn)的上限；邁出了高度復(fù)雜的混合注意力（Hybrid Attention）的一大步，既高效又精準(zhǔn)地擴展上下文長度。

這背后是阿里通義千問團隊對大模型技術(shù)趨勢的兩大預(yù)判，即未來將主要依賴總參數(shù)規(guī)模和上下文長度的擴展?？倕?shù)規(guī)模越大，模型潛在能力和智能涌現(xiàn)上限越高；上下文長度越長，模型的記憶能力和持續(xù)交互能力也隨之增強。

在一片阿里開始使用自研芯片訓(xùn)練模型的傳聞中，阿里并沒有透露它用什么芯片訓(xùn)練出來的。而軟硬件之間的高效協(xié)調(diào)適配，降低token成本，已經(jīng)成為定制芯片（ASIC）的趨勢。

據(jù)科技媒體Information報道，阿里的Zhenwu處理器今年已經(jīng)投入實用，性能略優(yōu)于英偉達(dá)的A100，目前主要用于較小模型的訓(xùn)練。

隨著稠密模型參數(shù)規(guī)模接近萬億，繼續(xù)擴展變得愈發(fā)昂貴。受限于先進(jìn)芯片供給，中國開源模型陣營普遍轉(zhuǎn)向稀疏專家模型，以實現(xiàn)知識容量與計算成本的解耦。而且，通義千問團隊發(fā)現(xiàn)，增加總專家數(shù)量往往可以持續(xù)降低訓(xùn)練損失。因此，通過壓縮每次激活參數(shù)規(guī)模的占比，就可以盡可能地擴展總參數(shù)規(guī)模；當(dāng)然，實現(xiàn)它仍然需要非常多的技術(shù)創(chuàng)新，包括更精準(zhǔn)的路由策略。

Qwen3-Next要比之前的Qwen3-MoE稀疏得多。Qwen3-MoE擁有128個專家模型和8個路由專家，Qwen3-Next則擴展到了512個總專家，10路由專家與1共享專家的組合。同行最近發(fā)布的Kimi-K2模型，也實現(xiàn)了384 個專家激活8個的配置。

Qwen3-Next系列的總參數(shù)規(guī)模不會止步于800億。在GPT時代之前，阿里巴巴就嘗試過萬億參數(shù)級稀疏模型；近期又預(yù)覽了1萬億參數(shù)規(guī)模的Qwen3-Max-Preview。本次Qwen3-Next的預(yù)訓(xùn)練僅使用了15T tokens，相比Qwen3的36T tokens顯著減少?？梢詫⑵淇醋饕淮螌ΜF(xiàn)有技術(shù)的“中試”，為未來工程優(yōu)化后的“量產(chǎn)”版本奠定基礎(chǔ)。真正的“Qwen 3.5”將提供更多可選配置，在相同硬件和工作負(fù)載條件下，不同的總參數(shù)規(guī)模與激活參數(shù)規(guī)模組合將影響模型部署成本，并在推理階段決定成本、速度與性能的權(quán)衡空間。

上下文長度是另一個關(guān)鍵維度。目前Qwen3-Next系列原生支持262k上下文長度，并可擴展至百萬tokens。理論上，上下文越長越好。然而，作為Transformer的核心創(chuàng)新，大模型與生成式AI的基礎(chǔ)，標(biāo)準(zhǔn)自注意力機制在長序列下的計算復(fù)雜度呈二次增長：在預(yù)填充（prefill）階段主要體現(xiàn)為算力需求的急劇增加，而在解碼（decode）階段則受內(nèi)存帶寬限制成為瓶頸。

這也是為什么中國開源大模型普遍將自注意力機制的優(yōu)化作為重點。DeepSeek提出了潛在多頭注意力（MLA），嘗試減少內(nèi)存占用；MiniMax的閃電注意力（Lightning Attention）則是線性注意力（Linear Attention）的變體，旨在降低算力消耗；月之暗面的MoBA，事實上是基于塊（Block）的稀疏注意力（Sparse Attention）。這些優(yōu)化路線雖各具特色，但并不適用于所有任務(wù)，尤其在需要高精度和復(fù)雜推理的場景下仍存在局限。

混合注意力正成為下一代大模型中被廣泛關(guān)注的重點探索方向。幾個月前，MiniMax-01架構(gòu)負(fù)責(zé)人在采訪中承認(rèn)，完全的線性注意力在長上下文里準(zhǔn)確“找回”關(guān)鍵信息的能力并不好。MiniMax判斷，未來將屬于混合注意力機制，M1就是該公司對此的初步驗證；英偉達(dá)的Nemotron-H同樣如此。

目前，Qwen3-Next邁出的步子最大，75%采用線性注意力，25%保留標(biāo)準(zhǔn)注意力。線性注意力的Gated DeltaNet用于長程信息掃描，并可及時清除無關(guān)歷史信息；阿里自研的Gated Attention則專注捕獲關(guān)鍵局部信息。這一比例顯示，每一項改進(jìn)都是整套混合注意力機制的核心，而非點綴。在發(fā)布前，通義千問團隊已對線性注意力進(jìn)行了約一年的持續(xù)探索，用林俊旸的話說，期間經(jīng)歷了“大量試錯”。

越是稀疏的模型，越是難以訓(xùn)練。此前，Meta在Llama 4中首次嘗試引入MoE架構(gòu)就遇到挫折。針對這一挑戰(zhàn)，通義千問團隊設(shè)計了多項訓(xùn)練優(yōu)化措施，確保訓(xùn)練過程的穩(wěn)定性。同時，Qwen3-Next原生集成了多token預(yù)測（MTP）技術(shù)，有效提升了解碼階段的推理速度。

Qwen3-Next終將向各類應(yīng)用場景落地。未來，硬件定制、軟硬件協(xié)同以及工作負(fù)載優(yōu)化，仍是在實踐中提升AI體驗的關(guān)鍵路徑。英偉達(dá)為上下文處理專門定制了Rubin CPX芯片，阿里巴巴自研芯片與新模型架構(gòu)之間的協(xié)同，也是令人興奮的關(guān)注點。