這項(xiàng)由威斯康星大學(xué)麥迪遜分校、Scitix、康奈爾大學(xué)、杜克大學(xué)、加州大學(xué)戴維斯分校和南方科技大學(xué)聯(lián)合開(kāi)展的研究，以預(yù)印本形式發(fā)布于2026年4月，論文編號(hào)為arXiv:2604.01622。感興趣的讀者可以通過(guò)該編號(hào)查詢(xún)完整論文。

**研究背景：當(dāng)AI寫(xiě)作需要一個(gè)"專(zhuān)家團(tuán)隊(duì)"**

現(xiàn)代大型語(yǔ)言模型的規(guī)模越來(lái)越驚人，動(dòng)輒數(shù)百億甚至上千億個(gè)參數(shù)。為了在保持龐大知識(shí)儲(chǔ)備的同時(shí)不讓每次回答都耗費(fèi)天量算力，工程師們想出了一個(gè)聰明的辦法：給模型配備一個(gè)由許多"專(zhuān)家"組成的團(tuán)隊(duì)，每次處理文字時(shí)只激活其中少數(shù)幾位專(zhuān)家，而不是讓所有人同時(shí)上陣。這種架構(gòu)在AI圈里叫做"混合專(zhuān)家模型"（Mixture-of-Experts，簡(jiǎn)稱(chēng)MoE）。

目前最先進(jìn)的對(duì)話AI系統(tǒng)，比如Mixtral、DeepSeek-V3、Qwen2.5等，都采用了這種團(tuán)隊(duì)分工的方式。然而，這些模型有一個(gè)共同點(diǎn)：它們的"派單方式"都是由任務(wù)方主動(dòng)發(fā)起的——也就是說(shuō)，每個(gè)需要處理的文字單元自己決定去找哪位專(zhuān)家?guī)兔?。這種方式在逐字生成文本的傳統(tǒng)AI中沒(méi)什么問(wèn)題，但放到另一類(lèi)正在崛起的AI架構(gòu)中，卻暴露出了明顯的缺陷。

這類(lèi)架構(gòu)叫做"擴(kuò)散語(yǔ)言模型"（Diffusion Language Models，簡(jiǎn)稱(chēng)DLM）。與傳統(tǒng)AI一個(gè)字一個(gè)字往外蹦不同，擴(kuò)散語(yǔ)言模型更像是在一張白紙上同時(shí)處理整句話——先把所有位置都打上問(wèn)號(hào)，然后一輪一輪地把問(wèn)號(hào)換成真實(shí)的文字，直到整個(gè)句子完整呈現(xiàn)。這種方式可以并行處理，理論上速度更快，近年來(lái)吸引了大量研究者的關(guān)注。

研究團(tuán)隊(duì)發(fā)現(xiàn)，把為逐字生成設(shè)計(jì)的派單方式直接搬到擴(kuò)散語(yǔ)言模型上，就像用出租車(chē)調(diào)度系統(tǒng)來(lái)管理一個(gè)同時(shí)處理整棟樓快遞的倉(cāng)庫(kù)——水土不服，問(wèn)題重重。于是他們提出了一套更適合擴(kuò)散語(yǔ)言模型的分工方案，并從實(shí)驗(yàn)中得出了一系列令人印象深刻的結(jié)論。

一、兩種派單方式的根本區(qū)別：誰(shuí)來(lái)決定找誰(shuí)

要理解這項(xiàng)研究的核心，需要先弄清楚兩種截然不同的"派單哲學(xué)"。

在傳統(tǒng)方式下，規(guī)則是"任務(wù)找專(zhuān)家"：每一個(gè)需要處理的文字單元，自行查看所有專(zhuān)家的簡(jiǎn)歷，然后選擇自己最信任的那幾位。這種方式叫做"令牌選擇"（Token-Choice，簡(jiǎn)稱(chēng)TC）路由。聽(tīng)起來(lái)很民主，但問(wèn)題很快就浮現(xiàn)出來(lái)了——如果同時(shí)有一百個(gè)文字單元都覺(jué)得專(zhuān)家A最厲害，專(zhuān)家A就會(huì)被淹沒(méi)在工作中，而其他專(zhuān)家則在發(fā)呆等活干。這種情況叫做"負(fù)載不均衡"，是TC路由的頑疾。

為了解決這個(gè)問(wèn)題，工程師們通常要給模型加上一個(gè)額外的"公平性懲罰"——如果某位專(zhuān)家承接了太多活，就扣分。但這個(gè)懲罰會(huì)與模型學(xué)習(xí)語(yǔ)言的主要目標(biāo)產(chǎn)生沖突，相當(dāng)于在學(xué)生專(zhuān)心備考的時(shí)候還要分心遵守額外的紀(jì)律規(guī)定，效果打折扣。而且即便如此，負(fù)載不均衡的問(wèn)題也無(wú)法從根本上消除，因?yàn)槊總€(gè)文字單元依然在獨(dú)立做決定。

另一種方式則翻轉(zhuǎn)了規(guī)則，叫做"專(zhuān)家選擇"（Expert-Choice，簡(jiǎn)稱(chēng)EC）路由：每位專(zhuān)家主動(dòng)選取自己認(rèn)為最需要幫助的若干個(gè)文字單元。這樣一來(lái)，每位專(zhuān)家的工作量就是固定的，整個(gè)團(tuán)隊(duì)的負(fù)載天然均衡，根本不需要額外的懲罰機(jī)制。

這種方式聽(tīng)起來(lái)簡(jiǎn)單，卻有一個(gè)關(guān)鍵的前提條件：專(zhuān)家在做選擇的時(shí)候，必須能看到所有候選的文字單元。在傳統(tǒng)逐字生成的AI中，這是做不到的——下一個(gè)詞還沒(méi)生成出來(lái)，專(zhuān)家怎么可能預(yù)先知道它的需求呢？然而在擴(kuò)散語(yǔ)言模型中，每一輪去噪都是在完整的序列上操作的，所有文字單元同時(shí)擺在那里，專(zhuān)家完全可以縱觀全局再做選擇。這正是研究團(tuán)隊(duì)的核心洞察：擴(kuò)散語(yǔ)言模型的架構(gòu)特性，天然與專(zhuān)家選擇路由高度契合。

二、速度對(duì)比：同樣的目的地，EC走得快一倍

研究團(tuán)隊(duì)搭建了一系列完全相同的模型架構(gòu)，唯一的區(qū)別是路由方式不同，然后讓它們?cè)谕瑯拥臄?shù)據(jù)上從零開(kāi)始訓(xùn)練，并記錄訓(xùn)練損失隨時(shí)間的變化。

結(jié)果相當(dāng)直觀：采用專(zhuān)家選擇路由的模型，在10.6小時(shí)內(nèi)就把訓(xùn)練損失降到了3.75；而采用傳統(tǒng)令牌選擇路由的模型，不管是"無(wú)上限版"還是"限容量版"，都需要將近21小時(shí)才能達(dá)到同樣的損失水平。換句話說(shuō)，專(zhuān)家選擇路由的模型學(xué)得足足快了兩倍。

背后的原因可以用一個(gè)工廠的比喻來(lái)理解。假設(shè)一條生產(chǎn)線上有8臺(tái)機(jī)器，每臺(tái)機(jī)器的加工速度是固定的。在令牌選擇模式下，訂單由客戶(hù)隨機(jī)選擇機(jī)器，結(jié)果是某臺(tái)機(jī)器堆滿(mǎn)了訂單，其他機(jī)器卻在空轉(zhuǎn)等待。為了不讓生產(chǎn)線停擺，所有機(jī)器都必須等最忙的那臺(tái)完成當(dāng)前批次后才能進(jìn)入下一輪，這就是所謂的"掉隊(duì)者效應(yīng)"。

在專(zhuān)家選擇模式下，調(diào)度員統(tǒng)一分配訂單，每臺(tái)機(jī)器的任務(wù)量完全相同，所有機(jī)器同步完成，沒(méi)有任何等待。研究團(tuán)隊(duì)測(cè)量了每臺(tái)GPU（圖形處理器，承擔(dān)模型計(jì)算工作的硬件）的內(nèi)存占用量，發(fā)現(xiàn)在令牌選擇模式下，8臺(tái)GPU的內(nèi)存使用量差異高達(dá)標(biāo)準(zhǔn)差3.6GB，最忙的那臺(tái)甚至用掉了70.3GB，遠(yuǎn)超其他機(jī)器的58到64GB；而在專(zhuān)家選擇模式下，所有GPU的內(nèi)存占用完全相同，標(biāo)準(zhǔn)差為零。

這種均衡不只是讓系統(tǒng)更整潔，更是實(shí)實(shí)在在轉(zhuǎn)化成了速度優(yōu)勢(shì)。測(cè)量顯示，專(zhuān)家選擇路由能達(dá)到每塊GPU每秒52.1萬(wàn)億次浮點(diǎn)運(yùn)算的吞吐量，而各種令牌選擇變體只能達(dá)到24.9到35.4，相差1.5到2.1倍。

三、不只是快，還能"因材施教"：按去噪階段動(dòng)態(tài)分配計(jì)算資源

發(fā)現(xiàn)專(zhuān)家選擇路由更快只是這項(xiàng)研究的第一步。研究團(tuán)隊(duì)隨即意識(shí)到，EC路由還能做一件TC路由根本無(wú)法做到的事情：根據(jù)當(dāng)前處于哪個(gè)去噪階段，靈活調(diào)整每位專(zhuān)家處理多少個(gè)文字單元。

擴(kuò)散語(yǔ)言模型的工作原理，就像是在一張滿(mǎn)是涂改液的文稿上一層層地擦出原文。第一輪時(shí)，幾乎所有位置都是涂改液（高遮掩率），模型幾乎沒(méi)有上下文可以參考；最后幾輪時(shí)，絕大多數(shù)文字已經(jīng)清晰可見(jiàn)，只剩下一兩個(gè)詞還在模糊之中（低遮掩率）。

直覺(jué)上，人們可能會(huì)認(rèn)為最難的階段是開(kāi)頭——一無(wú)所知的時(shí)候最需要幫助。但實(shí)驗(yàn)給出了截然不同的答案。研究團(tuán)隊(duì)設(shè)計(jì)了七種不同的"容量調(diào)度方案"，分別在不同的去噪階段多投入或少投入計(jì)算資源，同時(shí)保證所有方案的總計(jì)算量完全相同（這樣對(duì)比才公平）。

在以困惑度（Perplexity，衡量語(yǔ)言模型預(yù)測(cè)準(zhǔn)確性的指標(biāo)，數(shù)值越低越好）為標(biāo)準(zhǔn)的評(píng)測(cè)中，"線性反轉(zhuǎn)方案"表現(xiàn)最佳，得分36.5。這個(gè)方案的規(guī)則很簡(jiǎn)單：遮掩率越低，投入的計(jì)算資源越多。換句話說(shuō)，把最多的專(zhuān)家力量集中在即將完成的最后幾步。而"線性方案"——遮掩率越高投入越多——得分只有37.5，還不如不做任何調(diào)整的靜態(tài)基線（37.1）。

這個(gè)發(fā)現(xiàn)說(shuō)明，在接近完稿的階段投入更多計(jì)算資源，比在一片空白的初始階段投入更有價(jià)值。

研究團(tuán)隊(duì)還在更大規(guī)模的模型上驗(yàn)證了這一結(jié)論。他們?cè)诿麨镹emotron-CC的大型數(shù)據(jù)集上預(yù)訓(xùn)練了兩個(gè)擁有80億參數(shù)（其中10億參數(shù)被激活）的模型，訓(xùn)練量達(dá)到2000億個(gè)詞次。采用動(dòng)態(tài)線性反轉(zhuǎn)調(diào)度的模型，在驗(yàn)證困惑度上穩(wěn)定低于靜態(tài)基線（例如在2000億詞次訓(xùn)練后分別為19.18對(duì)19.19），在MMLU（一個(gè)衡量綜合知識(shí)水平的標(biāo)準(zhǔn)測(cè)試）和ARC-Challenge（一個(gè)科學(xué)推理測(cè)試）上的準(zhǔn)確率也持續(xù)領(lǐng)先，且每一個(gè)檢查點(diǎn)都是如此，并非偶然波動(dòng)。

四、為什么"最后幾步"最值得多投入：學(xué)習(xí)效率的數(shù)量級(jí)差異

既然實(shí)驗(yàn)已經(jīng)給出了答案，研究團(tuán)隊(duì)還想搞清楚背后的原因。他們?cè)O(shè)計(jì)了一套衡量"學(xué)習(xí)效率"的方法，把遮掩率分成四個(gè)區(qū)間（0到25%、25%到50%、50%到75%、75%到100%），分別追蹤每個(gè)區(qū)間內(nèi)模型的損失隨訓(xùn)練步數(shù)的下降速度，并用一個(gè)叫做"收斂率"的指標(biāo)來(lái)量化這種速度。

所謂收斂率，可以理解為"模型在這個(gè)難度等級(jí)的問(wèn)題上，每向前走一步能進(jìn)步多少"。這個(gè)指標(biāo)在對(duì)數(shù)空間下計(jì)算，使得不同難度區(qū)間之間的比較具有可比性。

測(cè)量結(jié)果令人吃驚：處于最低遮掩率區(qū)間（0到25%）的文字單元，其收斂率高達(dá)62.2（×10??），而處于最高遮掩率區(qū)間（75%到100%）的文字單元，收斂率只有9.8（×10??），相差超過(guò)六倍，而且隨著訓(xùn)練推進(jìn)，這個(gè)差距還在持續(xù)擴(kuò)大。到了訓(xùn)練后期，最低遮掩率區(qū)間的收斂率（2.5×10??）依然是最高遮掩率區(qū)間（0.3×10??）的約八倍，某些階段差距甚至接近二十倍。

這就像一個(gè)班級(jí)里，有些同學(xué)每做一道練習(xí)題就能進(jìn)步一大步，有些同學(xué)做十道題才有同等進(jìn)步。如果老師的精力有限，當(dāng)然應(yīng)該把更多時(shí)間花在"學(xué)習(xí)效率高的同學(xué)"身上，才能讓整體成績(jī)提升最快。

低遮掩率階段之所以學(xué)習(xí)效率高，研究團(tuán)隊(duì)給出了一個(gè)合理解釋?zhuān)寒?dāng)絕大多數(shù)文字已經(jīng)顯現(xiàn)，只剩下一兩個(gè)位置還在迷霧中時(shí)，模型掌握了豐富的上下文，每一次對(duì)這些殘余位置的預(yù)測(cè)嘗試都包含了密集的信息量。而在高遮掩率階段，上下文極度匱乏，模型的大多數(shù)猜測(cè)都幾乎是在黑暗中摸索，從每次嘗試中學(xué)到的東西自然有限。

動(dòng)態(tài)EC的比值分析進(jìn)一步印證了這一點(diǎn)：在低遮掩率區(qū)間，動(dòng)態(tài)EC模型的收斂率比靜態(tài)EC高出約3%，而在高遮掩率區(qū)間則低約1%到5%。這正是一種有價(jià)值的以退換進(jìn)：犧牲在低效區(qū)間的少量進(jìn)步，換取在高效區(qū)間的更多收益，凈效果是正的。

五、舊模型也能煥新生：只換一個(gè)小部件，就能提速又提質(zhì)

研究團(tuán)隊(duì)還面對(duì)了一個(gè)非常實(shí)際的問(wèn)題：已經(jīng)訓(xùn)練好的傳統(tǒng)模型，能不能從專(zhuān)家選擇路由中受益，而不需要從頭重新訓(xùn)練？

他們選取了一個(gè)叫做LLaDA-MoE的已訓(xùn)練模型，只替換其中的路由器（相當(dāng)于把"誰(shuí)找誰(shuí)"的規(guī)則改成"誰(shuí)選誰(shuí)"），所有專(zhuān)家的權(quán)重、嵌入?yún)?shù)和其他結(jié)構(gòu)都保持不變，然后在四個(gè)不同任務(wù)上進(jìn)行微調(diào)：代碼生成（HumanEval和HumanEval-Plus）、數(shù)學(xué)推理（GSM8K）和醫(yī)學(xué)知識(shí)問(wèn)答（MedQA）。

結(jié)果顯示，僅僅換了路由器，EC版本的模型在所有四個(gè)任務(wù)上的訓(xùn)練收斂速度都明顯快于原始TC版本，而最終達(dá)到的準(zhǔn)確率相當(dāng)或更高。動(dòng)態(tài)EC（采用線性反轉(zhuǎn)調(diào)度）在四項(xiàng)任務(wù)的平均準(zhǔn)確率上進(jìn)一步領(lǐng)先：54.9%對(duì)靜態(tài)EC的53.6%，對(duì)原始TC的52.6%。

除了準(zhǔn)確率，推理速度的提升同樣顯著。由于專(zhuān)家選擇路由消除了負(fù)載不均衡，模型在實(shí)際運(yùn)行時(shí)也不再出現(xiàn)部分計(jì)算單元空等的情況。測(cè)量顯示，EC和動(dòng)態(tài)EC版本的每輪評(píng)測(cè)解碼時(shí)間比TC版本快了1.3到1.5倍。以HumanEval任務(wù)為例，TC版本每輪評(píng)測(cè)需要1369秒，而EC版本只需要1008秒，動(dòng)態(tài)EC需要1056秒。

這意味著，已經(jīng)部署在產(chǎn)品中的擴(kuò)散語(yǔ)言模型，可以通過(guò)一次相對(duì)低成本的手術(shù)——僅僅更換路由邏輯——獲得訓(xùn)練更快、推理更快、準(zhǔn)確率更高的三重收益，而不必承擔(dān)從頭訓(xùn)練數(shù)百億參數(shù)模型所需的巨額計(jì)算費(fèi)用。

六、細(xì)節(jié)與邊界：不完美之處同樣值得關(guān)注

這項(xiàng)研究也并非沒(méi)有值得商榷的地方，研究團(tuán)隊(duì)在論文中坦誠(chéng)地指出了若干局限。

首先，專(zhuān)家選擇路由有一個(gè)潛在的令人擔(dān)憂之處：如果某個(gè)文字單元沒(méi)有被任何專(zhuān)家選中，會(huì)不會(huì)導(dǎo)致信息丟失？測(cè)量顯示，在靜態(tài)EC模式下，中間層（第2到14層）有不足1.1%的詞次未被任何路由專(zhuān)家選中，整體平均未覆蓋率約為2.7%；動(dòng)態(tài)EC由于在高遮掩率階段容量極低，平均未覆蓋率升至8.0%。不過(guò)，模型中還有兩位"共享專(zhuān)家"會(huì)無(wú)條件處理所有詞次，因此被路由專(zhuān)家跳過(guò)的詞次并不會(huì)完全丟失處理機(jī)會(huì)。此外，從概率角度看，一個(gè)詞次在所有16層都被跳過(guò)的概率極其微小，在靜態(tài)EC下約為10???，在動(dòng)態(tài)EC下約為10???，實(shí)際上幾乎不會(huì)發(fā)生。

其次，本研究設(shè)計(jì)的所有容量調(diào)度方案都是人工預(yù)設(shè)的（線性、余弦、高斯及其反轉(zhuǎn)變體），而不是由模型自行學(xué)習(xí)出來(lái)的最優(yōu)方案。研究團(tuán)隊(duì)也承認(rèn)，最優(yōu)方案可能隨模型規(guī)模、訓(xùn)練數(shù)據(jù)和任務(wù)類(lèi)型的不同而變化。一個(gè)自然的后續(xù)方向是訓(xùn)練一個(gè)輕量級(jí)的容量預(yù)測(cè)器，讓模型根據(jù)當(dāng)前狀態(tài)動(dòng)態(tài)決定應(yīng)該給每位專(zhuān)家分配多少工作量，而不是依賴(lài)預(yù)先設(shè)定的規(guī)則。這種方向在視覺(jué)擴(kuò)散模型領(lǐng)域（如DiffMoE）已有先例，但在語(yǔ)言擴(kuò)散模型中尚屬空白。

還有一個(gè)有趣的細(xì)節(jié)：余弦反轉(zhuǎn)調(diào)度雖然也傾向于在低遮掩率階段投入更多資源，但它的分配策略比線性反轉(zhuǎn)更為激進(jìn)——在遮掩率接近零時(shí)投入極多，在遮掩率接近一時(shí)投入極少。然而其最終困惑度（37.2）反而略差于線性反轉(zhuǎn)（36.5）。這說(shuō)明完全"餓死"高遮掩率階段并不明智；線性反轉(zhuǎn)之所以表現(xiàn)最佳，或許正在于它在兩個(gè)極端之間保持了更好的平衡。

歸根結(jié)底，這項(xiàng)研究做了一件看起來(lái)簡(jiǎn)單但影響深遠(yuǎn)的事情：它證明了，當(dāng)AI模型的工作方式發(fā)生根本性變化時(shí)（從逐字生成變?yōu)橥饺ピ耄?，其?nèi)部的資源分配策略也應(yīng)該隨之重新設(shè)計(jì)，而不是簡(jiǎn)單地照搬舊有范式。

專(zhuān)家選擇路由讓擴(kuò)散語(yǔ)言模型的訓(xùn)練速度翻倍，推理速度提升三到五成，而動(dòng)態(tài)容量調(diào)度則進(jìn)一步挖掘了擴(kuò)散過(guò)程本身的結(jié)構(gòu)規(guī)律——不同階段的學(xué)習(xí)價(jià)值天差地別，應(yīng)當(dāng)區(qū)別對(duì)待。更重要的是，這套改進(jìn)不需要改動(dòng)模型的大部分組件，已有的模型只需換掉一個(gè)路由器就能受益。

對(duì)于普通人而言，這意味著未來(lái)基于擴(kuò)散語(yǔ)言模型的AI寫(xiě)作、編程、問(wèn)答工具，有望在更低的計(jì)算成本下提供更快的響應(yīng)速度和更高的準(zhǔn)確率。而對(duì)于研究者而言，這項(xiàng)工作打開(kāi)了一個(gè)新的視角：迭代生成過(guò)程中的計(jì)算分配，不應(yīng)被視為固定的架構(gòu)常數(shù)，而應(yīng)被視為可以主動(dòng)設(shè)計(jì)的策略變量。

有興趣深入了解技術(shù)細(xì)節(jié)的讀者，可以通過(guò)arXiv編號(hào)2604.01622查閱完整論文。

Q&A

Q1：專(zhuān)家選擇路由和令牌選擇路由在擴(kuò)散語(yǔ)言模型中有什么本質(zhì)區(qū)別？

A：令牌選擇路由中，每個(gè)文字單元自行挑選專(zhuān)家，容易造成某些專(zhuān)家被擠爆、其他專(zhuān)家閑置，所有計(jì)算單元必須等最忙的那個(gè)完成才能推進(jìn)下一步。專(zhuān)家選擇路由反過(guò)來(lái)讓每位專(zhuān)家主動(dòng)選取固定數(shù)量的文字單元，負(fù)載天然均衡。擴(kuò)散語(yǔ)言模型每輪都能看到完整序列，這正好滿(mǎn)足了專(zhuān)家做全局選擇的前提條件，因此兩者天然適配。

Q2：為什么把更多計(jì)算資源放在低遮掩率階段比放在高遮掩率階段效果更好？

A：研究發(fā)現(xiàn)，在低遮掩率階段（大部分文字已顯現(xiàn)，只剩少量位置待填）時(shí)，模型的學(xué)習(xí)效率比高遮掩率階段高出數(shù)倍甚至數(shù)十倍。原因在于此時(shí)上下文豐富，每一次預(yù)測(cè)嘗試都包含大量有用信號(hào)；而在高遮掩率階段，上下文極少，每次嘗試能學(xué)到的東西很有限。按學(xué)習(xí)效率高低分配資源，整體性能自然更好。

Q3：已經(jīng)訓(xùn)練好的擴(kuò)散語(yǔ)言模型如何轉(zhuǎn)換為專(zhuān)家選擇路由？

A：轉(zhuǎn)換方式非常簡(jiǎn)潔，只需替換模型內(nèi)部負(fù)責(zé)分配任務(wù)的路由器組件，將"文字找專(zhuān)家"的邏輯改成"專(zhuān)家選文字"，專(zhuān)家權(quán)重、語(yǔ)言嵌入和其他所有參數(shù)完全保留不動(dòng)。替換后在目標(biāo)任務(wù)上進(jìn)行短暫微調(diào)，即可獲得更快的訓(xùn)練收斂速度、更快的推理速度，以及在多數(shù)任務(wù)上更高的準(zhǔn)確率。