這項令人矚目的研究成果來自華為諾亞方舟實驗室與倫敦大學(xué)學(xué)院人工智能中心的聯(lián)合團(tuán)隊，發(fā)表于2026年2月的最新學(xué)術(shù)期刊上，論文編號為arXiv:2602.18292v1。有興趣深入了解的讀者可以通過該編號查詢完整論文。這項研究第一次用數(shù)學(xué)的眼光重新審視了我們與大語言模型交流的方式，揭示了一個令人驚訝的真相：那些看似隨意的"采樣策略"其實都遵循著嚴(yán)格的數(shù)學(xué)規(guī)律。

想象一下你正在和朋友聊天，當(dāng)你想表達(dá)一個想法時，大腦會自動選擇合適的詞匯。對于大語言模型來說，這個過程被稱為"解碼"，就像是模型的"說話方式"。長久以來，研究人員把各種解碼方法當(dāng)作互不相關(guān)的技巧來使用——有的偏愛穩(wěn)妥保守，有的追求天馬行空，就像不同性格的人有不同的說話風(fēng)格一樣。

但是華為諾亞方舟實驗室的研究團(tuán)隊發(fā)現(xiàn)了一個革命性的事實：這些看似毫無關(guān)聯(lián)的"說話方式"其實都在解決同一個數(shù)學(xué)問題，就像廚師們用不同的調(diào)料配比來達(dá)到理想的味道一樣，本質(zhì)上都在尋找最佳的平衡點。這個發(fā)現(xiàn)不僅統(tǒng)一了我們對模型行為的理解，更重要的是，它為設(shè)計全新的交互方式開辟了道路。

研究團(tuán)隊不滿足于理論上的統(tǒng)一，他們還開發(fā)出了一種名為"Best-of-K"的新方法，專門針對需要多次嘗試才能得到滿意答案的場景。這就像是一個聰明的答題策略：與其把所有努力都押在一次完美的回答上，不如用巧妙的方式增加在多次嘗試中至少有一次成功的概率。實驗結(jié)果顯示，這種方法在數(shù)學(xué)題解答中的準(zhǔn)確率提升了令人矚目的18.6%。

一、傳統(tǒng)認(rèn)知的顛覆：解碼不是技巧而是數(shù)學(xué)

長期以來，研究人員把大語言模型的解碼過程看作是一堆互不相關(guān)的技巧。就像醫(yī)生的藥箱里裝著各種不同的藥品，需要什么癥狀就拿什么藥，但卻不明白這些藥品之間的內(nèi)在聯(lián)系。貪心解碼就像是保守的醫(yī)生，總是選擇最安全的治療方案；溫度采樣則像是敢于嘗試的醫(yī)生，會根據(jù)情況調(diào)整用藥的"激進(jìn)程度"；而Top-K采樣就像是有選擇恐懼癥的醫(yī)生，每次都會把選擇范圍縮小到最有把握的幾種方案。

華為團(tuán)隊的突破性發(fā)現(xiàn)是：所有這些不同的"醫(yī)療風(fēng)格"其實都在解決同一個根本問題——如何在治療效果和治療風(fēng)險之間找到最佳平衡點。用數(shù)學(xué)語言來說，就是在概率分布的空間中尋找最優(yōu)解。這個概率分布空間可以想象成一個復(fù)雜的地形圖，每個點代表選擇某個詞匯的概率，而不同的解碼方法就是在這個地形上尋找最佳路徑的不同策略。

更令人驚訝的是，研究團(tuán)隊發(fā)現(xiàn)這些策略都可以用一個統(tǒng)一的數(shù)學(xué)公式來描述。這個公式的核心思想是在兩個目標(biāo)之間取得平衡：一是要選擇模型認(rèn)為最合適的詞匯（就像選擇治療效果最好的藥），二是要滿足某些特定的偏好或約束（比如保持一定的多樣性，就像確保治療方案不會太單調(diào)）。

通過嚴(yán)格的數(shù)學(xué)推導(dǎo)，研究團(tuán)隊證明了貪心解碼相當(dāng)于完全不考慮多樣性，只追求最高分的策略；而Softmax采樣則相當(dāng)于在追求高分的同時，用熵這個數(shù)學(xué)工具來保持適度的隨機(jī)性。這就像是在追求治療效果的同時，也要保證患者的心理感受不會過于單調(diào)。

二、數(shù)學(xué)原理的深度剖析：優(yōu)化問題的藝術(shù)

研究團(tuán)隊把解碼過程重新定義為一個在概率單純形上的優(yōu)化問題。這聽起來很復(fù)雜，但其實可以用一個簡單的比喻來理解：想象你正在調(diào)制一杯完美的雞尾酒，你有很多種不同的酒類可以選擇，每種酒都有自己的"評分"（就像詞匯的模型得分），但你不能只選評分最高的那一種，因為那樣調(diào)出來的酒會太單調(diào)。

概率單純形就像是你的調(diào)酒規(guī)則：所有酒類的比例加起來必須等于100%，而且每種酒的比例都不能是負(fù)數(shù)。在這個約束條件下，你要找到最佳的配比方案。研究團(tuán)隊發(fā)現(xiàn)，不同的解碼策略實際上就是在使用不同的"口味偏好"來指導(dǎo)這個調(diào)酒過程。

為了解決這個優(yōu)化問題，研究團(tuán)隊引入了拉格朗日乘數(shù)法和KKT條件這些數(shù)學(xué)工具。這些工具就像是精密的天平，能夠精確地告訴你在滿足各種約束條件的情況下，如何達(dá)到最優(yōu)的平衡狀態(tài)。通過這些數(shù)學(xué)分析，他們發(fā)現(xiàn)了一個重要的規(guī)律：在最優(yōu)解中，那些被分配到非零概率的詞匯（也就是"活躍"的詞匯）必須滿足相同的平衡條件，而那些被忽略的詞匯則必須滿足不等式約束。

這個發(fā)現(xiàn)的意義在于，它提供了一個"主鑰匙"，能夠解開所有解碼策略的秘密。一旦你理解了這些數(shù)學(xué)條件，你就可以通過選擇不同的正則化函數(shù)（相當(dāng)于不同的"口味偏好"）來設(shè)計出任何你想要的解碼行為。

三、經(jīng)典方法的數(shù)學(xué)本質(zhì)：從貪心到稀疏的統(tǒng)一框架

研究團(tuán)隊用他們的統(tǒng)一框架重新審視了所有經(jīng)典的解碼方法，結(jié)果發(fā)現(xiàn)了令人驚訝的一致性。貪心解碼是最簡單的情況，相當(dāng)于完全不添加任何"調(diào)味料"（正則化項為零）的純凈策略。在這種情況下，優(yōu)化問題退化為簡單的線性目標(biāo)函數(shù)在單純形上的最大化，結(jié)果必然是把所有概率都分配給得分最高的詞匯。

當(dāng)他們在目標(biāo)函數(shù)中加入負(fù)熵作為正則化項時，魔法般地得到了經(jīng)典的Softmax采樣分布。這里有一個關(guān)鍵的數(shù)學(xué)洞察：負(fù)熵的梯度在概率接近零時會趨向負(fù)無窮，這就像一個強(qiáng)大的"排斥力"，阻止任何詞匯的概率真正降到零。因此，Softmax采樣天然地會給每個詞匯分配至少一點點概率，這就是它能保持多樣性的數(shù)學(xué)原因。

溫度參數(shù)在這個框架中有了新的解釋：它不再是一個臨時的"技巧"，而是熵正則化強(qiáng)度的精確數(shù)學(xué)表達(dá)。溫度越高，正則化越強(qiáng)，分布越平滑；溫度越低，正則化越弱，分布越尖銳。

Top-K和Top-P采樣則可以理解為在優(yōu)化問題中添加了硬約束條件。Top-K相當(dāng)于強(qiáng)制規(guī)定只能在前K個候選中選擇，就像在調(diào)雞尾酒時只允許使用最好的K種酒。Top-P則更加靈活，它根據(jù)累積概率來動態(tài)確定候選集的大小，就像根據(jù)酒的質(zhì)量分布來靈活決定使用多少種原料。

最有趣的是稀疏化解碼方法，比如基于Sparsemax的策略。當(dāng)研究團(tuán)隊使用二次正則化項（相當(dāng)于L2懲罰）時，他們發(fā)現(xiàn)最優(yōu)解會自然地將一些詞匯的概率精確地設(shè)為零。這與負(fù)熵正則化形成了鮮明對比——二次函數(shù)在零點附近的梯度是有限的，不會產(chǎn)生那種強(qiáng)烈的"排斥效應(yīng)"，因此允許優(yōu)化器真正地"放棄"某些選項。

四、鏡像上升算法：當(dāng)閉式解不存在時的優(yōu)雅方案

雖然經(jīng)典的解碼方法都有漂亮的閉式解，但研究團(tuán)隊的野心遠(yuǎn)不止于此。他們想要設(shè)計更復(fù)雜、更智能的解碼策略，而這些新策略往往不能用簡單的公式表達(dá)。這就像從調(diào)制簡單的雞尾酒轉(zhuǎn)向創(chuàng)作復(fù)雜的分子料理——你需要更精密的工具和更復(fù)雜的過程。

為了應(yīng)對這個挑戰(zhàn)，研究團(tuán)隊引入了鏡像上升算法，這是一種專門針對概率單純形幾何結(jié)構(gòu)設(shè)計的優(yōu)化方法。傳統(tǒng)的梯度上升算法就像在平坦的地面上走路，每一步都沿著最陡峭的方向前進(jìn)。但概率單純形不是平坦的地面，它有著特殊的幾何結(jié)構(gòu)和邊界約束。在這樣的空間中使用傳統(tǒng)的梯度方法，就像穿著普通鞋子在冰面上行走——效率低下且容易出錯。

鏡像上升算法的巧妙之處在于，它使用了與單純形幾何結(jié)構(gòu)相匹配的"度量方式"。具體來說，它不再用歐幾里得距離來衡量兩個概率分布之間的差異，而是使用更適合的KL散度。這就像為冰面行走特制了防滑鞋——每一步都更加穩(wěn)定和高效。

算法的更新規(guī)則具有一種優(yōu)雅的乘性形式。在每一步中，算法會根據(jù)目標(biāo)函數(shù)的梯度對當(dāng)前分布進(jìn)行指數(shù)變換，然后重新歸一化以確保結(jié)果仍然是有效的概率分布。這種更新方式天然地保持了單純形約束，不需要任何額外的投影操作。

更重要的是，這個算法為設(shè)計新的解碼策略打開了大門。任何可以表達(dá)為優(yōu)化問題的解碼目標(biāo)，無論多么復(fù)雜，都可以通過鏡像上升算法來求解。這就像從手工調(diào)酒轉(zhuǎn)向了程控調(diào)酒機(jī)——你可以實現(xiàn)任何你能想象到的復(fù)雜配方。

五、Best-of-K采樣：多重機(jī)會的智慧策略

在理論框架建立之后，研究團(tuán)隊決定將其付諸實踐。他們觀察到現(xiàn)代AI應(yīng)用中的一個重要趨勢：越來越多的場景不滿足于單次回答，而是需要多次嘗試來獲得最佳結(jié)果。這就像考試時的多選題策略——與其把所有希望押在一次完美的猜測上，不如用策略來最大化在多次嘗試中至少答對一次的概率。

傳統(tǒng)的解碼方法都是針對單次采樣設(shè)計的，它們追求的是單個回答的質(zhì)量。但在多次采樣的場景中，這種策略可能并不是最優(yōu)的。比如，如果一個詞匯有60%的概率是正確答案，傳統(tǒng)方法會傾向于多次選擇這個高概率選項，但這樣做在多次嘗試中可能會反復(fù)得到相同的答案，浪費了寶貴的"重試機(jī)會"。

Best-of-K（簡稱BoK）的核心思想是重新定義優(yōu)化目標(biāo)：不再追求單次回答的期望質(zhì)量，而是追求在K次嘗試中至少獲得一個高質(zhì)量答案的概率。這個想法聽起來簡單，但數(shù)學(xué)實現(xiàn)卻相當(dāng)精妙。

研究團(tuán)隊為每個候選詞匯v定義了一個"命中概率"：在K次獨立采樣中，詞匯v至少出現(xiàn)一次的概率是1-(1-q(v))^K，其中q(v)是該詞匯在解碼分布中的概率。這個公式有一個重要的特性：它表現(xiàn)出邊際遞減效應(yīng)。也就是說，當(dāng)q(v)已經(jīng)比較大時，繼續(xù)增加它帶來的邊際收益會逐漸減小。這naturally鼓勵算法將概率分配給那些被低估但有價值的候選選項。

為了防止算法過度分散注意力到不相關(guān)的詞匯上，研究團(tuán)隊引入了KL散度作為錨定項，確保最終的分布不會偏離原始模型分布太遠(yuǎn)。整個BoK目標(biāo)函數(shù)在模型得分、覆蓋率獎勵和錨定約束之間取得了精妙的平衡。

六、實驗驗證：數(shù)學(xué)理論在現(xiàn)實中的表現(xiàn)

研究團(tuán)隊在多個基準(zhǔn)測試上驗證了BoK采樣器的實際效果，實驗涵蓋了數(shù)學(xué)推理、科學(xué)問答和代碼生成三個不同領(lǐng)域。他們選擇了兩個代表性的模型：專門為數(shù)學(xué)優(yōu)化的Qwen2.5-Math-7B和通用的Qwen2.5-7B，在MATH500數(shù)學(xué)題集、GPQA-diamond科學(xué)問答和HumanEval代碼評測上進(jìn)行了全面測試。

實驗設(shè)計特別關(guān)注了溫度參數(shù)對性能的影響。溫度參數(shù)控制著采樣的"冒險程度"——低溫度下模型傾向于保守的高概率選擇，高溫度下則更愿意探索多樣化的可能性。在傳統(tǒng)采樣方法中，高溫度往往伴隨著性能的急劇下降，因為過度的隨機(jī)性會導(dǎo)致很多不合理的輸出。

BoK采樣器在這方面表現(xiàn)出了顯著的優(yōu)勢。在溫度為0.9的高溫條件下，傳統(tǒng)采樣在MATH500上的準(zhǔn)確率從溫度0.1時的72.2%跌至53.0%，下降了19.2個百分點。而BoK采樣器不僅完全避免了這種性能損失，反而將準(zhǔn)確率提升到了71.6%，相比傳統(tǒng)高溫采樣提升了18.6個百分點。

這種改進(jìn)在其他任務(wù)上同樣明顯。在GPQA科學(xué)問答中，BoK在高溫條件下比傳統(tǒng)采樣提升了6.06個百分點；在HumanEval代碼生成中，提升幅度達(dá)到了14.64個百分點。這些結(jié)果表明，BoK不是針對特定任務(wù)的局部優(yōu)化，而是一種具有廣泛適用性的通用改進(jìn)。

更重要的是，BoK的性能提升是穩(wěn)健的，不依賴于精確的超參數(shù)調(diào)節(jié)。研究團(tuán)隊測試了多種不同的β（覆蓋率權(quán)重）和λ（錨定強(qiáng)度）組合，發(fā)現(xiàn)在一個相當(dāng)寬泛的參數(shù)范圍內(nèi)都能獲得顯著改進(jìn)。這說明BoK提供的是一個穩(wěn)定的"操作窗口"，而不是需要精心調(diào)節(jié)的脆弱平衡。

從計算效率的角度看，BoK的額外開銷非常有限。每個token只需要5次鏡像上升迭代，整體運(yùn)行時間僅增加約6%（從15.84秒增加到16.88秒）。更令人驚訝的是，即使只用2次迭代，BoK依然能帶來顯著改進(jìn)（準(zhǔn)確率從64.4%提升到69.6%），而運(yùn)行時間幾乎沒有增加。這表明算法收斂速度很快，適合實際部署。

七、理論意義與實踐價值：重新定義人機(jī)交互的未來

這項研究的影響遠(yuǎn)超出了技術(shù)層面的改進(jìn)。它從根本上改變了我們理解和設(shè)計大語言模型解碼策略的方式，將一個傳統(tǒng)上依賴經(jīng)驗和直覺的領(lǐng)域轉(zhuǎn)變?yōu)榭梢杂脭?shù)學(xué)精確分析和設(shè)計的科學(xué)。

從理論角度來看，統(tǒng)一框架的建立意味著我們現(xiàn)在有了一種"解碼策略的化學(xué)元素周期表"。就像門捷列夫的周期表不僅整理了已知元素，還預(yù)測了未知元素的存在一樣，這個數(shù)學(xué)框架不僅解釋了現(xiàn)有方法的本質(zhì)，還為發(fā)現(xiàn)新策略提供了系統(tǒng)性的指導(dǎo)。任何新的解碼行為都可以通過選擇適當(dāng)?shù)恼齽t化函數(shù)和約束條件來實現(xiàn)。

更深層次的洞察是關(guān)于優(yōu)化幾何的認(rèn)識。研究團(tuán)隊揭示了概率單純形的幾何結(jié)構(gòu)如何影響解碼行為：內(nèi)部解對應(yīng)于平滑的分布，邊界解對應(yīng)于稀疏的分布，而不同的正則化函數(shù)本質(zhì)上是在引導(dǎo)優(yōu)化過程向不同的幾何區(qū)域收斂。這種幾何直覺為理解復(fù)雜的采樣行為提供了全新的視角。

從實踐角度來看，BoK采樣器代表了一種全新的設(shè)計哲學(xué)：從優(yōu)化單次輸出質(zhì)量轉(zhuǎn)向優(yōu)化多次嘗試的成功概率。這種轉(zhuǎn)變反映了AI應(yīng)用模式的根本變化——從"一次性對話"轉(zhuǎn)向"迭代式協(xié)作"。在這種新模式下，AI系統(tǒng)不再需要每次都給出完美答案，而是通過多次嘗試來增加獲得滿意結(jié)果的機(jī)會。

這種方法論的價值還體現(xiàn)在它的通用性上。BoK的核心思想——優(yōu)化覆蓋率而非點估計——可以推廣到很多其他場景。比如，在推薦系統(tǒng)中，與其每次推薦最可能被點擊的內(nèi)容，不如優(yōu)化用戶在瀏覽多個推薦中至少找到一個感興趣內(nèi)容的概率。在藥物發(fā)現(xiàn)中，與其專注于單個最有希望的化合物，不如優(yōu)化在多個候選中至少有一個成功的概率。

八、未來展望：解碼科學(xué)的新紀(jì)元

這項研究開啟了"解碼科學(xué)"這個全新研究領(lǐng)域的大門。研究團(tuán)隊明確指出了幾個值得深入探索的方向，每一個都可能帶來革命性的突破。

序列級優(yōu)化是一個特別有前景的方向。當(dāng)前的解碼策略都是逐步?jīng)Q策的——在每個位置獨立選擇下一個詞匯，就像近視的人只能看清眼前一步的路。但很多實際需求需要全局視野：比如控制生成文本的總體長度、保持前后一致的風(fēng)格，或者確保整個回答覆蓋了問題的所有要點。將優(yōu)化視角從單步擴(kuò)展到序列級別，需要開發(fā)新的數(shù)學(xué)工具來處理時間耦合和長程依賴。

更復(fù)雜的效用函數(shù)設(shè)計也充滿可能性。BoK采樣器證明了根據(jù)應(yīng)用需求定制效用函數(shù)的可行性，但這只是冰山一角。研究團(tuán)隊提到了幾個誘人的方向：直接建模下游排序過程的效用函數(shù)，能夠感知外部驗證器反饋的效用函數(shù)，以及能夠動態(tài)適應(yīng)用戶偏好的個性化效用函數(shù)。每一種設(shè)計都可能催生全新的交互體驗。

約束集合的擴(kuò)展同樣令人期待。當(dāng)前的方法主要在概率單純形上操作，但實際應(yīng)用中的約束往往更加豐富。比如，在某些對話場景中，我們可能希望避免重復(fù)之前的話題，這需要引入"記憶約束"；在創(chuàng)作任務(wù)中，我們可能希望保持特定的文體風(fēng)格，這需要"風(fēng)格約束"；在專業(yè)領(lǐng)域，我們可能需要確保生成內(nèi)容符合特定的格式規(guī)范，這需要"結(jié)構(gòu)約束"。

技術(shù)層面的創(chuàng)新空間也很廣闊。鏡像上升算法只是處理復(fù)雜優(yōu)化問題的一種方法，還有很多其他的優(yōu)化技術(shù)可以探索。比如，變分推理方法可能能夠更高效地處理高維約束，強(qiáng)化學(xué)習(xí)技術(shù)可能能夠更好地處理序列決策問題，而圖神經(jīng)網(wǎng)絡(luò)可能為處理結(jié)構(gòu)化約束提供新的可能性。

最終，這項研究指向了一個更宏大的愿景：將人機(jī)交互從"你問我答"的簡單模式，升華為"協(xié)作優(yōu)化"的高級形態(tài)。在這種新模式中，人類不再是被動的信息接收者，而是優(yōu)化目標(biāo)的共同定義者；AI也不再是信息的簡單輸出者，而是協(xié)作過程的智能優(yōu)化器。雙方共同工作，通過數(shù)學(xué)上嚴(yán)謹(jǐn)?shù)膬?yōu)化過程，來達(dá)成真正滿足復(fù)雜現(xiàn)實需求的解決方案。

說到底，這項研究的真正價值不在于任何具體的技術(shù)細(xì)節(jié)，而在于它展示的全新思維方式：將直覺轉(zhuǎn)化為數(shù)學(xué)，將經(jīng)驗轉(zhuǎn)化為理論，將技巧轉(zhuǎn)化為科學(xué)。它告訴我們，即使是看似最"藝術(shù)性"的人機(jī)交互過程，也可以用嚴(yán)謹(jǐn)?shù)臄?shù)學(xué)來理解和改進(jìn)。這種認(rèn)識為未來的AI發(fā)展指明了方向——不是依賴更大的模型或更多的數(shù)據(jù)，而是通過更深刻的數(shù)學(xué)理解來釋放已有能力的全部潛力。正如研究團(tuán)隊在論文結(jié)尾所宣告的那樣："解碼不是技巧，而是優(yōu)化！"這句話可能會成為這個領(lǐng)域未來發(fā)展的座右銘。

Q&A

Q1：Best-of-K采樣方法和傳統(tǒng)采樣方法有什么區(qū)別？

A：傳統(tǒng)采樣方法追求單次回答的質(zhì)量，就像考試時力求一次答對。而Best-of-K方法優(yōu)化的是多次嘗試中至少獲得一個好答案的概率，就像通過策略來最大化多次嘗試中至少答對一次的機(jī)會。實驗顯示，這種方法在數(shù)學(xué)題解答中能將準(zhǔn)確率提升18.6%。

Q2：為什么華為團(tuán)隊說所有解碼方法本質(zhì)上都在解決同一個數(shù)學(xué)問題？

A：華為團(tuán)隊發(fā)現(xiàn)，看似不同的解碼策略（貪心、Softmax、Top-K等）都可以用同一個數(shù)學(xué)框架描述——在概率分布空間中尋找最優(yōu)解，平衡模型得分和特定偏好。就像不同的調(diào)酒師用不同配比追求理想口味，本質(zhì)都在尋找最佳平衡點。差異只在于使用了不同的"調(diào)味規(guī)則"。

Q3：鏡像上升算法相比傳統(tǒng)優(yōu)化方法有什么優(yōu)勢？

A：傳統(tǒng)梯度算法就像在平地上行走，而概率分布有特殊的幾何約束，就像在冰面上行走。鏡像上升算法使用適合概率分布的KL散度度量，就像為冰面特制防滑鞋，每步都更穩(wěn)定高效。它能天然保持概率約束，為設(shè)計復(fù)雜解碼策略提供了有力工具。