這項由小紅書公司技術(shù)團(tuán)隊主導(dǎo)的研究成果于2026年2月發(fā)表在預(yù)印本平臺arXiv上，論文編號為2602.10693v1。該研究針對大語言模型強(qiáng)化學(xué)習(xí)訓(xùn)練中的穩(wěn)定性難題，提出了一種全新的優(yōu)化算法VESPO，為解決模型訓(xùn)練過程中的"信息過時"問題提供了創(chuàng)新性解決方案。

想象你正在學(xué)習(xí)一門新技能，比如學(xué)做菜。通常情況下，你會根據(jù)最新的菜譜和最新的烹飪技巧來調(diào)整自己的手法。但如果你手頭只有一本過時的菜譜，而你又想學(xué)會最新的烹飪方法，這時候就會遇到問題。大語言模型在強(qiáng)化學(xué)習(xí)過程中面臨的挑戰(zhàn)與此非常相似。

在大語言模型的訓(xùn)練過程中，研究人員經(jīng)常會遇到一個棘手的問題：模型需要從過去生成的文本中學(xué)習(xí)，但這些文本是基于舊版本的模型產(chǎn)生的。這就好比一個學(xué)生在用昨天的錯誤答案來學(xué)習(xí)今天的正確方法，結(jié)果越學(xué)越糊涂。這種現(xiàn)象在技術(shù)上被稱為"策略陳舊性"，是導(dǎo)致模型訓(xùn)練不穩(wěn)定甚至崩潰的主要原因之一。

小紅書的研究團(tuán)隊發(fā)現(xiàn)，現(xiàn)有的解決方案就像給過時信息打補(bǔ)丁，雖然能暫時緩解問題，但缺乏理論基礎(chǔ)，效果也不夠理想。于是他們決定從根本上重新審視這個問題，開發(fā)出了一種名為VESPO的新算法。

VESPO的核心思想可以用調(diào)色的比喻來理解。當(dāng)畫家需要調(diào)出特定的顏色時，不同顏料的重要性是不同的。有些顏料占主導(dǎo)地位，有些只是起輔助作用。VESPO算法就像一個智能的調(diào)色師，它會根據(jù)每種"顏料"（訓(xùn)練數(shù)據(jù)）的新舊程度和質(zhì)量，自動調(diào)整它們在"調(diào)色過程"（模型訓(xùn)練）中的分量。

傳統(tǒng)的解決方案往往采用簡單粗暴的方式，要么直接丟棄過時的信息，要么對所有信息一視同仁。這就像一個廚師要么扔掉所有昨天的食材，要么把新鮮食材和過期食材混在一起烹飪，結(jié)果自然不理想。VESPO則更像一個經(jīng)驗豐富的大廚，它會根據(jù)每種食材的新鮮程度，巧妙地調(diào)整用量，讓整道菜的味道達(dá)到最佳平衡。

一、從數(shù)學(xué)原理到實際應(yīng)用：VESPO的理論基礎(chǔ)

要理解VESPO算法的創(chuàng)新之處，我們需要先了解它解決的核心問題。在大語言模型的訓(xùn)練過程中，研究人員通常會采用一種叫做"重要性采樣"的技術(shù)。這個概念可以用投票來類比：當(dāng)我們想了解全國人民對某個問題的看法時，如果只能訪問到某個特定地區(qū)的人群，我們就需要根據(jù)這個地區(qū)的特點來調(diào)整投票結(jié)果的權(quán)重，以便推斷出全國的真實情況。

在模型訓(xùn)練中，"重要性采樣"扮演著類似的角色。當(dāng)模型從過時的數(shù)據(jù)中學(xué)習(xí)時，算法需要知道這些數(shù)據(jù)與當(dāng)前模型狀態(tài)的匹配程度，然后相應(yīng)地調(diào)整它們在學(xué)習(xí)過程中的重要性。問題在于，對于長文本序列，這種重要性的計算會變得極其復(fù)雜和不穩(wěn)定。

傳統(tǒng)的解決方案大致分為兩類。第一類是在詞匯層面進(jìn)行調(diào)整，就像給文章中的每個單詞分別貼上重要性標(biāo)簽。這種方法的問題是，它忽略了單詞之間的相互依賴關(guān)系，就好比只看樹葉的顏色而忽略了整棵樹的健康狀態(tài)。第二類方法試圖在句子或段落層面進(jìn)行調(diào)整，但往往需要引入長度歸一化，這會帶來新的偏差問題。

VESPO的創(chuàng)新在于提出了一個全新的理論框架。研究團(tuán)隊將重要性權(quán)重的調(diào)整問題轉(zhuǎn)化為一個"變分優(yōu)化"問題。這聽起來很學(xué)術(shù)化，但實際上可以用尋找最佳配方的比喻來理解。

假設(shè)你是一個調(diào)酒師，需要調(diào)制一杯完美的雞尾酒。你有多種酒類可以選擇，每種酒都有不同的特點和價格。你的目標(biāo)是在控制成本的同時，調(diào)出最接近理想口味的雞尾酒。VESPO做的事情與此類似：它在保持訓(xùn)練穩(wěn)定性（控制成本）的約束下，尋找最優(yōu)的數(shù)據(jù)權(quán)重配置（調(diào)酒配方），使得訓(xùn)練效果最接近理想狀態(tài)。

通過這種變分優(yōu)化的方法，VESPO能夠自動推導(dǎo)出一個數(shù)學(xué)上優(yōu)雅的解決方案。這個解決方案具有兩個關(guān)鍵特征：一個冪函數(shù)項和一個指數(shù)衰減項。冪函數(shù)項負(fù)責(zé)放大重要的信息，而指數(shù)衰減項負(fù)責(zé)抑制過于極端的權(quán)重。這種組合就像音響設(shè)備中的均衡器，既能增強(qiáng)需要的頻率，又能抑制雜音。

更重要的是，VESPO的解決方案是在序列層面直接工作的，不需要進(jìn)行長度歸一化。這意味著它能夠保持長文本中單詞之間的相互依賴關(guān)系，就像保持一首交響樂中各個樂器之間的和諧配合。

二、實驗驗證：在數(shù)學(xué)推理任務(wù)中的卓越表現(xiàn)

為了驗證VESPO算法的有效性，研究團(tuán)隊在數(shù)學(xué)推理任務(wù)上進(jìn)行了大量實驗。他們選擇數(shù)學(xué)推理作為測試場景并非偶然，因為數(shù)學(xué)推理需要模型具備邏輯推導(dǎo)能力，對訓(xùn)練穩(wěn)定性的要求特別高。這就像測試一個學(xué)生的綜合能力，數(shù)學(xué)題往往是最好的選擇，因為它需要嚴(yán)謹(jǐn)?shù)倪壿嬎季S和準(zhǔn)確的計算能力。

實驗設(shè)置巧妙地模擬了實際應(yīng)用中的挑戰(zhàn)。研究團(tuán)隊使用了三個不同規(guī)模的模型：Llama-3.2-3B、Qwen3-8B和Qwen3-30B。這些模型就像三個不同年級的學(xué)生，從小學(xué)生到大學(xué)生，用來測試VESPO在不同復(fù)雜度下的表現(xiàn)。

在策略陳舊性的測試中，研究團(tuán)隊創(chuàng)造性地使用了一個叫做"陳舊比例"的指標(biāo)。他們將訓(xùn)練數(shù)據(jù)分成若干個小批次，然后讓模型依次處理這些批次。隨著處理過程的進(jìn)行，后面的批次相對于當(dāng)前模型狀態(tài)就會變得"陳舊"。這個陳舊比例從4倍一直增加到64倍，就像讓學(xué)生用越來越過時的教材來學(xué)習(xí)最新的知識。

實驗結(jié)果令人印象深刻。在所有測試條件下，VESPO都表現(xiàn)出了卓越的穩(wěn)定性。當(dāng)陳舊比例達(dá)到64倍時，其他算法要么性能急劇下降，要么完全崩潰，而VESPO依然能夠保持穩(wěn)定的訓(xùn)練過程和良好的最終性能。這就像一個優(yōu)秀的學(xué)生即使拿到過時的教材，依然能夠?qū)W到核心知識并取得好成績。

特別值得注意的是VESPO在混合專家模型上的表現(xiàn)?；旌蠈＜夷Ｐ褪且环N特殊的模型架構(gòu)，可以想象成一個由多個專家組成的咨詢團(tuán)隊。在處理不同問題時，系統(tǒng)會自動選擇最合適的專家來回答。這種架構(gòu)的優(yōu)勢是能夠用相對較少的計算資源處理復(fù)雜任務(wù)，但挑戰(zhàn)在于專家選擇的一致性。在訓(xùn)練和推理階段，如果專家選擇出現(xiàn)偏差，就會導(dǎo)致嚴(yán)重的性能問題。

VESPO在混合專家模型上的表現(xiàn)尤為出色，這主要得益于它對極端權(quán)重的軟抑制機(jī)制。當(dāng)某些訓(xùn)練樣本的重要性權(quán)重變得過大時，傳統(tǒng)方法往往采用硬截斷的方式，就像用剪刀直接切斷過長的樹枝。這種做法雖然簡單，但容易造成信息的突然丟失。VESPO則采用漸進(jìn)式的抑制方法，就像用柔軟的繩子逐漸引導(dǎo)樹枝生長方向，既保持了信息的連續(xù)性，又避免了極端情況。

研究團(tuán)隊還測試了完全異步訓(xùn)練的場景。在這種設(shè)置下，數(shù)據(jù)生成和模型訓(xùn)練是完全分離的，就像一個工廠的生產(chǎn)線和質(zhì)檢部門分別在不同的地方工作。數(shù)據(jù)生成使用的是舊版本的模型，而模型訓(xùn)練則基于最新的參數(shù)。這種設(shè)置下的陳舊性問題更加嚴(yán)重，因為陳舊程度是不可預(yù)測和動態(tài)變化的。

在異步訓(xùn)練實驗中，VESPO再次展現(xiàn)出了出色的適應(yīng)能力。其他算法在面對這種不確定性時往往表現(xiàn)不穩(wěn)定，訓(xùn)練曲線出現(xiàn)劇烈波動，有些甚至出現(xiàn)訓(xùn)練崩潰的情況。而VESPO的訓(xùn)練曲線始終平滑穩(wěn)定，就像一個經(jīng)驗豐富的船長在波濤洶涌的海面上依然能夠穩(wěn)定掌舵。

三、技術(shù)細(xì)節(jié)：算法設(shè)計的精妙之處

VESPO算法的技術(shù)實現(xiàn)體現(xiàn)了研究團(tuán)隊的深厚功底。算法的核心是一個重塑核函數(shù)，其數(shù)學(xué)形式為W^c1 × exp(c2(1-W))。這個公式看起來抽象，但它的設(shè)計思想非常直觀。

W代表重要性權(quán)重，反映了訓(xùn)練樣本與當(dāng)前模型狀態(tài)的匹配程度。當(dāng)W接近1時，說明樣本與當(dāng)前狀態(tài)高度匹配；當(dāng)W偏離1時，說明存在不匹配的情況。c1和c2是兩個可調(diào)參數(shù)，分別控制冪函數(shù)和指數(shù)函數(shù)的強(qiáng)度。

這個公式的巧妙之處在于它的自適應(yīng)特性。當(dāng)W接近1時，重塑函數(shù)的值也接近1，對原始權(quán)重幾乎不做修改。這就像一個溫和的老師對表現(xiàn)良好的學(xué)生不會過多干預(yù)。當(dāng)W顯著偏離1時，指數(shù)項開始發(fā)揮作用，對權(quán)重進(jìn)行平滑的抑制。這種抑制不是突然的截斷，而是漸進(jìn)的調(diào)整，保持了訓(xùn)練過程的連續(xù)性。

研究團(tuán)隊還發(fā)現(xiàn)，對于正向和負(fù)向的優(yōu)勢樣本，需要使用不同的參數(shù)設(shè)置。這個發(fā)現(xiàn)來自于對訓(xùn)練動態(tài)的深入分析。正向優(yōu)勢樣本是那些表現(xiàn)好于平均水平的樣本，負(fù)向優(yōu)勢樣本則相反。兩類樣本在訓(xùn)練過程中扮演不同的角色，因此需要差異化的處理策略。

對于正向優(yōu)勢樣本，算法傾向于保留更多的學(xué)習(xí)信號，因為這些樣本代表了模型應(yīng)該強(qiáng)化的行為。對于負(fù)向優(yōu)勢樣本，算法則更謹(jǐn)慎，特別是當(dāng)這些樣本來自陳舊的策略時，需要更強(qiáng)的抑制以避免誤導(dǎo)訓(xùn)練過程。這種不對稱的處理方式體現(xiàn)了算法設(shè)計的精細(xì)化程度。

從實現(xiàn)角度來看，VESPO具有優(yōu)秀的數(shù)值穩(wěn)定性。所有計算都在對數(shù)空間進(jìn)行，避免了指數(shù)運(yùn)算可能導(dǎo)致的數(shù)值溢出問題。這就像在處理天文數(shù)字時使用科學(xué)計數(shù)法一樣，保證了計算的精確性和穩(wěn)定性。

算法的內(nèi)存開銷也得到了很好的控制。與一些需要額外存儲歷史信息的方法不同，VESPO只需要存儲當(dāng)前和行為策略的對數(shù)概率，內(nèi)存需求與標(biāo)準(zhǔn)的重要性采樣方法相當(dāng)。這使得它能夠輕松應(yīng)用于大規(guī)模模型的訓(xùn)練。

四、與現(xiàn)有方法的對比：優(yōu)勢何在

為了更好地理解VESPO的創(chuàng)新性，研究團(tuán)隊將其與三種主流方法進(jìn)行了詳細(xì)對比。這三種方法分別代表了當(dāng)前解決策略陳舊性問題的不同思路。

第一種是GRPO方法，它采用詞匯級別的重要性調(diào)整。這種方法的思路是為文本中的每個單詞分別計算重要性權(quán)重，然后使用類似PPO的截斷策略來控制權(quán)重的范圍。這種方法的優(yōu)點是簡單直接，容易理解和實現(xiàn)。但缺點是破壞了句子層面的語義連貫性，就像把一幅畫拆散成單獨(dú)的顏色點來處理一樣。

實驗結(jié)果顯示，GRPO在面對高陳舊比例時容易出現(xiàn)訓(xùn)練飽和的問題。訓(xùn)練獎勵在達(dá)到某個水平后就停止增長，無法進(jìn)一步提升。這種現(xiàn)象的根本原因是詞匯級別的處理丟失了長程依賴信息，限制了模型學(xué)習(xí)復(fù)雜模式的能力。

第二種是GSPO方法，它嘗試在序列級別進(jìn)行處理，但引入了長度歸一化。具體來說，它使用幾何平均值來計算序列級別的重要性權(quán)重，即將所有單詞的重要性權(quán)重相乘后開T次方根，其中T是序列長度。這種做法的初衷是控制權(quán)重的方差，避免長序列帶來的不穩(wěn)定性。

然而，長度歸一化引入了新的偏差問題。研究團(tuán)隊通過理論分析證明，這種歸一化會導(dǎo)致相同平均質(zhì)量但不同長度的序列獲得相同的重要性權(quán)重，這在數(shù)學(xué)上是不合理的。實驗中，GSPO在某些條件下出現(xiàn)了災(zāi)難性的訓(xùn)練崩潰，特別是當(dāng)陳舊比例為4時，訓(xùn)練獎勵在1200步左右突然降為零。

第三種是SAPO方法，它使用自適應(yīng)門控機(jī)制來調(diào)整重要性權(quán)重。這種方法試圖通過學(xué)習(xí)一個門控函數(shù)來動態(tài)決定每個樣本的重要性。理論上，這種自適應(yīng)機(jī)制應(yīng)該能夠更好地處理復(fù)雜的訓(xùn)練場景。

但實驗結(jié)果表明，SAPO的穩(wěn)定性最差。在陳舊比例較低時，它還能維持基本的訓(xùn)練效果，但隨著陳舊比例增加，訓(xùn)練過程變得極不穩(wěn)定，經(jīng)常出現(xiàn)完全崩潰的情況。分析發(fā)現(xiàn)，SAPO對負(fù)優(yōu)勢樣本的處理不夠恰當(dāng)，容易導(dǎo)致訓(xùn)練過程中的正反饋循環(huán)被破壞。

相比之下，VESPO在所有測試條件下都表現(xiàn)出了出色的穩(wěn)定性和性能。它成功地結(jié)合了序列級別處理的優(yōu)勢和軟截斷的穩(wěn)定性，在不引入長度偏差的前提下有效控制了權(quán)重的方差。更重要的是，VESPO的性能隨著陳舊比例的增加幾乎沒有顯著下降，這在實際應(yīng)用中具有重要價值。

五、實際應(yīng)用價值：解決現(xiàn)實世界的挑戰(zhàn)

VESPO算法的價值不僅體現(xiàn)在理論創(chuàng)新上，更重要的是它解決了大語言模型訓(xùn)練中的實際問題。在現(xiàn)實世界的應(yīng)用中，策略陳舊性幾乎是不可避免的。

在大規(guī)模模型訓(xùn)練中，研究團(tuán)隊通常會將一個大的訓(xùn)練批次分解成多個小批次來處理，這是由計算資源和內(nèi)存限制決定的。隨著處理過程的進(jìn)行，后面的小批次基于的模型參數(shù)已經(jīng)過時，這就產(chǎn)生了策略陳舊性。VESPO能夠有效處理這種陳舊性，使得大批次訓(xùn)練變得更加穩(wěn)定可靠。

異步訓(xùn)練是另一個重要的應(yīng)用場景。在分布式訓(xùn)練環(huán)境中，數(shù)據(jù)生成和模型更新往往在不同的節(jié)點上進(jìn)行，兩者之間存在天然的時間差。這種異步性能夠提高系統(tǒng)的吞吐量和資源利用效率，但也帶來了策略陳舊性的挑戰(zhàn)。VESPO在異步訓(xùn)練場景下的出色表現(xiàn)為大規(guī)模分布式訓(xùn)練提供了新的可能性。

訓(xùn)練與推理引擎之間的不匹配是第三個重要場景。在實際部署中，訓(xùn)練和推理往往使用不同的軟件框架和優(yōu)化策略。這些差異會導(dǎo)致相同的模型參數(shù)在不同環(huán)境下產(chǎn)生微妙的輸出差異。對于混合專家模型來說，這種差異會因為專家選擇的不一致而放大。VESPO的軟抑制機(jī)制能夠很好地處理這類不匹配問題。

研究團(tuán)隊還探索了VESPO與其他技術(shù)的結(jié)合。他們發(fā)現(xiàn)VESPO可以與路由重放技術(shù)相結(jié)合，進(jìn)一步提升在混合專家模型上的性能。路由重放是一種確保訓(xùn)練和推理階段專家選擇一致性的技術(shù)，而VESPO的加入使得這種一致性的維護(hù)變得更加穩(wěn)定。

從工程實現(xiàn)的角度來看，VESPO具有良好的易用性。它不需要修改現(xiàn)有的訓(xùn)練框架，只需要在計算策略梯度時替換重要性權(quán)重的計算方法即可。這種即插即用的特性大大降低了算法的部署門檻。

六、未來展望：技術(shù)演進(jìn)的方向

VESPO算法的成功為大語言模型訓(xùn)練開辟了新的研究方向。研究團(tuán)隊在論文中提出了幾個值得繼續(xù)探索的領(lǐng)域。

首先是擴(kuò)展到更大規(guī)模的異步集群。當(dāng)前的實驗主要在中等規(guī)模的分布式環(huán)境中進(jìn)行，未來的挑戰(zhàn)是如何將VESPO應(yīng)用到擁有數(shù)千個節(jié)點的超大規(guī)模訓(xùn)練集群中。在這種規(guī)模下，策略陳舊性的復(fù)雜度會進(jìn)一步增加，需要更精細(xì)的處理策略。

其次是智能體強(qiáng)化學(xué)習(xí)的應(yīng)用。目前的實驗主要集中在文本生成任務(wù)上，但大語言模型正在向多輪對話和工具使用等更復(fù)雜的智能體行為發(fā)展。在這些場景中，模型需要處理長期的行動序列和復(fù)雜的獎勵信號，VESPO的序列級別處理優(yōu)勢可能會發(fā)揮更大的作用。

第三個方向是在線策略蒸餾和離線訓(xùn)練。隨著模型規(guī)模的增長，直接訓(xùn)練變得越來越昂貴。一種可能的解決方案是使用大模型生成訓(xùn)練數(shù)據(jù)，然后用這些數(shù)據(jù)訓(xùn)練較小的模型。VESPO的重要性權(quán)重調(diào)整機(jī)制可能在這種蒸餾過程中發(fā)揮重要作用。

從理論角度來看，研究團(tuán)隊還在探索VESPO的數(shù)學(xué)性質(zhì)。他們希望建立更嚴(yán)格的收斂性保證和性能邊界，為算法的進(jìn)一步優(yōu)化提供理論指導(dǎo)。同時，他們也在研究如何將變分優(yōu)化的框架擴(kuò)展到其他機(jī)器學(xué)習(xí)問題中。

在實際應(yīng)用中，一個重要的方向是自適應(yīng)超參數(shù)調(diào)整。目前VESPO需要手工設(shè)置c1和c2參數(shù)，雖然算法對這些參數(shù)相對不敏感，但自動調(diào)整仍然是一個有價值的研究方向。通過在線監(jiān)測訓(xùn)練狀態(tài)并動態(tài)調(diào)整參數(shù)，可能進(jìn)一步提升算法的性能和易用性。

說到底，VESPO算法代表了大語言模型訓(xùn)練技術(shù)的一個重要進(jìn)步。它不僅解決了策略陳舊性這個長期困擾研究者的問題，更重要的是提供了一個優(yōu)雅的理論框架來處理復(fù)雜的權(quán)重調(diào)整問題。隨著大語言模型在各個領(lǐng)域的廣泛應(yīng)用，穩(wěn)定可靠的訓(xùn)練算法變得越來越重要。VESPO為這一領(lǐng)域的發(fā)展提供了新的工具和思路，有望推動更強(qiáng)大、更穩(wěn)定的人工智能系統(tǒng)的誕生。對于那些希望深入了解這項技術(shù)細(xì)節(jié)的讀者，可以通過論文編號arXiv:2602.10693v1查詢完整的研究報告。

Q&A

Q1：VESPO算法主要解決什么問題？

A：VESPO主要解決大語言模型強(qiáng)化學(xué)習(xí)訓(xùn)練中的"策略陳舊性"問題。簡單來說，就是當(dāng)模型需要從過時的訓(xùn)練數(shù)據(jù)中學(xué)習(xí)時，如何避免訓(xùn)練不穩(wěn)定甚至崩潰的問題。這種情況在實際應(yīng)用中很常見，比如分批處理大量訓(xùn)練數(shù)據(jù)時，后面的批次基于的模型參數(shù)已經(jīng)過時了。

Q2：VESPO相比傳統(tǒng)方法有什么優(yōu)勢？

A：VESPO的主要優(yōu)勢在于它能在序列層面直接處理重要性權(quán)重，不需要長度歸一化，避免了傳統(tǒng)方法的偏差問題。它使用軟抑制機(jī)制而不是硬截斷，保持了訓(xùn)練過程的平滑性。實驗顯示，即使在64倍陳舊比例的極端條件下，VESPO依然能保持穩(wěn)定訓(xùn)練，而其他方法往往會出現(xiàn)性能下降或崩潰。

Q3：普通開發(fā)者如何使用VESPO算法？

A：VESPO具有很好的易用性，不需要修改現(xiàn)有的訓(xùn)練框架。開發(fā)者只需要在計算策略梯度時，將傳統(tǒng)的重要性權(quán)重計算方法替換為VESPO的重塑核函數(shù)即可。算法提供了完整的偽代碼實現(xiàn)，支持即插即用的部署方式，大大降低了使用門檻。