這項(xiàng)由中國(guó)科學(xué)院大學(xué)軟件研究所的溫學(xué)茹、劉彥江、林宏宇等研究人員，聯(lián)合小紅書(shū)公司的樓杰、張德兵等專(zhuān)家共同完成的研究，發(fā)表于2025年12月的arXiv預(yù)印本平臺(tái)（論文編號(hào)arXiv:2512.12576v1），為解決大型語(yǔ)言模型的推理訓(xùn)練難題提出了全新的解決方案。有興趣深入了解技術(shù)細(xì)節(jié)的讀者可以通過(guò)該論文編號(hào)查詢(xún)完整研究?jī)?nèi)容。

當(dāng)我們面對(duì)一道復(fù)雜的數(shù)學(xué)題時(shí)，通常會(huì)采用兩種截然不同的策略。有時(shí)候，我們會(huì)先仔細(xì)分析題目，然后一步步推導(dǎo)出答案，這就像一個(gè)偵探從線(xiàn)索開(kāi)始逐步破案。但另一些時(shí)候，如果我們已經(jīng)知道答案或者有了大致方向，我們會(huì)反過(guò)來(lái)驗(yàn)證這個(gè)答案是否正確，就像從結(jié)論倒推論證過(guò)程。

目前的AI系統(tǒng)在學(xué)習(xí)推理時(shí)面臨著類(lèi)似的選擇困境，但它們往往只能采用其中一種策略，這就像是讓一個(gè)學(xué)生只能用一種方法解題一樣，效率自然不夠理想?，F(xiàn)有的強(qiáng)化學(xué)習(xí)方法雖然在數(shù)學(xué)推理等可驗(yàn)證的任務(wù)中表現(xiàn)出色，但它們依賴(lài)于外部驗(yàn)證器來(lái)判斷答案的正確性。當(dāng)涉及到無(wú)法輕易驗(yàn)證答案的復(fù)雜推理任務(wù)時(shí)，這些方法就顯得力不從心了。

為了解決這個(gè)問(wèn)題，近期出現(xiàn)了一些"無(wú)驗(yàn)證器"的強(qiáng)化學(xué)習(xí)方法，它們不再依賴(lài)外部判斷，而是利用AI模型自身對(duì)正確答案的預(yù)測(cè)概率作為獎(jiǎng)勵(lì)信號(hào)。這種方法可以比喻為讓學(xué)生自己評(píng)估答案的可信度。然而，這些方法通常只從問(wèn)題開(kāi)始生成推理過(guò)程，就像總是要求學(xué)生從頭開(kāi)始解題，而不允許他們從已知答案驗(yàn)證推理過(guò)程。這種單一的訓(xùn)練方式導(dǎo)致了兩個(gè)關(guān)鍵問(wèn)題：一是探索效率低下，特別是在面對(duì)困難問(wèn)題時(shí)，模型很難找到有用的推理路徑；二是推理過(guò)程與最終答案之間可能出現(xiàn)不一致，即使推理邏輯正確，但由于答案格式不匹配等原因，仍然可能得到較低的獎(jiǎng)勵(lì)。

面對(duì)這樣的挑戰(zhàn)，研究團(tuán)隊(duì)提出了一個(gè)名為"耦合變分強(qiáng)化學(xué)習(xí)"（CoVRL）的創(chuàng)新框架。這個(gè)方法的核心思想是將變分推理和強(qiáng)化學(xué)習(xí)巧妙地結(jié)合起來(lái)，通過(guò)混合采樣策略同時(shí)利用"先驗(yàn)分布"和"后驗(yàn)分布"這兩種互補(bǔ)的生成模式。

為了更好地理解這個(gè)概念，我們可以把AI的推理學(xué)習(xí)過(guò)程比作學(xué)習(xí)烹飪。傳統(tǒng)的方法就像只教學(xué)生按照食譜一步步做菜（先驗(yàn)分布），而不告訴他們最終菜品應(yīng)該是什么樣子。而研究團(tuán)隊(duì)的新方法則是既教學(xué)生按食譜做菜，又讓他們從成功的菜品反推制作過(guò)程（后驗(yàn)分布）。通過(guò)這種雙重訓(xùn)練，學(xué)生不僅學(xué)會(huì)了基本的烹飪步驟，還理解了不同步驟與最終成果之間的關(guān)聯(lián)。

具體來(lái)說(shuō)，這個(gè)框架構(gòu)建了一個(gè)"復(fù)合分布"，將問(wèn)題導(dǎo)向的先驗(yàn)分布和答案導(dǎo)向的后驗(yàn)分布有機(jī)結(jié)合。先驗(yàn)分布對(duì)應(yīng)于現(xiàn)實(shí)推理?xiàng)l件，即只根據(jù)問(wèn)題生成推理過(guò)程；而后驗(yàn)分布則利用答案信息，生成更加連貫和準(zhǔn)確的推理路徑。這種雙模式策略在訓(xùn)練期間提供答案指導(dǎo)，同時(shí)確保學(xué)到的推理模式能夠有效遷移到實(shí)際推理場(chǎng)景中。

在實(shí)際實(shí)施過(guò)程中，由于直接從復(fù)合分布采樣在計(jì)算上比較復(fù)雜，研究團(tuán)隊(duì)采用了一種混合采樣策略。他們?yōu)槊總€(gè)訓(xùn)練樣本隨機(jī)選擇使用先驗(yàn)分布還是后驗(yàn)分布，然后通過(guò)最大化變分下界來(lái)進(jìn)行優(yōu)化。這個(gè)下界包含一個(gè)重建項(xiàng)（用于答案預(yù)測(cè)）和一個(gè)正則化項(xiàng)（確保遷移性）。通過(guò)重要性加權(quán)技術(shù)，他們能夠使用同一個(gè)底層語(yǔ)言模型在不同的提示模板下進(jìn)行無(wú)縫訓(xùn)練。

為了處理KL散度這一關(guān)鍵的正則化組件，研究團(tuán)隊(duì)擴(kuò)展了現(xiàn)有的低方差KL估計(jì)器，使其適用于復(fù)合分布設(shè)置。他們根據(jù)采樣分布的不同，推導(dǎo)出不同的估計(jì)器形式，并通過(guò)Bregman散度控制變量來(lái)減少估計(jì)方差。這種技術(shù)處理確保了訓(xùn)練過(guò)程的穩(wěn)定性和可靠性。

在實(shí)驗(yàn)設(shè)計(jì)方面，研究團(tuán)隊(duì)使用了從WebInstruct數(shù)據(jù)集中篩選出的非數(shù)學(xué)問(wèn)題數(shù)據(jù)，以評(píng)估算法在一般推理能力方面的改進(jìn)效果。他們沒(méi)有進(jìn)行額外的數(shù)據(jù)過(guò)濾，以評(píng)估算法在不同問(wèn)題類(lèi)型、難度水平和質(zhì)量變化中的魯棒性。實(shí)驗(yàn)主要基于Qwen2.5-7B-Base模型進(jìn)行，直接在基礎(chǔ)模型上進(jìn)行微調(diào)，而沒(méi)有中間的監(jiān)督微調(diào)階段。

與其他無(wú)驗(yàn)證器方法的對(duì)比實(shí)驗(yàn)結(jié)果顯示，CoVRL在綜合性能上取得了顯著提升。在包括數(shù)學(xué)推理和一般推理在內(nèi)的多個(gè)基準(zhǔn)測(cè)試中，該方法相比基礎(chǔ)模型實(shí)現(xiàn)了12.4%的性能提升，并且相比最強(qiáng)的基線(xiàn)方法額外獲得了2.3%的改進(jìn)。值得注意的是，盡管訓(xùn)練時(shí)使用的是非數(shù)學(xué)問(wèn)題，但該方法在數(shù)學(xué)推理任務(wù)上也表現(xiàn)出了實(shí)質(zhì)性的提升，這證明了通過(guò)多樣化問(wèn)題解決學(xué)習(xí)到的一般推理能力可以有效遷移，突顯了一般推理技能發(fā)展的價(jià)值。

訓(xùn)練動(dòng)態(tài)分析揭示了幾個(gè)重要發(fā)現(xiàn)。首先，后驗(yàn)分布在提供指導(dǎo)方面非常有效，在整個(gè)訓(xùn)練過(guò)程中始終保持比先驗(yàn)分布更高的獎(jiǎng)勵(lì)分?jǐn)?shù)，這證實(shí)了答案導(dǎo)向采樣策略的有效性，并確認(rèn)后驗(yàn)采樣能夠更高效地探索高質(zhì)量推理路徑。其次，CoVRL通過(guò)延長(zhǎng)的思維鏈追蹤提升了推理能力，響應(yīng)長(zhǎng)度的穩(wěn)定增加表明模型逐漸生成更詳細(xì)的推理過(guò)程，這種趨勢(shì)表明CoVRL成功地鼓勵(lì)了詳盡的逐步解釋。此外，正則化提供了穩(wěn)定的優(yōu)化動(dòng)態(tài)，NLL和KL損失的穩(wěn)定下降趨勢(shì)表明改進(jìn)的答案預(yù)測(cè)和成功的正則化，確認(rèn)了變分目標(biāo)有效地平衡了重建和正則化項(xiàng)。

關(guān)于混合采樣策略的影響，研究團(tuán)隊(duì)通過(guò)改變先驗(yàn)分布和后驗(yàn)分布之間的混合比例進(jìn)行了深入分析。結(jié)果表明，低先驗(yàn)采樣概率（α=0.1）的表現(xiàn)優(yōu)于高先驗(yàn)采樣概率（α=0.9），這突顯了后驗(yàn)分布在算法中的重要作用。當(dāng)先驗(yàn)采樣占主導(dǎo)時(shí)，模型主要從先驗(yàn)分布采樣，響應(yīng)推理鏈長(zhǎng)度會(huì)減少。這是因?yàn)樵诟纳篇?jiǎng)勵(lì)方面存在困難，導(dǎo)致模型優(yōu)先考慮最小化KL損失并生成更短的序列。相比之下，當(dāng)后驗(yàn)采樣占主導(dǎo)時(shí)，推理鏈長(zhǎng)度增加，后驗(yàn)主導(dǎo)的采樣比先驗(yàn)主導(dǎo)的采樣取得更好的性能。然而，由于訓(xùn)練-推理不匹配，性能仍然不如平衡采樣。

進(jìn)一步的實(shí)驗(yàn)表明，CoVRL在不同基礎(chǔ)模型上都表現(xiàn)出了魯棒性。研究團(tuán)隊(duì)在Qwen2.5和Qwen3基礎(chǔ)模型上進(jìn)行了評(píng)估，模型參數(shù)從7B到14B不等。結(jié)果顯示，CoVRL在所有測(cè)試模型上都帶來(lái)了一致的性能改進(jìn)，證明了其在不同模型架構(gòu)中的魯棒性。同時(shí)，針對(duì)不同訓(xùn)練數(shù)據(jù)組成的評(píng)估結(jié)果表明，僅在數(shù)學(xué)數(shù)據(jù)上訓(xùn)練的模型在非數(shù)學(xué)推理任務(wù)上表現(xiàn)出增強(qiáng)的性能，類(lèi)似地，僅在非數(shù)學(xué)數(shù)據(jù)上訓(xùn)練的模型在數(shù)學(xué)任務(wù)上也有改進(jìn)。這表明該方法使模型能夠獲得可在不同領(lǐng)域間遷移的通用推理能力。

在損失組件的影響分析中，研究團(tuán)隊(duì)發(fā)現(xiàn)KL正則化對(duì)于維持訓(xùn)練穩(wěn)定性至關(guān)重要。當(dāng)KL散度系數(shù)降低到0.1時(shí)，所有基準(zhǔn)測(cè)試的性能都顯著下降，總體準(zhǔn)確率降至27.4%。這種性能下降源于KL正則化不足時(shí)的訓(xùn)練不穩(wěn)定性，在訓(xùn)練過(guò)程中觀察到KL散度的大幅增加，表明先驗(yàn)和后驗(yàn)分布之間存在顯著偏差。這導(dǎo)致了訓(xùn)練-推理不匹配問(wèn)題和訓(xùn)練不穩(wěn)定性，因?yàn)閷?shí)際上是在進(jìn)行離策略?xún)?yōu)化，訓(xùn)練和推理之間的分布偏移不斷增加。

相比之下，模型對(duì)NLL損失系數(shù)的變化似乎不太敏感。當(dāng)NLL系數(shù)降低到0.1時(shí)，性能適度下降至44.7%。研究團(tuán)隊(duì)將這種韌性歸因于RL項(xiàng)和NLL損失本質(zhì)上優(yōu)化相同的目標(biāo)，兩者都旨在改善答案預(yù)測(cè)質(zhì)量。NLL損失主要訓(xùn)練模型總結(jié)推理和產(chǎn)生最終答案的能力。

關(guān)于獎(jiǎng)勵(lì)函數(shù)配方的研究表明，所有獎(jiǎng)勵(lì)配方都實(shí)現(xiàn)了非常相似的總體性能，變化不到1個(gè)百分點(diǎn)（49.7%到50.6%）。這種一致性表明CoVRL框架對(duì)各種獎(jiǎng)勵(lì)配方都具有魯棒性，無(wú)論是在長(zhǎng)度標(biāo)準(zhǔn)化方面比較序列長(zhǎng)度平均與非標(biāo)準(zhǔn)化概率和，還是在對(duì)數(shù)變換方面檢查是否使用對(duì)數(shù)概率或原始概率作為獎(jiǎng)勵(lì)信號(hào)。

說(shuō)到底，這項(xiàng)研究為AI推理訓(xùn)練開(kāi)辟了一條全新的道路。通過(guò)巧妙地結(jié)合探索性學(xué)習(xí)和驗(yàn)證性學(xué)習(xí)兩種模式，CoVRL框架不僅解決了現(xiàn)有方法的關(guān)鍵限制，還在多個(gè)基準(zhǔn)測(cè)試中取得了令人矚目的性能提升。這種方法的成功不僅體現(xiàn)在數(shù)字上的改進(jìn)，更重要的是它展示了一種更加自然、更加符合人類(lèi)學(xué)習(xí)規(guī)律的AI訓(xùn)練方式。

歸根結(jié)底，這項(xiàng)技術(shù)的意義遠(yuǎn)超出學(xué)術(shù)研究的范疇。隨著大型語(yǔ)言模型在日常生活中的應(yīng)用越來(lái)越廣泛，從智能助手到教育工具，從內(nèi)容創(chuàng)作到?jīng)Q策支持，更強(qiáng)的推理能力意味著這些AI系統(tǒng)能夠更好地理解和解決復(fù)雜問(wèn)題，為人們提供更可靠、更有價(jià)值的幫助。當(dāng)AI能夠像人類(lèi)一樣既善于探索未知又善于驗(yàn)證已知時(shí)，我們或許正在見(jiàn)證人工智能向真正的智能化邁出的重要一步。對(duì)于那些關(guān)注AI技術(shù)發(fā)展趨勢(shì)的讀者來(lái)說(shuō)，這項(xiàng)研究無(wú)疑提供了一個(gè)值得深思的新方向：未來(lái)的AI系統(tǒng)可能不再是單一模式的問(wèn)題解決者，而是能夠靈活運(yùn)用多種思維方式的智能伙伴。

Q&A

Q1：什么是耦合變分強(qiáng)化學(xué)習(xí)CoVRL？

A：CoVRL是中科院和小紅書(shū)聯(lián)合開(kāi)發(fā)的AI訓(xùn)練新方法，它讓AI既能從問(wèn)題開(kāi)始探索推理過(guò)程，又能從答案反推驗(yàn)證思路，就像讓學(xué)生既會(huì)從頭解題又會(huì)驗(yàn)算一樣，這種雙重訓(xùn)練模式大大提高了AI的推理能力。

Q2：CoVRL相比傳統(tǒng)方法有什么優(yōu)勢(shì)？

A：傳統(tǒng)方法只能單向解題，效率不高且容易出現(xiàn)推理與答案不匹配的問(wèn)題。CoVRL通過(guò)混合兩種學(xué)習(xí)模式，解決了探索效率低和推理一致性差的問(wèn)題，在實(shí)驗(yàn)中相比基礎(chǔ)模型提升了12.4%的性能，比最強(qiáng)基線(xiàn)方法額外提升2.3%。

Q3：這項(xiàng)技術(shù)對(duì)普通人有什么影響？

A：隨著AI推理能力的提升，未來(lái)的智能助手、教育工具和決策支持系統(tǒng)將變得更可靠和有用。這意味著AI能更好地理解復(fù)雜問(wèn)題，為我們?cè)诠ぷ鳌W(xué)習(xí)和生活中提供更準(zhǔn)確的幫助和建議。