大模型的后訓(xùn)練對(duì)齊正經(jīng)歷一場(chǎng)從依賴人類偏好反饋到可驗(yàn)證獎(jiǎng)勵(lì)強(qiáng)化學(xué)習(xí)的轉(zhuǎn)變。

4月7日，阿里巴巴通義實(shí)驗(yàn)室智能計(jì)算團(tuán)隊(duì)發(fā)布了新算法FIPO（Future-KL Influenced Policy Optimization），試圖解決純強(qiáng)化學(xué)習(xí)訓(xùn)練中一個(gè)長期存在的痛點(diǎn)，即模型在嘗試延長推理過程時(shí)往往會(huì)陷入長度停滯。

在AI行業(yè)普遍將強(qiáng)化學(xué)習(xí)視為釋放模型推理潛力的關(guān)鍵手段之際，這種嘗試究竟能帶來多大突破，值得審視。

當(dāng)前主流的對(duì)齊算法如GRPO普遍采用基于結(jié)果的獎(jiǎng)勵(lì)機(jī)制，將全局獎(jiǎng)勵(lì)平均分配給推理軌跡中的每一個(gè)Token。這種做法導(dǎo)致模型難以區(qū)分關(guān)鍵邏輯決策點(diǎn)與普通填充性內(nèi)容，信用分配過于粗放。

通義團(tuán)隊(duì)認(rèn)為這設(shè)定了性能上限。FIPO的核心改動(dòng)在于引入Future-KL機(jī)制，即通過計(jì)算折扣的未來KL散度來量化每個(gè)Token對(duì)后續(xù)推理軌跡的影響，從而構(gòu)建稠密優(yōu)勢(shì)表述，實(shí)現(xiàn)對(duì)關(guān)鍵Token的差異化獎(jiǎng)勵(lì)分配。

這種思路實(shí)質(zhì)上是在GRPO框架內(nèi)引入了類似PPO中的細(xì)粒度優(yōu)勢(shì)估計(jì)，但避開了后者需要維護(hù)Critic模型的額外開銷。

從實(shí)驗(yàn)結(jié)果看，在Qwen2.5-32B-Base模型上，F(xiàn)IPO將平均思維鏈長度從約4000個(gè)Token擴(kuò)展到超過10000個(gè)Token，在AIME 2024數(shù)學(xué)測(cè)試中Pass@1準(zhǔn)確率從50.0%提升至峰值58.0%。

團(tuán)隊(duì)宣稱這是首個(gè)在32B參數(shù)規(guī)模純強(qiáng)化學(xué)習(xí)設(shè)置下性能超越o1-mini和同規(guī)模DeepSeek-Zero-MATH的開源方案。

不過FIPO的優(yōu)勢(shì)場(chǎng)景目前主要集中在數(shù)學(xué)推理這類結(jié)果可嚴(yán)格驗(yàn)證的任務(wù)上。

對(duì)于開放性問答、創(chuàng)意寫作等難以定義明確正確答案的通用場(chǎng)景，其Future-KL機(jī)制能否同樣有效，通義團(tuán)隊(duì)尚未給出充分論證。這恰好是PPO和DPO等經(jīng)典方法在RLHF框架中更擅長處理的領(lǐng)域。

行業(yè)內(nèi)的其他玩家也在沿著類似方向推進(jìn)。騰訊混元團(tuán)隊(duì)近期開源了面向世界模型的強(qiáng)化學(xué)習(xí)后訓(xùn)練框架WorldCompass，側(cè)重長時(shí)序交互場(chǎng)景中的指令遵循與視覺一致性。

字節(jié)跳動(dòng)聯(lián)合多所高校提出的R2M框架則嘗試解決獎(jiǎng)勵(lì)模型與生成模型之間的同步偏差問題。

可以說，大模型對(duì)齊領(lǐng)域的競(jìng)爭(zhēng)焦點(diǎn)正從簡(jiǎn)單的模型參數(shù)規(guī)模比拼轉(zhuǎn)向推理質(zhì)量的精細(xì)化打磨。

通義團(tuán)隊(duì)在發(fā)布FIPO的同時(shí)，開源了相關(guān)論文、代碼和模型，這在算法快速迭代的當(dāng)下降低了技術(shù)復(fù)現(xiàn)的門檻。

但一個(gè)根本問題依然存在，在數(shù)學(xué)等封閉式任務(wù)上驗(yàn)證有效的方法，遷移到更開放、更接近真實(shí)人類交互的通用場(chǎng)景時(shí)，還能保持同樣的效果嗎？答案可能要等到更多第三方驗(yàn)證后才能揭曉。