本研究由快手科技語(yǔ)言大模型團(tuán)隊(duì)完成，核心作者蘇振鵬，潘雷宇等?？焓终Z(yǔ)言大模型團(tuán)隊(duì)聚焦在基礎(chǔ)語(yǔ)言大模型研發(fā)、Agent RL 等前沿技術(shù)創(chuàng)新等方向，積累務(wù)實(shí)的探索 AGI 的能力邊界，并不斷推進(jìn) AI 領(lǐng)域新技術(shù)和新產(chǎn)品的發(fā)展。此前，該團(tuán)隊(duì)已開(kāi)源了 Klear-46B-A2.5B 和 Klear-Reasoner-8B 等模型，其中 Klear-Reasoner-8B 在數(shù)學(xué)和代碼的基準(zhǔn)測(cè)試上達(dá)到了同參數(shù)級(jí)別模型的 SOTA 效果。

在大語(yǔ)言模型的后訓(xùn)練階段，強(qiáng)化學(xué)習(xí)已成為提升模型能力和對(duì)齊質(zhì)量的核心范式。然而，在廣泛采用的 off-policy 的訓(xùn)練范式中，更新當(dāng)前策略的數(shù)據(jù)由舊的行為策略生成，導(dǎo)致分布漂移的問(wèn)題的發(fā)生，這通常會(huì)將策略推至信任域之外，使強(qiáng)化學(xué)習(xí)的訓(xùn)練變得不穩(wěn)定。

盡管 PPO 通過(guò)重要性采樣的裁剪機(jī)制緩解了部分問(wèn)題，但它僅能約束已采樣動(dòng)作的概率變化，忽略了未采樣動(dòng)作的全局分布漂移。為了應(yīng)對(duì)這些挑戰(zhàn)，快手研究團(tuán)隊(duì)提出了一種創(chuàng)新的熵比裁剪方法。該方法從全新的視角切入，通過(guò)約束策略熵的相對(duì)變化來(lái)穩(wěn)定全局分布，為強(qiáng)化學(xué)習(xí)訓(xùn)練提供了更加可靠的控制手段。

• 論文標(biāo)題：Entropy Ratio Clipping as a Soft Global Constraint for Stable Reinforcement Learning
• 論文地址：https://arxiv.org/pdf/2512.05591

研究背景

強(qiáng)化學(xué)習(xí)訓(xùn)練過(guò)程中長(zhǎng)期面臨信任域偏離的挑戰(zhàn)。目前，業(yè)界用于大模型的強(qiáng)化學(xué)習(xí)常采用 off-policy 訓(xùn)練范式，用于更新當(dāng)前策略的數(shù)據(jù)由舊的行為策略生成，導(dǎo)致新舊策略之間存在分布漂移。主流方法通常采用重要性采樣來(lái)糾正此類偏差，但其固有的高方差可能導(dǎo)致更新步長(zhǎng)不穩(wěn)定，仍存在信任域偏離的風(fēng)險(xiǎn)。這種偏離具體表現(xiàn)為訓(xùn)練過(guò)程中梯度范數(shù)和策略熵的劇烈波動(dòng)。

PPO 算法是解決信任域偏離問(wèn)題的主流方案，主要有兩種形式：

• PPO-penalty：在目標(biāo)函數(shù)中加入 KL 散度懲罰項(xiàng)，對(duì)新舊策略的分布差異進(jìn)行全局約束。但是懲罰系數(shù)非常敏感，且對(duì)每個(gè)動(dòng)作概率施加逐點(diǎn)約束可能會(huì)抑制探索。
• PPO-Clip：通過(guò)將重要性采樣比率限制在固定區(qū)間內(nèi)，形成局部信任域，裁剪過(guò)大的更新以降低方差。該方法更魯棒且易于調(diào)參，但其約束僅作用于已采樣的動(dòng)作，未采樣的動(dòng)作則完全不受約束。

隨著訓(xùn)練迭代的不斷進(jìn)行，這部分未受約束的動(dòng)作分布會(huì)持續(xù)漂移，最終威脅策略的穩(wěn)定性。例如，假設(shè)動(dòng)作空間為 {a, b, c, d}，舊策略的概率分布為 {0.85, 0, 0.15, 0}，經(jīng)過(guò)多次迭代后，新策略的概率分布變?yōu)?{0.82, 0.064, 0.07, 0.046}。盡管采樣動(dòng)作 a 的概率變化微小，PPO-Clip 不會(huì)觸發(fā)裁剪，但其余動(dòng)作的分布已發(fā)生顯著偏移。

ERC 機(jī)制：從全局視角穩(wěn)定策略分布

受 PPO-clip 啟發(fā)，論文提出了熵比裁剪（ERC）機(jī)制，當(dāng)新舊策略間的熵變化超出允許范圍時(shí)，ERC 直接對(duì)樣本梯度進(jìn)行截?cái)?。ERC 并非取代 PPO-Clip，而是對(duì)其形成補(bǔ)充：PPO-Clip 僅約束采樣動(dòng)作的局部更新幅度，而 ERC 將熵比限制在一個(gè)適中的區(qū)間內(nèi)，從而緩解整體策略分布的漂移。

首先，論文提出了熵比指標(biāo)，其被定義為新舊策略在同一 token 上熵的相對(duì)變化。具體的，它被形式化定義為下式：

不同于重要性采樣比率，熵比可以測(cè)量整個(gè)動(dòng)作分布（包括未采樣動(dòng)作）的變化，提供了對(duì)策略全局漂移的度量。另外，論文還對(duì)采樣動(dòng)作概率與熵比的關(guān)系進(jìn)行可視化，如下圖所示：

當(dāng)采樣動(dòng)作較低或者較高時(shí)，全局分布偏移變得更加明顯。

在將熵比作為策略分布的全局變化指標(biāo)引入后，論文進(jìn)一步將其集成到現(xiàn)有強(qiáng)化學(xué)習(xí)目標(biāo)中，旨在約束新舊策略之間全局分布的變化。以 DAPO 為例，其 ERC 目標(biāo)可形式化如下：

如果某個(gè) token 的更新導(dǎo)致熵比超出預(yù)設(shè)范圍，ERC 會(huì)直接截?cái)嗥鋵?duì)應(yīng)的梯度，以防止全局分布和策略熵的劇烈波動(dòng)。與在整個(gè)訓(xùn)練過(guò)程中持續(xù)限制策略的 KL 約束不同，熵比僅在新策略的熵發(fā)生顯著偏離時(shí)才被激活。這種方法既能防止策略分布的突然崩潰，又保留了足夠的探索能力。

實(shí)驗(yàn)結(jié)果

為驗(yàn)證 ERC 方法的穩(wěn)定性和性能上的有效性，論文在多個(gè)數(shù)學(xué)推理基準(zhǔn)上進(jìn)行了系統(tǒng)實(shí)驗(yàn)，包括 AIME24、AIME25、HMMT25、MATH500 、AMC23 和 Olympiad。所有實(shí)驗(yàn)均基于 DeepSeek-R1-Distill-Qwen 模型（1.5B 與 7B）進(jìn)行訓(xùn)練。實(shí)驗(yàn)結(jié)果如下表所示。

與現(xiàn)有的 RL 基線方法相比，集成 ERC 后，模型幾乎在所有基準(zhǔn)測(cè)試上的性能都得到了一致提升。值得注意的是，在 AIME25 和 HMMT25 等更具挑戰(zhàn)性的基準(zhǔn)上，性能增益更為顯著，凸顯了 ERC 在復(fù)雜推理場(chǎng)景中的強(qiáng)大潛力。此外，該方法在 1.5B 和 7B 兩種參數(shù)規(guī)模上均取得了一致的改進(jìn)，進(jìn)一步證明了其在不同模型容量下的魯棒性和可擴(kuò)展性。

為了進(jìn)一步驗(yàn)證 ERC 對(duì)訓(xùn)練動(dòng)態(tài)的影響，論文比較了不同方法下熵和梯度范數(shù)的演化過(guò)程，如上圖所示。傳統(tǒng)的裁剪方法在訓(xùn)練過(guò)程中常表現(xiàn)出較大的熵值波動(dòng)和不穩(wěn)定的梯度。相比之下，ERC 引入了全局熵比約束，熵值軌跡和梯度范數(shù)更加穩(wěn)定，在基準(zhǔn)上的評(píng)測(cè)結(jié)果也不斷提升。

深入分析：ERC 如何工作？

增強(qiáng)信任域約束

如下圖所示，ERC 的裁剪機(jī)制有效地強(qiáng)化了信任域約束。具體而言，被熵比邊界裁剪的 token 主要位于信任域的邊界附近。這表明，ERC 從全局分布的視角出發(fā)，能夠識(shí)別并限制可能導(dǎo)致策略偏離的更新，而這些更新正是 PPO-Clip 的局部約束所忽略的。因此，ERC 與 PPO-Clip 以互補(bǔ)的方式協(xié)同工作，共同減輕信任域偏離，增強(qiáng)訓(xùn)練穩(wěn)定性。

通過(guò) ERC 保持探索

為了理解 ERC 對(duì)模型探索行為的影響，論文分析了在訓(xùn)練中被熵比約束裁剪的 token 的熵分布，如下圖所示，大多數(shù)被 ERC 裁剪的 token 集中在低熵區(qū)域，而高熵 token 在優(yōu)化過(guò)程中通常被保留。這表明 ERC 優(yōu)先抑制那些過(guò)于確定性、信息增益有限的 token 的更新，而不會(huì)過(guò)度約束模型的探索動(dòng)態(tài)。

裁剪比例分析

實(shí)驗(yàn)結(jié)果顯示，ERC 引入的全局分布約束顯著提高了裁剪比例。PPO-Clip 下的裁剪比例通常保持在 0.02% 左右，而 ERC 將此數(shù)值提高了近三個(gè)數(shù)量級(jí)，達(dá)到約 20%。這種顯著差異源于兩種約束機(jī)制的根本不同：PPO-Clip 僅調(diào)控局部采樣動(dòng)作的重要性比率，越界情況本就罕見(jiàn)；而 ERC 超越了這種局部約束，通過(guò)熵比融入了全局分布信號(hào)，使其能夠識(shí)別并裁剪大量在全局分布層面偏離信任區(qū)域的 token 更新。

盡管 ERC 的裁剪比例顯著更高，但其在最終性能和訓(xùn)練穩(wěn)定性上均持續(xù)超越 PPO-Clip 基線。這個(gè)看似違反直覺(jué)的結(jié)果揭示了一個(gè)關(guān)鍵見(jiàn)解：ERC 主要移除了那些會(huì)使訓(xùn)練不穩(wěn)定的噪聲更新。被 ERC 裁剪的 token 大多集中在低熵區(qū)域，這表明 ERC 抑制了過(guò)于確定性且可能有害的更新，同時(shí)保留了模型在其他地方的探索行為。

對(duì)比與泛化能力

論文還將 ERC 與其他穩(wěn)定方法進(jìn)行了對(duì)比，并驗(yàn)證了其在其他強(qiáng)化學(xué)習(xí)算法中的泛化能力。

• 與 KL 正則化的對(duì)比：ERC 在 AIME24 和 AIME25 基準(zhǔn)上均優(yōu)于 PPO-penalty（即 KL 正則化方法）。KL 散度施加的是逐點(diǎn)約束，要求新舊策略對(duì)每個(gè)動(dòng)作的概率分布都保持接近，這種嚴(yán)格的局部調(diào)控雖然可以穩(wěn)定訓(xùn)練，但不可避免地限制了有效的策略探索。而 ERC 實(shí)現(xiàn)了分布層面的軟約束，通過(guò)監(jiān)控熵比來(lái)關(guān)注整體策略分布的演變，在維持訓(xùn)練穩(wěn)定性的同時(shí)鼓勵(lì)更高效的探索。
• 與熵正則化的對(duì)比：ERC 的表現(xiàn)顯著優(yōu)于在強(qiáng)化學(xué)習(xí)訓(xùn)練中直接加入熵懲罰項(xiàng)的方法。熵正則化只能緩解單向的不穩(wěn)定性（熵崩塌），而 ERC 的雙向裁剪機(jī)制能有效應(yīng)對(duì)策略演化中熵值波動(dòng)的兩個(gè)方向，確保策略的探索行為在合理可控的范圍內(nèi)平穩(wěn)演變。
• 與序列級(jí)裁剪（GSPO）的對(duì)比：在 DeepSeek-R1-Distill-Qwen-7B 上的實(shí)驗(yàn)表明，結(jié)合了 PPO-Clip 和 ERC 的 token 級(jí)裁剪方法相較于序列級(jí)裁剪方法（如 GSPO）仍具有明顯優(yōu)勢(shì)。值得注意的是，ERC 與序列級(jí)裁剪是正交的，可以同時(shí)使用。
• 更廣泛的適用性：除了 DAPO，論文還將 ERC 與 GPPO 方法結(jié)合。實(shí)驗(yàn)表明，將 ERC 集成到 GPPO 中同樣能帶來(lái)一致的性能提升，為 ERC 在不同 RL 算法中的普遍有效性提供了有力證據(jù)。這表明 ERC 不僅是現(xiàn)有重要性比率裁剪技術(shù)的補(bǔ)充組件，也有潛力作為一個(gè)獨(dú)立且魯棒的約束機(jī)制來(lái)穩(wěn)定策略優(yōu)化。