機(jī)器之心報(bào)道

機(jī)器之心編輯部

眾所周知，大型語(yǔ)言模型的訓(xùn)練通常分為兩個(gè)階段。第一階段是「預(yù)訓(xùn)練」，開(kāi)發(fā)者利用大規(guī)模文本數(shù)據(jù)集訓(xùn)練模型，讓它學(xué)會(huì)預(yù)測(cè)句子中的下一個(gè)詞。第二階段是「后訓(xùn)練」，旨在教會(huì)模型如何更好地理解和執(zhí)行人類(lèi)指令。

在 LLM 后訓(xùn)練階段，似乎是一個(gè)強(qiáng)化學(xué)習(xí)的特殊形式。用于大語(yǔ)言模型（LLMs）微調(diào)的強(qiáng)化學(xué)習(xí)（RL）算法正沿著一條明確的演進(jìn)路徑持續(xù)發(fā)展。

起初，OpenAI 開(kāi)創(chuàng)了一種名為 基于人類(lèi)反饋的強(qiáng)化學(xué)習(xí)（RLHF）的技術(shù)，用于改進(jìn) ChatGPT。RLHF 的核心是讓人類(lèi)標(biāo)注員對(duì)模型生成的多種響應(yīng)進(jìn)行打分，并選出最優(yōu)答案作為訓(xùn)練參考。這一過(guò)程雖然有效，但也耗時(shí)、昂貴且依賴人力，通常需要一支小型但專(zhuān)業(yè)的數(shù)據(jù)標(biāo)注團(tuán)隊(duì)。

DeepSeek 的重要?jiǎng)?chuàng)新在于用 RL 技術(shù)自動(dòng)化了這一環(huán)節(jié)。算法不再依賴人工逐一評(píng)估，而是讓模型在探索過(guò)程中，通過(guò)獲得「獎(jiǎng)勵(lì)信號(hào)」自主學(xué)習(xí)正確行為，從而顯著降低了成本，提高了效率，最終能以較低的成本實(shí)現(xiàn)高性能。

OpenAI 在 ChatGPT 的訓(xùn)練中采用了近端策略優(yōu)化（Proximal Policy Optimization, PPO）

而 DeepSeek 團(tuán)隊(duì) 則認(rèn)為，在一組樣本中進(jìn)行價(jià)值估計(jì)更加有效，因此提出了組相對(duì)策略優(yōu)化（Group Relative Policy Optimization, GRPO）算法，這也是 DeepSeek-R1 中的核心技術(shù)，使 DeepSeek-R1 模型大放異彩。

GPRO 與 PPO 的對(duì)比，摘自 DeepSeekMath 論文。

在幾個(gè)月前 Qwen3 首次亮相的時(shí)候，其旗艦?zāi)Ｐ偷男阅芫鸵呀?jīng)與 DeepSeek-R1、o3-mini、Gemini 2.5 Pro 等頂級(jí)模型表現(xiàn)相當(dāng)。除此以外，Qwen3 系列模型覆蓋了 MoE 模型和密集模型，每一款模型又有許多細(xì)分版本。

近些天，Qwen3 系列模型仍然在不停的迭代更新，例如 Qwen3-235B-A22B-Instruct-2507-FP8 在知識(shí)數(shù)學(xué)、編程、人類(lèi)偏好對(duì)齊、Agent 能力等眾多測(cè)評(píng)中表現(xiàn)出色，甚至了超過(guò) Kimi-K2、DeepSeek-V3 等頂級(jí)開(kāi)源模型以及 Claude-Opus4-Non-thinking 等領(lǐng)先閉源模型。

最近，Qwen 團(tuán)隊(duì)發(fā)布了一篇有關(guān)其模型后訓(xùn)練算法的論文，似乎揭示了 Qwen3 模型成功的核心技術(shù)細(xì)節(jié)。

• 論文標(biāo)題：Group Sequence Policy Optimization
• 論文鏈接：https://huggingface.co/papers/2507.18071
• 博客鏈接：https://qwenlm.github.io/blog/gspo/

而在昨天，來(lái)自清華大學(xué)校友創(chuàng)立的創(chuàng)業(yè)公司 NetMind.AI發(fā)表了一篇博客，題為《Qwen Team Proposes GSPO for Qwen3, Claims DeepSeek's GRPO is Ill-Posed》，對(duì) Qwen 團(tuán)隊(duì)為 Qwen3 模型提出的 GSPO 算法進(jìn)行了詳盡的介紹與分析。

• 博客鏈接：https://blog.netmind.ai/article/Qwen_Team_Proposes_GSPO_for_Qwen3%2C_Claims_DeepSeek's_GRPO_is_Ill-Posed

最近 Qwen 的研究表明，使用 GRPO 訓(xùn)練大語(yǔ)言模型時(shí)存在嚴(yán)重的穩(wěn)定性問(wèn)題，往往會(huì)導(dǎo)致模型不可逆地崩潰。他們認(rèn)為 DeepSeek 的 GPRO 方法存在一些嚴(yán)重問(wèn)題：

• 在每個(gè) token 級(jí)別應(yīng)用重要性采樣，會(huì)在長(zhǎng)序列中積累高方差，導(dǎo)致訓(xùn)練不穩(wěn)定
• 這一問(wèn)題在 專(zhuān)家混合模型（Mixture-of-Experts, MoE） 中尤為嚴(yán)重，因?yàn)?strong>token 級(jí)別的路由變化會(huì)加劇不穩(wěn)定性
• 為緩解這一問(wèn)題，基于 GRPO 的訓(xùn)練流程通常需要依賴一些額外策略，例如 路由重放（Routing Replay）。

因此，Qwen 團(tuán)隊(duì)聲稱(chēng) GRPO 的 token 級(jí)重要性采樣無(wú)法達(dá)到穩(wěn)定訓(xùn)練，其優(yōu)化目標(biāo)是「病態(tài)的（ill-posed）」

為了解決這些問(wèn)題并訓(xùn)練其最新的 Qwen3 系列模型，Qwen 團(tuán)隊(duì)提出了一種新的強(qiáng)化學(xué)習(xí)算法 ——組序列策略優(yōu)化（Group Sequence Policy Optimization, GSPO）

GRPO 的根本問(wèn)題：

「逐 token 重要性采樣」的不穩(wěn)定性

Qwen 團(tuán)隊(duì)指出，GRPO 的不穩(wěn)定性源于其對(duì) token 級(jí)重要性采樣權(quán)重的錯(cuò)誤使用。在強(qiáng)化學(xué)習(xí)中，重要性采樣（Importance Sampling）用于校正行為策略（即用于收集訓(xùn)練數(shù)據(jù)的策略）與目標(biāo)策略（當(dāng)前正在優(yōu)化的策略）之間的差異。

當(dāng)兩者不一致時(shí)，重要性采樣通過(guò)為已有數(shù)據(jù)樣本賦予權(quán)重，使其更能代表當(dāng)前希望優(yōu)化的目標(biāo)策略，從而提高訓(xùn)練的穩(wěn)定性與有效性。

在大語(yǔ)言模型（LLMs）的訓(xùn)練中，強(qiáng)化學(xué)習(xí)常常會(huì)復(fù)用舊策略生成的響應(yīng)，以節(jié)省計(jì)算資源，這屬于典型的「離策略」（off-policy）訓(xùn)練場(chǎng)景。重要性采樣正是用于緩解這種策略不匹配帶來(lái)的影響，并幫助穩(wěn)定訓(xùn)練過(guò)程。

然而，GRPO 將重要性采樣的權(quán)重應(yīng)用在每一個(gè) token 上，而非整個(gè)生成的序列。這種做法會(huì)帶來(lái)顯著的方差，并在生成較長(zhǎng)序列時(shí)造成「誤差積累」與「訓(xùn)練不穩(wěn)定性」。

從形式上講，GRPO 是在每一個(gè) token 的生成步驟上單獨(dú)計(jì)算重要性權(quán)重的：

Qwen 團(tuán)隊(duì)指出，當(dāng)在訓(xùn)練目標(biāo)中應(yīng)用此類(lèi)重要性權(quán)重時(shí)，由于每個(gè) token 的比值是獨(dú)立計(jì)算的，會(huì)導(dǎo)致高方差的累積，從而破壞梯度穩(wěn)定性，最終引發(fā)模型崩潰。

同時(shí)，這種做法會(huì)將高方差噪聲引入訓(xùn)練梯度中，尤其在長(zhǎng)序列上呈現(xiàn)累積效應(yīng)，并且在存在「裁剪機(jī)制」時(shí)，這種不穩(wěn)定性問(wèn)題會(huì)進(jìn)一步加劇。

Qwen 團(tuán)隊(duì)的實(shí)驗(yàn)證據(jù)

Qwen 團(tuán)隊(duì)通過(guò)實(shí)驗(yàn)證據(jù)驗(yàn)證了其理論分析，如圖所示。

在所有展示的實(shí)驗(yàn)場(chǎng)景中，其新提出的算法 GSPO 均表現(xiàn)出比 GRPO 更高的訓(xùn)練效率。在 CodeForces 任務(wù)中，GRPO 的最終得分收斂于 2000 分以下，而 GSPO 隨著訓(xùn)練計(jì)算量的增加持續(xù)提升成績(jī)，展現(xiàn)出更強(qiáng)的「可擴(kuò)展性」。

GSPO 與 GRPO 的訓(xùn)練曲線對(duì)比

Qwen 的解決方案：

「序列級(jí)重要性采樣」

那么，GSPO 是如何解決上述問(wèn)題的呢？

正如其名稱(chēng)所暗示的，GSPO 的核心在于將重要性采樣從 token 級(jí)轉(zhuǎn)移至序列級(jí)，其重要性比值基于整個(gè)序列的似然度計(jì)算：

這種采樣權(quán)重的設(shè)計(jì)自然地緩解了逐 token 方差的累積問(wèn)題，從而顯著提升了訓(xùn)練過(guò)程的穩(wěn)定性。

需要注意的是，指數(shù)中的因子用于「長(zhǎng)度歸一化」。如果不進(jìn)行長(zhǎng)度歸一化，僅僅幾個(gè) token 的似然變化就可能導(dǎo)致序列級(jí)重要性比值的劇烈波動(dòng)，而不同長(zhǎng)度的生成響應(yīng)在目標(biāo)函數(shù)中也將需要不同的裁剪范圍，這會(huì)進(jìn)一步增加訓(xùn)練的不穩(wěn)定性。

實(shí)驗(yàn)驗(yàn)證的優(yōu)勢(shì)：

簡(jiǎn)化 MoE 模型訓(xùn)練

針對(duì)專(zhuān)家混合模型（MoE）所進(jìn)行的專(zhuān)項(xiàng)實(shí)驗(yàn)進(jìn)一步強(qiáng)調(diào)了 GSPO 的優(yōu)勢(shì)。

由于 MoE 模型具有稀疏激活特性，這會(huì)在使用 GRPO 時(shí)進(jìn)一步加劇訓(xùn)練過(guò)程中的不穩(wěn)定性。在經(jīng)過(guò)一次或多次梯度更新后，相同響應(yīng)所激活的專(zhuān)家網(wǎng)絡(luò)可能發(fā)生顯著變化。

Qwen 團(tuán)隊(duì)在使用 GRPO 訓(xùn)練 48 層的 Qwen3-30B-A3B-Base 模型時(shí)發(fā)現(xiàn)：在每一次強(qiáng)化學(xué)習(xí)的梯度更新后，對(duì)于相同的 rollout 樣本，新策略所激活的專(zhuān)家中約有 10% 與舊策略所激活的專(zhuān)家不同。這實(shí)際上意味著，每次梯度更新后，你都在用不同的數(shù)據(jù)樣本訓(xùn)練不同的模型，毫無(wú)疑問(wèn)這是一種極其低效的訓(xùn)練方式。

在引入 GSPO 之前，為緩解這一問(wèn)題，他們甚至采取了一種名為「Routing Replay」的技巧，即強(qiáng)制目標(biāo)策略激活與舊策略相同的專(zhuān)家網(wǎng)絡(luò)。

相比之下，GSPO 無(wú)需使用 Routing Replay 也能實(shí)現(xiàn)穩(wěn)定收斂，從而消除了不必要的訓(xùn)練復(fù)雜性，并保留了 MoE 架構(gòu)的全部潛力。

Routing Replay 策略在 GRPO 訓(xùn)練 MoE 模型的正常收斂中起到了關(guān)鍵作用

結(jié)論：

GSPO 或?qū)⒊蔀樾碌臉?biāo)準(zhǔn)

總結(jié)一下，GSPO 的方法有兩點(diǎn)創(chuàng)新：

• 將重要性采樣從 token 級(jí)別提升到序列級(jí)別，并通過(guò)序列長(zhǎng)度進(jìn)行歸一化處理；
• 顯著降低了方差，同時(shí)消除了對(duì)「路由技巧」（如 Routing Replay）等輔助策略的依賴；

業(yè)界已普遍達(dá)成共識(shí) —— 在大語(yǔ)言模型的后訓(xùn)練階段引入強(qiáng)化學(xué)習(xí)，對(duì)于提升其推理能力至關(guān)重要。

而論文中的大量實(shí)驗(yàn)結(jié)果也進(jìn)一步證實(shí)，GRPO 所采用的「逐 token 重要性采樣」方法存在不穩(wěn)定性和低效性的問(wèn)題。

因此，GSPO 提出的「序列級(jí)重要性采樣」很可能會(huì)成為未來(lái)后訓(xùn)練強(qiáng)化學(xué)習(xí)的新標(biāo)準(zhǔn)。

https://www.reddit.com/r/MachineLearning/comments/1mj3t3r/d_gspo_qwen3s_sequencelevel_rlhf_method_vs_grpo/

https://blog.netmind.ai/article/Qwen_Team_Proposes_GSPO_for_Qwen3%2C_Claims_DeepSeek's_GRPO_is_Ill-Posed

https://www.ft.com/content/ea803121-196f-4c61-ab70-93b38043836e?utm_source=chatgpt.com

https://zhuanlan.zhihu.com/p/22845155602