MicroCoder團(tuán)隊(duì) 投稿
量子位 | 公眾號(hào) QbitAI

新一代代碼模型的訓(xùn)練動(dòng)態(tài)已與舊模型截然不同，主流強(qiáng)化學(xué)習(xí)方法和數(shù)據(jù)集在其上幾乎“失效”。

微軟亞洲研究院與劍橋大學(xué)、普林斯頓聯(lián)合推出MicroCoder，從算法、數(shù)據(jù)、框架、訓(xùn)練經(jīng)驗(yàn)四個(gè)維度全面升級(jí)，在最新代碼測(cè)試集上取得明顯提升，并從七個(gè)方面開源了34條訓(xùn)練洞察。

背景：舊經(jīng)驗(yàn)遇上新模型，為何幾乎全部“失效”？

強(qiáng)化學(xué)習(xí)正在成為代碼大模型能力提升的核心路徑。以GRPO為代表的策略優(yōu)化方法在數(shù)學(xué)推理任務(wù)上積累了大量成功經(jīng)驗(yàn)，人們自然地把這套方法遷移到了代碼生成上。

然而研究者很快發(fā)現(xiàn)了一個(gè)現(xiàn)象：用DeepCoder這類主流數(shù)據(jù)集訓(xùn)練最新推理模型，性能幾乎沒有提升；而同樣的做法在過去版本的模型上卻有顯著效果。

這背后的原因是代際性的：最新推理模型的能力已經(jīng)超出了主流數(shù)據(jù)集的難度，這些題目對(duì)它而言過于簡(jiǎn)單，無法產(chǎn)生有效的學(xué)習(xí)。與此同時(shí)，最新推理模型在訓(xùn)練中輸出長(zhǎng)度持續(xù)增長(zhǎng)，而舊模型的輸出長(zhǎng)度穩(wěn)定甚至下降，兩代模型的訓(xùn)練動(dòng)態(tài)已經(jīng)截然不同，專為舊模型設(shè)計(jì)的訓(xùn)練方法在新模型上不再適用。

針對(duì)這一訓(xùn)練瓶頸，來自微軟亞洲研究院、劍橋大學(xué)和普林斯頓大學(xué)的研究團(tuán)隊(duì)提出了MicroCoder項(xiàng)目，包含四個(gè)核心貢獻(xiàn)：MicroCoder-GRPO算法、MicroCoder-Dataset數(shù)據(jù)集、MicroCoder-Evaluator訓(xùn)練評(píng)估框架，以及跨超過30組受控實(shí)驗(yàn)總結(jié)的34條訓(xùn)練經(jīng)驗(yàn)。

算法：MicroCoder-GRPO

MicroCoder-GRPO在GRPO基礎(chǔ)上引入三項(xiàng)修改，專門應(yīng)對(duì)現(xiàn)代代碼模型的訓(xùn)練動(dòng)態(tài)。

修改一：條件截?cái)嘌诖a

強(qiáng)化學(xué)習(xí)訓(xùn)練中，被最大長(zhǎng)度截?cái)嗟妮敵鋈魠⑴c策略優(yōu)化，會(huì)引導(dǎo)模型生成更短的輸出。為此，DeepCoder等方法采用“全部掩碼”策略，對(duì)所有達(dá)到最大長(zhǎng)度的輸出都將優(yōu)勢(shì)分?jǐn)?shù)置零，但這會(huì)導(dǎo)致輸出長(zhǎng)度增長(zhǎng)過快。

MicroCoder-GRPO提出了更精細(xì)的條件截?cái)嘌诖a：只對(duì)同時(shí)滿足四個(gè)條件的輸出執(zhí)行掩碼，達(dá)到最大長(zhǎng)度、答案非錯(cuò)誤、無尾部重復(fù)序列、且以特定概率隨機(jī)抽取。實(shí)驗(yàn)表明，這一策略有效解鎖了模型的長(zhǎng)輸出潛力，同時(shí)規(guī)避了全掩碼策略帶來的訓(xùn)練問題，最終收斂性能高于無掩碼和全掩碼兩種方案。

修改二：多樣性驅(qū)動(dòng)的溫度選擇

輸出多樣性是強(qiáng)化學(xué)習(xí)穩(wěn)定訓(xùn)練的關(guān)鍵指標(biāo)。研究發(fā)現(xiàn)：在固定溫度下，多樣性不會(huì)總隨訓(xùn)練進(jìn)行持續(xù)變動(dòng)，而是不同溫度下會(huì)最終收斂到相近水平；而一旦初始多樣性與預(yù)期收斂值相差較大，模型的訓(xùn)練就容易受到影響。傳統(tǒng)標(biāo)準(zhǔn)溫度對(duì)最新推理模型而言較低，容易因此產(chǎn)生影響。

MicroCoder-GRPO提出根據(jù)模型初始輸出多樣性動(dòng)態(tài)確定訓(xùn)練溫度：測(cè)量初始多樣性趨勢(shì)，選擇能使多樣性平穩(wěn)收斂的溫度值。文章還發(fā)現(xiàn)“先低溫后高溫”的分階段方法優(yōu)于全程固定溫度，但需避免連續(xù)的溫度過渡，即便是短暫的漸變也可能對(duì)多樣性造成影響。

修改三：去除KL散度+高裁剪比率

沿用DAPO的設(shè)計(jì)思路，MicroCoder-GRPO將KL散度權(quán)重設(shè)為0，并采用更高的裁剪比率。實(shí)驗(yàn)證明，保留KL散度會(huì)持續(xù)影響輸出多樣性、限制輸出長(zhǎng)度增長(zhǎng)，導(dǎo)致性能“先漲后跌”；去除后，模型獲得持續(xù)的性能提升。

三項(xiàng)修改共同作用下，MicroCoder-GRPO在最新代碼測(cè)試集上相比DAPO基線取得明顯提升，且在拓展測(cè)試上下文長(zhǎng)度時(shí)更為顯著。

數(shù)據(jù)：MicroCoder-Dataset

算法之外，數(shù)據(jù)難度也是代碼模型能力的重要影響因素。

四階段數(shù)據(jù)處理流水線

MicroCoder-Dataset的構(gòu)建分四個(gè)階段：“收集”從多元平臺(tái)收集真實(shí)競(jìng)賽題目；“處理”統(tǒng)一語(yǔ)言、去噪、格式標(biāo)準(zhǔn)化，并用LLM自動(dòng)生成和篩選測(cè)試用例；“篩選”實(shí)施軟硬約束及自適應(yīng)難度過濾；“驗(yàn)證”進(jìn)行人工抽查確�？勺x性和測(cè)試用例準(zhǔn)確性。

自動(dòng)難度過濾：預(yù)測(cè)-校準(zhǔn)-選擇

難度過濾是MicroCoder-Dataset的核心創(chuàng)新。研究團(tuán)隊(duì)設(shè)計(jì)了一套五維難度評(píng)估矩陣，由LLM對(duì)每道題進(jìn)行三次獨(dú)立打分，取平均后計(jì)算加權(quán)難度分。

這五個(gè)維度的權(quán)重設(shè)計(jì)有其理論依據(jù)，參考了Bloom教育目標(biāo)分類法、McCabe和Halstead方法，將重心放在真正考驗(yàn)推理和編程能力的維度上，而非語(yǔ)義理解和記憶。

隨后，以模型實(shí)際通過率為基準(zhǔn)對(duì)預(yù)測(cè)分進(jìn)行校準(zhǔn)，在LiveCodeBench數(shù)據(jù)集上確定易、中、難的分界值，預(yù)測(cè)分布與實(shí)際分布幾乎完全吻合。過濾后，簡(jiǎn)單題占比降至25%以下，困難題占比提升至50%以上。

數(shù)據(jù)集特點(diǎn)

最終，MicroCoder-Dataset包含超過13K經(jīng)嚴(yán)格篩選的真實(shí)競(jìng)賽題，全部來自實(shí)際競(jìng)賽平臺(tái)而非LLM生成。聚類分析表明各平臺(tái)題目互補(bǔ)，與測(cè)試集之間沒有重合。

效果對(duì)比

在相同訓(xùn)練下，MicroCoder-Dataset在300步訓(xùn)練內(nèi)取得的性能增益是DeepCoder數(shù)據(jù)集的3倍。以DAPO訓(xùn)練最新推理模型為例，相比DeepCoder，MicroCoder在LeetCode上整體提升約6.0個(gè)百分點(diǎn)，難度越高，增益越明顯。

訓(xùn)練評(píng)估框架：MicroCoder-Evaluator

代碼評(píng)估的準(zhǔn)確性直接決定強(qiáng)化學(xué)習(xí)的質(zhì)量。

問題：原版評(píng)估器的誤判

LiveCodeBench原版評(píng)估器采用嚴(yán)格精確匹配策略：直接等值比較、精確浮點(diǎn)計(jì)算、僅做基本空白去除。這種方式會(huì)將大量格式正確但略有差異的正確答案判為錯(cuò)誤，例如返回列表與元組的格式差異、浮點(diǎn)精度差異，產(chǎn)生噪聲，干擾訓(xùn)練。

解決方案：多方法回退的綜合驗(yàn)證

MicroCoder-Evaluator采用6-7種方法組成的回退鏈進(jìn)行綜合輸出驗(yàn)證，依次嘗試不同的比較策略：支持列表、元組、字符串、集合等格式的自動(dòng)類型轉(zhuǎn)換；進(jìn)行浮點(diǎn)近似比較；多行分割與空白規(guī)范化等預(yù)處理；單個(gè)方法失敗后自動(dòng)切換至下一種方法，全程高容錯(cuò)。

效果

與LiveCodeBench原版評(píng)估器相比，MicroCoder-Evaluator將評(píng)估準(zhǔn)確率提升約25%，即更準(zhǔn)確地識(shí)別了正確解法的變體，減少了誤判噪聲。訓(xùn)練曲線對(duì)比顯示，使用MicroCoder-Evaluator的模型在早期訓(xùn)練階段可以獲得更可靠的學(xué)習(xí)反饋，最終測(cè)試準(zhǔn)確率更高且收斂更快。

此外，通過優(yōu)化并行處理策略，MicroCoder-Evaluator將每個(gè)訓(xùn)練步驟的執(zhí)行速度提升約40%，顯著提升了訓(xùn)練效率。

訓(xùn)練洞察：34條跨越七大維度的經(jīng)驗(yàn)

MicroCoder項(xiàng)目通過超過30組受控實(shí)驗(yàn)完整地記錄了現(xiàn)代代碼模型強(qiáng)化學(xué)習(xí)訓(xùn)練中的經(jīng)驗(yàn)，覆蓋七大維度，以下列出各維度的核心洞察：

代碼評(píng)估器：評(píng)估準(zhǔn)確性對(duì)訓(xùn)練效果影響顯著，尤其在早期階段。高容錯(cuò)評(píng)估帶來更可靠的結(jié)果反饋，能有效防止次優(yōu)收斂。原版LiveCodeBench評(píng)估器的嚴(yán)格匹配策略會(huì)產(chǎn)生誤判，在訓(xùn)練初期產(chǎn)生影響。

溫度動(dòng)態(tài)：模型對(duì)溫度的魯棒性隨訓(xùn)練進(jìn)行而增強(qiáng)。不同溫度下，輸出多樣性變化但最終收斂到相近水平。當(dāng)初始多樣性低于收斂預(yù)期時(shí)，可能導(dǎo)致訓(xùn)練失敗。

訓(xùn)練數(shù)據(jù)：數(shù)據(jù)難度影響泛化能力。在簡(jiǎn)單數(shù)據(jù)集上表現(xiàn)優(yōu)秀并不意味著在測(cè)試集上同樣優(yōu)秀，只有挑戰(zhàn)性更高的訓(xùn)練問題才能帶來真正的泛化提升。更難的問題會(huì)促使模型生成更長(zhǎng)的解題路徑，輸出長(zhǎng)度增長(zhǎng)速度和最終長(zhǎng)度均更大。

上下文長(zhǎng)度與擴(kuò)展：更長(zhǎng)的最大輸出與更高的最終準(zhǔn)確率、更快的輸出增長(zhǎng)和更高的多樣性直接相關(guān)。早期訓(xùn)練階段的輸出長(zhǎng)度限制會(huì)產(chǎn)生“不可逆”影響，一旦模型在短輸出限制下訓(xùn)練足夠長(zhǎng)時(shí)間，后續(xù)即便增大上下文，性能也無法完全恢復(fù)。

截?cái)嘌诖a策略：掩碼比例在訓(xùn)練速度與峰值性能之間形成平衡，更高的掩碼比例能更快達(dá)到初始峰值，但較低的掩碼比例能延長(zhǎng)上升階段并達(dá)到更高的峰值。30%的條件掩碼在輸出長(zhǎng)度增長(zhǎng)速率上已接近全掩碼，同時(shí)顯著優(yōu)于全掩碼在訓(xùn)練穩(wěn)定性等方面的表現(xiàn)。

批大小與在線訓(xùn)練：較小的訓(xùn)練批大小產(chǎn)生更接近在線訓(xùn)練的行為，加快多樣性收斂，但影響訓(xùn)練穩(wěn)定性；較大的批大小產(chǎn)生離線訓(xùn)練行為，穩(wěn)定性更強(qiáng)。最優(yōu)選擇來自兩者之間的平衡。

KL散度與裁剪比率：標(biāo)準(zhǔn)KL散度會(huì)持續(xù)影響輸出多樣性并限制輸出長(zhǎng)度增長(zhǎng)，形成“性能先漲后跌”的形式。去除KL散度是支持長(zhǎng)期持續(xù)性能提升的重要條件。

完整的34條洞察已在項(xiàng)目主頁(yè)的MicroCoder-Insights博客中完整整理，覆蓋每個(gè)維度的具體實(shí)驗(yàn)和結(jié)論，是目前最為完整的現(xiàn)代代碼模型強(qiáng)化學(xué)習(xí)訓(xùn)練經(jīng)驗(yàn)庫(kù)之一。

項(xiàng)目?jī)r(jià)值

代碼大模型的強(qiáng)化學(xué)習(xí)訓(xùn)練長(zhǎng)期借鑒數(shù)學(xué)推理任務(wù)的經(jīng)驗(yàn)。MicroCoder首次完整提出，這一遷移路徑存在代際斷層，不同模型世代之間，訓(xùn)練動(dòng)態(tài)、數(shù)據(jù)需求與算法設(shè)計(jì)的有效假設(shè)已發(fā)生質(zhì)變而非量變，打破了該領(lǐng)域固有認(rèn)知，明確了新一代代碼模型的研究方向。

在算法設(shè)計(jì)層面，條件截?cái)嘌诖a與多樣性驅(qū)動(dòng)溫度選擇，對(duì)強(qiáng)化學(xué)習(xí)訓(xùn)練中訓(xùn)練穩(wěn)定性與策略探索性之間的平衡提出了可執(zhí)行的兼顧方案，具有超出代碼生成任務(wù)本身的方法論參考價(jià)值。

本項(xiàng)目通過超過三十組受控實(shí)驗(yàn)完整整理34條訓(xùn)練經(jīng)驗(yàn)與洞察，覆蓋算法、數(shù)據(jù)、評(píng)估、上下文、溫度等七大核心維度，是目前代碼大模型后訓(xùn)練領(lǐng)域最為完整、有效的知識(shí)沉淀之一，對(duì)研究?jī)?nèi)容的整理分享是模型訓(xùn)練社區(qū)最有影響力的開源項(xiàng)目之一。

作者介紹：

MicroCoder第一作者李宗謙，劍橋大學(xué)自然語(yǔ)言處理博士生，劍橋信托學(xué)者，劍橋國(guó)際生全額博士獎(jiǎng)學(xué)金，在微軟亞洲研究院完成系列工作。他在微軟、谷歌、紅杉、真格等有實(shí)習(xí)工作經(jīng)歷，2025年完成一作論文9篇，發(fā)表于NeurIPS、ACL等會(huì)議，參與工作發(fā)表Nature，對(duì)學(xué)界、業(yè)界、創(chuàng)業(yè)有濃厚興趣，是當(dāng)前大語(yǔ)言模型領(lǐng)域值得關(guān)注的年輕研究員。

項(xiàng)目主頁(yè)：
https://github.com/ZongqianLi/MicroCoder
算法論文：
https://arxiv.org/abs/2603.07777
數(shù)據(jù)集論文：
https://arxiv.org/abs/2603.07779
訓(xùn)練經(jīng)驗(yàn)博客：https://github.com/ZongqianLi/MicroCoder/blob/main/MicroCoder-Insights.md