8B 模型在數(shù)學(xué)競(jìng)賽任務(wù)上超越 GPT-5！

階躍星辰正式推出并行協(xié)同推理（PaCoRe, Parallel Coordinated Reasoning），這是一個(gè)全新的訓(xùn)練和推理框架，讓大模型的能力不再受限于線性思維鏈的上下文窗口大?。–ontext Window）和處理速度，而是基于大規(guī)模并行協(xié)同的方式，讓模型進(jìn)行前所未有的廣度和深度思考。

強(qiáng)大性能的 Gemini Deep Think 模式僅隱約透露其采用“并行思考”擴(kuò)展測(cè)試時(shí)計(jì)算的思路；而 PaCoRe 以卓越的表現(xiàn)驗(yàn)證了大規(guī)模擴(kuò)展測(cè)試時(shí)計(jì)算的有效性，并完整開(kāi)源模型，訓(xùn)練數(shù)據(jù)，推理管線從而加速該領(lǐng)域的研究與創(chuàng)新。

基于該框架，小模型亦能解鎖百萬(wàn)級(jí) Token 測(cè)試時(shí)計(jì)算（Test-Time Compute）。

經(jīng)過(guò)大規(guī)模、基于結(jié)果的強(qiáng)化學(xué)習(xí)（Outcome-based RL）訓(xùn)練，階躍星辰研究團(tuán)隊(duì)的 PaCoRe-8B 模型掌握了綜合發(fā)散性推理軌跡的能力。在 HMMT 2025 數(shù)學(xué)基準(zhǔn)測(cè)試中，它取得了 94.5 的高分，一舉超越了 GPT-5 的 93.2 分。這一成績(jī)的取得，得益于模型在解決單個(gè)問(wèn)題時(shí)，能夠有效利用高達(dá)兩百萬(wàn) Token 的計(jì)算量。

長(zhǎng)程推理是人類智力皇冠上的明珠。正如人類需要數(shù)月甚至數(shù)年的專注思考來(lái)攻克最棘手的難題，通用人工智能(AGI)也必須在推理階段大幅擴(kuò)展其計(jì)算規(guī)模，PaCoRe的研究進(jìn)展標(biāo)志著在這個(gè)方向上邁出了堅(jiān)實(shí)的一步。

• 論文鏈接：https://github.com/stepfun-ai/PaCoRe/blob/main/pacore_report.pdf
• GitHub：https://github.com/stepfun-ai/PaCoRe
• Hugging Face：https://huggingface.co/stepfun-ai/PaCoRe-8B

PaCoRe 框架

標(biāo)準(zhǔn)的思維鏈（Chain-of-Thought）推理與上下文容量是強(qiáng)耦合的：一旦窗口填滿，推理就必須停止。PaCoRe 通過(guò)將推理的主要驅(qū)動(dòng)力從 “串行深度” 轉(zhuǎn)移到 “并行協(xié)同的廣度”，成功解耦了這種關(guān)系。

圖 1：并行協(xié)同推理（PaCoRe）的性能表現(xiàn)。

左圖： 在 HMMT 2025 上，PaCoRe-8B 展示了驚人的測(cè)試時(shí)擴(kuò)展（Test-Time Scaling）能力。通過(guò)增加并行軌跡（Parallel Trajectories）和協(xié)同輪次（Coordinated Rounds），性能穩(wěn)步提升，最終超越了 GPT-5。右圖： 在 LiveCodeBench 上，普通的 RLVR-8B 模型無(wú)法利用增加的測(cè)試時(shí)計(jì)算量，而 PaCoRe 有效地解鎖了這種綜合能力，隨著計(jì)算量的增加帶來(lái)了顯著的性能提升。

推理機(jī)制 (Inference)

圖 2：PaCoRe 的推理流程。

PaCoRe 的核心是一個(gè)按輪次運(yùn)行的迭代消息傳遞架構(gòu)。其工作流程如下：

3.迭代協(xié)同(Iterative Coordination)： 這些精簡(jiǎn)消息成為下一輪的上下文，使模型能夠在多次迭代中修正理解、發(fā)現(xiàn)共識(shí)并糾正錯(cuò)誤。為了確保收斂，最后一輪僅使用單一軌跡，生成最終的精簡(jiǎn)消息作為 PaCoRe 推理流水線的輸出。

這種循環(huán)機(jī)制使得系統(tǒng)能夠?qū)?“有效測(cè)試時(shí)計(jì)算量（Effective TTC）”—— 即所有軌跡的 Token 總和 —— 擴(kuò)展到遠(yuǎn)遠(yuǎn)超出模型物理上下文窗口限制的程度。

訓(xùn)練方法 (Training)

實(shí)現(xiàn)這一框架的主要挑戰(zhàn)在于將模型從簡(jiǎn)單聚合孤立推理轉(zhuǎn)移為主動(dòng)合作。未經(jīng)訓(xùn)練的推理模型常常在具有簡(jiǎn)單解結(jié)構(gòu)的問(wèn)題上使用諸如多數(shù)表決這樣的簡(jiǎn)單規(guī)則，而在更加多樣解的問(wèn)題上，模型常常展現(xiàn)出 孤立推理 的現(xiàn)象：盡管在上下文中接收到了來(lái)自并行分支的豐富見(jiàn)解，但模型往往會(huì)忽略它們，試圖從頭開(kāi)始重新解決問(wèn)題。

為了克服這一問(wèn)題，研究團(tuán)隊(duì)將綜合階段視為一個(gè)情景式強(qiáng)化學(xué)習(xí)環(huán)境。我們采用大規(guī)模、基于結(jié)果的 RL 來(lái)教會(huì)模型推理綜合(Reasoning Synthesis) 能力：即審查并行分支、調(diào)和相互沖突的證據(jù)并提煉出統(tǒng)一解決方案的能力。

通過(guò)過(guò)濾訓(xùn)練數(shù)據(jù)，排除那些僅靠啟發(fā)式規(guī)則就能解決的簡(jiǎn)單問(wèn)題，我們迫使模型發(fā)展出真正的綜合能力，將其從一個(gè)孤立的求解者轉(zhuǎn)變?yōu)橐粋€(gè)高效的協(xié)同者。

圖 3：PaCoRe 訓(xùn)練動(dòng)力學(xué)。

實(shí)驗(yàn)結(jié)果

研究團(tuán)隊(duì)將 PaCoRe-8B（初始化自基于 Qwen3-8B-Base 的內(nèi)部后訓(xùn)練模型）與當(dāng)前最具代表性的前沿推理模型進(jìn)行了對(duì)比評(píng)估。

前沿級(jí)的性能表現(xiàn)

結(jié)果表明，并行協(xié)同機(jī)制使 8B 模型能夠通過(guò)大規(guī)模擴(kuò)展 TTC，獲得遠(yuǎn)超標(biāo)準(zhǔn)解碼限制的顯著收益，在一些最復(fù)雜的數(shù)學(xué)和代碼基準(zhǔn)測(cè)試中超越了最先進(jìn)的系統(tǒng)。

“綜合” 能力的涌現(xiàn)

圖 4：訓(xùn)練過(guò)程中模型輸出中 “綜合” 相關(guān)語(yǔ)言特征的演變。

研究團(tuán)隊(duì)繪制了 PaCoRe 訓(xùn)練期間，數(shù)學(xué)和代碼任務(wù)生成解決方案中 “交叉檢查” 類詞匯（包括 'reference', ' 參考 ', 'Ref

', 'ref

'）的頻率。訓(xùn)練在這兩個(gè)領(lǐng)域都激發(fā)并放大了這種綜合能力。值得注意的是，模型最初在代碼任務(wù)上很少進(jìn)行交叉檢查，這佐證了圖 1 中代碼任務(wù)在 PaCoRe 訓(xùn)練前測(cè)試時(shí)擴(kuò)展性差的現(xiàn)象。

研究團(tuán)隊(duì)通過(guò)追蹤訓(xùn)練過(guò)程中 “交叉檢查”（cross-checking）語(yǔ)言標(biāo)記的普遍性來(lái)探究 PaCoRe 的底層機(jī)制。如上圖所示，基于結(jié)果的強(qiáng)化學(xué)習(xí)推動(dòng)了這種行為在兩個(gè)領(lǐng)域的穩(wěn)步上升。模型顯式地學(xué)會(huì)了引用同伴的消息（Referencing peer messages），這種行為在未經(jīng) PaCoRe 訓(xùn)練的模型中幾乎不存在。這證實(shí)了 RL 根本性地改變了推理動(dòng)態(tài)，使模型能夠有效地利用大規(guī)模并行計(jì)算。

訓(xùn)練數(shù)據(jù)的通用有效性

除了框架本身，研究團(tuán)隊(duì)還發(fā)現(xiàn)為 PaCoRe 構(gòu)建的訓(xùn)練語(yǔ)料庫(kù)是一種密度極高的學(xué)習(xí)資源。經(jīng)驗(yàn)觀察表明，將我們發(fā)布的數(shù)據(jù)集作為標(biāo)準(zhǔn) RLVR 的主要基底，也能帶來(lái)穩(wěn)健的性能提升。這表明我們的問(wèn)題集 —— 經(jīng)過(guò)精心篩選以要求真正的綜合能力 —— 是訓(xùn)練通用強(qiáng)推理模型的高效催化劑。

結(jié)論與未來(lái)方向

PaCoRe 建立了一條通往大規(guī)模測(cè)試時(shí)擴(kuò)展（Test-Time Scaling）的無(wú)限路徑。通過(guò)圍繞 “并行協(xié)同” 構(gòu)建推理架構(gòu)并針對(duì) “綜合能力” 進(jìn)行訓(xùn)練，研究團(tuán)隊(duì)以將測(cè)試時(shí)計(jì)算擴(kuò)展到數(shù)百萬(wàn) Token，從而允許較小的開(kāi)放權(quán)重模型在復(fù)雜任務(wù)上超越專有的前沿系統(tǒng)。

階躍星辰團(tuán)隊(duì)將發(fā)布模型權(quán)重、訓(xùn)練數(shù)據(jù)和推理代碼，以加速社區(qū)的研究。

展望未來(lái)，團(tuán)隊(duì)將 PaCoRe 視為通向以下更大目標(biāo)的基礎(chǔ)性一步：

1.擴(kuò)展極限(Scaling the Extremes)： 計(jì)劃將 PaCoRe 應(yīng)用于更強(qiáng)大的基礎(chǔ)模型，擴(kuò)展任務(wù)領(lǐng)域，并進(jìn)一步擴(kuò)大廣度（并行軌跡）和深度（協(xié)同輪次），以攻克目前被認(rèn)為無(wú)法解決的挑戰(zhàn)。

2.提升 Token 智能密度(Boosting Token Intelligence Density)： 雖然目前通過(guò) “量” 來(lái)擴(kuò)展，但研究團(tuán)隊(duì)的目標(biāo)是最大化每一個(gè)計(jì)算單元的效用。這包括通過(guò)更好的組織、合作和軌跡間的勞動(dòng)分工，實(shí)現(xiàn)更高效的并行探索。

3.涌現(xiàn)多智能體智能(Emergent Multi-Agent Intelligence)： 研究團(tuán)隊(duì)有興趣探索綜合策略（Synthesis Policy）與消息傳遞機(jī)制的聯(lián)合訓(xùn)練，構(gòu)建一個(gè)極簡(jiǎn)卻豐富的協(xié)作多智能體學(xué)習(xí)環(huán)境，這將是研究涌現(xiàn)式溝通、自組織和群體智能的寶貴試驗(yàn)場(chǎng)。

4.銜接預(yù)訓(xùn)練與后訓(xùn)練的 “銜尾蛇”(Ouroboros)： 研究團(tuán)隊(duì)打算利用 PaCoRe 流程開(kāi)發(fā)先進(jìn)的合成數(shù)據(jù)生成技術(shù)，以反哺并改進(jìn)當(dāng)前的預(yù)訓(xùn)練和后訓(xùn)練過(guò)程，形成良性循環(huán)。