AIME 93.4分，開源模型首次逼近人類極限。

作者丨鄭佳美

編輯丨馬曉寧

AI 能不能真正“動腦子”？這個(gè)問題有了新答案。

螞蟻開源團(tuán)隊(duì)推出的Ring-1T模型，為這個(gè)長期存在的疑問提供了最具說服力的實(shí)證。不同于以往依賴海量數(shù)據(jù)“記憶”答案的語言模型，Ring-1T 試圖讓 AI 在復(fù)雜問題中真正“推理”出答案。

它通過強(qiáng)化學(xué)習(xí)與多階段推理機(jī)制的結(jié)合，使模型能夠在反饋中不斷修正思路、優(yōu)化邏輯路徑，逐步形成更穩(wěn)定、更接近人類思維的推理模式。

正是這種從“模仿”到“思考”的轉(zhuǎn)變，讓 Ring-1T 成為開源 AI 領(lǐng)域的一次里程碑式突破。接下來，讓我們看看這項(xiàng)研究是如何實(shí)現(xiàn)的。

論文地址：

https://arxiv.org/pdf/2510.18855

01

通用智能的火花

實(shí)驗(yàn)中Ring-1T 模型在多個(gè)高難度推理與數(shù)學(xué)基準(zhǔn)上進(jìn)行了系統(tǒng)性評估，都取得了突破性的實(shí)驗(yàn)成果。作為一個(gè)開源的萬億參數(shù)思考型模型，Ring-1T 分別在推理、數(shù)學(xué)、編程及通用智能任務(wù)上均展現(xiàn)出卓越的綜合能力。

在數(shù)學(xué)推理能力方面，Ring-1T 在 AIME-2025中取得 93.4 分的成績，接近人類頂尖選手水平；在 HMMT-2025 中得分 86.72，顯示其在跨領(lǐng)域數(shù)學(xué)推理與高復(fù)雜度邏輯演算中的強(qiáng)大能力；在 IMO-2025 模擬評測中達(dá)到銀牌水平，證明模型能夠在需要多步推理與創(chuàng)造性證明的問題中保持高準(zhǔn)確率和穩(wěn)定性。

在編程與算法能力上，模型在 Codeforces 平臺測試中獲得 2088 分，達(dá)到人類程序員的高水平區(qū)間。這表明 Ring-1T 不僅能夠理解算法邏輯，還能在有限時(shí)間內(nèi)生成高效、可執(zhí)行的代碼，具備良好的算法復(fù)雜度控制與問題分解能力。

在通用智能推理任務(wù)中，Ring-1T 在 ARC-AGI-v1 中取得 55.94 分，顯著超越此前開源模型的平均表現(xiàn)。該結(jié)果表明，模型在抽象模式識別、思維遷移與多步認(rèn)知推理方面具備接近通用人工智能的潛力。

總體而言，Ring-1T 在各項(xiàng)基準(zhǔn)測試中表現(xiàn)出優(yōu)異的穩(wěn)定性與一致性，尤其在復(fù)雜推理與多步邏輯任務(wù)中未出現(xiàn)顯著性能退化。與此前主要停留在百億或千億參數(shù)規(guī)模的開源模型相比，Ring-1T 在數(shù)學(xué)、推理與算法任務(wù)上全面刷新了開源模型的性能上限，成為新一代開源思考型模型的性能基準(zhǔn)。

實(shí)驗(yàn)結(jié)果還表明，該模型的高性能得益于論文提出的三項(xiàng)關(guān)鍵技術(shù)：

IcePop旨在提升強(qiáng)化學(xué)習(xí)訓(xùn)練的穩(wěn)定性，解決訓(xùn)練與推理分布不一致的問題。它通過動態(tài)約束與梯度剪切，限制高熵樣本的影響，并自適應(yīng)調(diào)整溫度參數(shù)，使模型在保持探索性的同時(shí)更穩(wěn)定收斂，從而提高推理階段的可靠性。

C3PO++專注于提升長序列推理和大規(guī)模 rollout 的效率。該方法采用動態(tài)分區(qū)和 token 預(yù)算機(jī)制，將推理過程劃分為多個(gè)小批次，并利用持久化緩沖區(qū)續(xù)傳未完成任務(wù)，有效提升 GPU 利用率和整體訓(xùn)練吞吐量。

而ASystem則是支撐萬億參數(shù)強(qiáng)化學(xué)習(xí)的分布式架構(gòu)。它整合統(tǒng)一的訓(xùn)練與推理運(yùn)行時(shí)、高效的顯存管理、快速的參數(shù)同步以及安全的隔離執(zhí)行環(huán)境，使大規(guī)模模型訓(xùn)練具備更高的并行性、穩(wěn)定性與容錯性。

02

算法與系統(tǒng)的共振

論文中體現(xiàn)的實(shí)驗(yàn)過程，主要以Ring-1T 思考型模型為研究對象，研究人員設(shè)計(jì)了分階段的訓(xùn)練體系，包括監(jiān)督微調(diào)（SFT）、推理強(qiáng)化學(xué)習(xí)（Reasoning RL）和通用強(qiáng)化學(xué)習(xí)（General RL）。研究的主要突破集中在后兩個(gè)階段，通過引入IcePop、C3PO++與ASystem等方法，實(shí)現(xiàn)了在大規(guī)模強(qiáng)化學(xué)習(xí)中的穩(wěn)定訓(xùn)練與高效推理。

實(shí)驗(yàn)中，Ring-1T 模型的訓(xùn)練過程經(jīng)過精心設(shè)計(jì)，以在萬億參數(shù)規(guī)模下同時(shí)保證穩(wěn)定性和效率。團(tuán)隊(duì)在訓(xùn)練時(shí)采用AdamW 優(yōu)化器，其超參數(shù)設(shè)定為 β?=0.9、β?=0.999，權(quán)重衰減為 0.01；同時(shí)固定了 MoE路由器的偏置項(xiàng)，以保持參數(shù)更新的穩(wěn)定。推理與采樣階段的設(shè)置在兩個(gè)強(qiáng)化學(xué)習(xí)階段中保持一致，KL 系數(shù)設(shè)為 0.0，采樣溫度為 1.0，以減少訓(xùn)練階段與推理階段分布不一致帶來的偏差。

在強(qiáng)化學(xué)習(xí)階段，Ring-1T 的性能提升主要依賴兩項(xiàng)關(guān)鍵技術(shù)：IcePop和C3PO++。其中，IcePop的目標(biāo)是讓訓(xùn)練過程更加穩(wěn)定，避免模型在訓(xùn)練和推理階段出現(xiàn)表現(xiàn)不一致的情況。

簡單來說，它會在每次更新模型參數(shù)時(shí)，對不穩(wěn)定或異常的樣本進(jìn)行“篩選”和“削弱”。具體做法是：計(jì)算訓(xùn)練階段與推理階段之間的概率差異，如果某個(gè) token 的概率偏離太大，就會被部分“掩蓋”或降低權(quán)重。這樣可以防止模型在訓(xùn)練中因?yàn)闃O端樣本而產(chǎn)生劇烈波動。

除此之外，IcePop 采用了參數(shù) α=0.5、β=5.0 的范圍，也就是只讓概率比值處于 [0.5, 5.0] 的樣本參與優(yōu)化。研究人員還測試了不同范圍的配置（如 [0.5, 2.0]、[0.4, 5.0]），結(jié)果表明默認(rèn)參數(shù)在訓(xùn)練穩(wěn)定性與性能之間達(dá)到了平衡。

而之后的 C3PO++ 則負(fù)責(zé)優(yōu)化 rollout 過程，使訓(xùn)練在大規(guī)模分布式環(huán)境下更加高效，特別是在處理超長序列時(shí)。傳統(tǒng)方法在遇到很長的推理樣本時(shí)會拖慢整個(gè)訓(xùn)練進(jìn)程，而 C3PO++ 通過“分段訓(xùn)練”和“并行續(xù)傳”的方式解決了這個(gè)問題。

它設(shè)置了一個(gè)token 預(yù)算（Φ），當(dāng)生成的 token 數(shù)達(dá)到預(yù)算上限時(shí)，就會立即觸發(fā)一次更新。系統(tǒng)分為兩個(gè)池子：推理池（P_infer）不斷生成新樣本，訓(xùn)練池（Q_train）收集已經(jīng)生成完成的樣本并進(jìn)行更新，這樣推理和訓(xùn)練就可以同時(shí)進(jìn)行。

為了防止某些特別長的序列占用資源，C3PO++ 還給每個(gè)樣本設(shè)定了一個(gè)保留期（σ），超時(shí)未完成的樣本會被清除。而那些還沒生成完的樣本則會在下一輪繼續(xù)生成（即“跨迭代續(xù)傳”）。通過這些機(jī)制，C3PO++ 能讓訓(xùn)練過程更加流暢高效，不會因?yàn)閭€(gè)別長樣本卡住整個(gè)系統(tǒng)。

總體來說，IcePop讓訓(xùn)練更穩(wěn)，C3PO++讓訓(xùn)練更快，兩者結(jié)合，使 Ring-1T 能在萬億參數(shù)規(guī)模下保持高效、穩(wěn)定的強(qiáng)化學(xué)習(xí)表現(xiàn)。

除此之外，為了讓萬億參數(shù)的 Ring-1T 模型能夠高效穩(wěn)定地進(jìn)行訓(xùn)練，研究團(tuán)隊(duì)還專門設(shè)計(jì)了一個(gè)分布式強(qiáng)化學(xué)習(xí)系統(tǒng)——ASystem。它的核心目標(biāo)是：在海量 GPU 和超大模型的條件下，讓訓(xùn)練、推理和參數(shù)更新能夠同時(shí)、高效地進(jìn)行，而不會因?yàn)橄到y(tǒng)瓶頸導(dǎo)致中斷或效率下降。

ASystem 采用一種叫SingleController + SPMD的并行架構(gòu)。簡單來說，就是用一個(gè)中央控制器來統(tǒng)一調(diào)度成千上萬的計(jì)算節(jié)點(diǎn)，讓每個(gè)節(jié)點(diǎn)都執(zhí)行相同的訓(xùn)練流程，從而保證全系統(tǒng)的同步與高效協(xié)作。

整個(gè)系統(tǒng)由四個(gè)主要模塊組成：

Hybrid Runtime：這是訓(xùn)練和推理的統(tǒng)一執(zhí)行環(huán)境，負(fù)責(zé)同時(shí)管理模型訓(xùn)練和模型測試的計(jì)算任務(wù)，避免不同系統(tǒng)之間反復(fù)傳輸數(shù)據(jù)。

AMem：負(fù)責(zé) GPU 顯存的管理和數(shù)據(jù)傳輸。它可以在不同顯卡之間切換內(nèi)存、使用多條數(shù)據(jù)通道傳輸信息，并通過共享內(nèi)存池減少顯存占用，從而支持更大的批量訓(xùn)練而不會崩潰。

AState：負(fù)責(zé)在不同計(jì)算節(jié)點(diǎn)之間同步模型參數(shù)。它采用點(diǎn)對點(diǎn)（P2P）的高效傳輸方式，只同步必要的部分，能在大約 10 秒內(nèi)完成萬億級參數(shù)的同步。

ASandbox：相當(dāng)于一個(gè)安全的“實(shí)驗(yàn)沙盒”，用于執(zhí)行代碼生成、數(shù)學(xué)計(jì)算和邏輯驗(yàn)證等推理任務(wù)。它像“函數(shù)即服務(wù)”一樣，可以在隔離環(huán)境中同時(shí)運(yùn)行成千上萬個(gè)推理請求。

在系統(tǒng)設(shè)計(jì)上，ASystem 將控制邏輯和數(shù)據(jù)流分離，使訓(xùn)練、推理和獎勵計(jì)算模塊都能獨(dú)立運(yùn)行。它還具有“快速失敗與自動恢復(fù)”機(jī)制：如果某個(gè)節(jié)點(diǎn)出現(xiàn)問題，系統(tǒng)能自動檢測并恢復(fù)運(yùn)行，而不會影響整體訓(xùn)練進(jìn)度。

通過這些設(shè)計(jì)，ASystem 讓 Ring-1T 能夠在成千 GPU 的大規(guī)模環(huán)境中穩(wěn)定運(yùn)行，實(shí)現(xiàn)高吞吐、高可靠的強(qiáng)化學(xué)習(xí)訓(xùn)練。

03

開源智能的下一步

過去的模型大多依賴數(shù)據(jù)去模仿人類答案，但面對復(fù)雜推理或邏輯問題時(shí)容易出錯。Ring-1T 的研究探索了一種新的思路 —— 通過強(qiáng)化學(xué)習(xí)讓模型在反饋中不斷調(diào)整自己的思考方式，逐步形成更穩(wěn)定、更清晰的推理能力。

它的另一個(gè)意義在于證明了超大規(guī)模強(qiáng)化學(xué)習(xí)是可以實(shí)現(xiàn)的。以前這種規(guī)模的模型常常訓(xùn)練不穩(wěn)、成本高、容易崩潰，而這項(xiàng)研究用新的算法和系統(tǒng)設(shè)計(jì)，找到了一種讓萬億參數(shù)模型穩(wěn)定訓(xùn)練的方法。這為后續(xù)更復(fù)雜、更自主的模型研究提供了可操作的經(jīng)驗(yàn)。

從更長遠(yuǎn)的角度看，這項(xiàng)工作也讓開源模型有機(jī)會在高層次智能上追上閉源系統(tǒng)。它或許不只是一次技術(shù)升級，而是讓智能研究變得更開放、更有延續(xù)性的一步。

未經(jīng)「AI科技評論」授權(quán)，嚴(yán)禁以任何方式在網(wǎng)頁、論壇、社區(qū)進(jìn)行轉(zhuǎn)載！

公眾號轉(zhuǎn)載請先在「AI科技評論」后臺留言取得授權(quán)，轉(zhuǎn)載時(shí)需標(biāo)注來源并插入本公眾號名片。