點擊下方“JavaEdge”，選擇“設為星標”

第一時間關注技術干貨！

免責聲明~ 任何文章不要過度深思！ 萬事萬物都經(jīng)不起審視，因為世上沒有同樣的成長環(huán)境，也沒有同樣的認知水平，更「沒有適用于所有人的解決方案」； 不要急著評判文章列出的觀點，只需代入其中，適度審視一番自己即可，能「跳脫出來從外人的角度看看現(xiàn)在的自己處在什么樣的階段」才不為俗人。 怎么想、怎么做，全在乎自己「不斷實踐中尋找適合自己的大道」

1 什么是 DeepSeek-R1？

如果你曾經(jīng)為一道棘手的數(shù)學題絞盡腦汁，就會明白多花時間仔細思考是多么重要。OpenAI 的 o1 模型證明，當 LLM 在推理時通過增加計算量進行類似訓練后，它們在數(shù)學、編程和邏輯等推理任務上的表現(xiàn)會顯著提升。

然而，OpenAI 推理模型的訓練方法一直是個秘密。直到上周，DeepSeek 發(fā)布 [DeepSeek-R1]模型，瞬間引爆互聯(lián)網(wǎng)（甚至影響了股市�。�。

除了性能達到或超越 o1 之外，DeepSeek-R1 的發(fā)布還附帶了詳細的技術報告，揭示了其訓練方法的關鍵步驟。該方法包含多項創(chuàng)新，最引人注目的是使用純強化學習讓基礎語言模型學會推理而無需**任何**人工監(jiān)督。如下圖所示，只要擁有強大的基礎模型和高質(zhì)量的數(shù)據(jù)混合，構建強大的推理模型就變得非常簡單：

不過，DeepSeek-R1 的發(fā)布仍留下幾個未解之謎：

• 數(shù)據(jù)收集：推理專用數(shù)據(jù)集是如何構建的？

• 模型訓練：DeepSeek 未公開訓練代碼，因此最佳超參數(shù)設置及其在不同模型系列和規(guī)模間的差異尚不明確。

• 擴展規(guī)律：訓練推理模型時計算資源和數(shù)據(jù)量之間如何權衡？

這些問題促使業(yè)界啟動了 Open-R1 項目，旨在系統(tǒng)性復現(xiàn) DeepSeek-R1 的數(shù)據(jù)和訓練流程，驗證其聲明，并推動開源推理模型的邊界。通過構建 Open-R1，希望揭示強化學習如何增強推理能力，與開源社區(qū)分享可復現(xiàn)的經(jīng)驗，并為未來模型應用這些技術奠定基礎。

本文深入探討 DeepSeek-R1 的核心要素、計劃復現(xiàn)的部分，及如何參與 Open-R1 項目。

2 他們是如何做到的？

DeepSeek-R1 是基于 [DeepSeek-V3] 打造的推理模型。與所有優(yōu)秀的推理模型一樣，它始于一個強大的基礎模型——DeepSeek-V3 正是如此。這個 671B 的混合專家模型（MoE）性能媲美 Sonnet 3.5 和 GPT-4o 等重量級選手。其訓練成本僅 550 萬美元，這得益于多令牌預測（MTP）、多頭潛在注意力（MLA）等架構改進和大量的硬件優(yōu)化。

DeepSeek 推出了兩個模型：DeepSeek-R1-Zero 和 DeepSeek-R1，分別采用不同的訓練方法。DeepSeek-R1-Zero 完全跳過監(jiān)督微調(diào)，僅通過強化學習（RL）和組相對策略優(yōu)化（GRPO）實現(xiàn)高效訓練。簡單的獎勵機制根據(jù)答案的準確性和結(jié)構提供反饋，幫助模型發(fā)展出分步推理和自我驗證等能力，但其回答常缺乏清晰度。

這就是 DeepSeek-R1 的改進之處。它通過"冷啟動"階段在小規(guī)模精編數(shù)據(jù)上進行微調(diào)，提升回答的清晰度和可讀性。隨后通過更多 RL 和精煉步驟（包括基于人類偏好和可驗證獎勵的低質(zhì)量輸出過濾），最終形成既擅長推理又能生成優(yōu)雅答案的模型。

這一切聽起來很完美，但還缺少什么？看看拼圖的缺失部分。

3 Open-R1：填補空白

DeepSeek-R1 的發(fā)布對社區(qū)是重大利好，但并非完整開源——雖然模型權重開放，但訓練數(shù)據(jù)集和代碼仍未公開 。

Open-R1 的目標就是填補這些空白，讓整個研究和產(chǎn)業(yè)界都能使用相同配方和數(shù)據(jù)集構建類似或更優(yōu)的模型。通過開源協(xié)作，每個人都可以參與貢獻！

如下圖所示，攻關計劃分三步：

• 第一步：通過從 DeepSeek-R1 蒸餾高質(zhì)量推理數(shù)據(jù)集，復現(xiàn) R1-Distill 模型

• 第二步：復現(xiàn) DeepSeek 創(chuàng)建 R1-Zero 的純 RL 流程，需要構建數(shù)學、推理和代碼的大規(guī)模新數(shù)據(jù)集

• 第三步：展示從基礎模型 → 監(jiān)督微調(diào) → 多階段 RL 訓練的全流程

合成數(shù)據(jù)集將允許任何人通過簡單微調(diào)將現(xiàn)有或新 LLM 轉(zhuǎn)化為推理模型。包含 RL 的訓練方法將成為從零構建類似模型的起點，研究人員可在此基礎上開發(fā)更先進的方法。

社區(qū)不會止步于數(shù)學數(shù)據(jù)集。代碼等傳統(tǒng)領域及醫(yī)學等科學領域都有巨大潛力，推理模型可能產(chǎn)生重大影響。

這個倡議不只是復現(xiàn)結(jié)果，更是與社區(qū)共享洞見。通過記錄有效/無效的方法及其原因，希望幫助他人避免在無效路徑上浪費時間和算力。

關注我，緊跟本系列專欄文章，咱們下篇再續(xù)！

編程嚴選網(wǎng)：http://www.javaedge.cn/ 專注分享軟件開發(fā)全場景最佳實踐，點擊文末【閱讀原文】即可直達~ 【編程嚴選】星球