從 Base 到 RuFT→RuRL，提升不止一點(diǎn)點(diǎn)。

在數(shù)學(xué)和代碼領(lǐng)域，AI 有明確的“對錯(cuò)”可循；但在醫(yī)療建議、創(chuàng)意寫作等開放式任務(wù)中，評價(jià)好壞往往成了“玄學(xué)”。近日，由理想汽車基座模型團(tuán)隊(duì)聯(lián)合多所高校發(fā)布的RubricHub數(shù)據(jù)集，令人驚喜的是，通過該數(shù)據(jù)集訓(xùn)練的Qwen3-14B小模型，在OpenAI提出的權(quán)威醫(yī)療基準(zhǔn)測試HealthBench上達(dá)到了69.3的高分，一舉超越了GPT-5等頂級商業(yè)模型。

這意味著通過精準(zhǔn)的監(jiān)督信號，小模型在開放生成領(lǐng)域完全可以實(shí)現(xiàn)對頂尖大模型的逆襲。這也讓RubicHub數(shù)據(jù)集發(fā)布僅不到3周時(shí)間，強(qiáng)勢登頂Hugging Face趨勢榜榜首。

01

痛點(diǎn)：為什么開放式生成總是“差點(diǎn)意思”？

當(dāng)我們向模型提出非開放式任務(wù)時(shí)——比如“請幫我解這道二元一次方程”或者“寫一段Python代碼”，我們的體驗(yàn)通常很直接：代碼報(bào)錯(cuò)就是錯(cuò)，答案不對就是不對。這種任務(wù)有著天然的“黑白分明”的界限，模型很容易通過自我驗(yàn)證來優(yōu)化。

然而，一旦我們將場景切換到開放式任務(wù)，情況就變得復(fù)雜了。當(dāng)詢問“我該怎么緩解偏頭痛？”或“幫我寫一份年度營銷方案”。在這種場景下，模型的主要問題通常不是“完全不會(huì)寫”，而是呈現(xiàn)出一種“似是而非”的狀態(tài)：

? 關(guān)鍵點(diǎn)遺漏：比如給出的醫(yī)療建議看似專業(yè)，卻唯獨(dú)少了關(guān)鍵的“禁忌癥提示”或“就醫(yī)指引”；

? 細(xì)節(jié)不夠可執(zhí)行：寫的方案邏輯通順，但缺乏具體的執(zhí)行步驟和邊界條件，無法落地；

? 極不穩(wěn)定：同一個(gè)問題，僅僅是換了一種問法，生成的質(zhì)量就可能天差地別；

? 評測難以復(fù)現(xiàn)：到底寫得好不好？不同的評審員或不同的自動(dòng)評測器，得出的結(jié)論往往不一致。

而導(dǎo)致這一切的核心原因在于：開放式任務(wù)缺少像數(shù)學(xué)和代碼那樣“天然可驗(yàn)證”的監(jiān)督信號。

? 在非開放式任務(wù)中，“對/錯(cuò)”能被規(guī)則或執(zhí)行器直接驗(yàn)證，獎(jiǎng)勵(lì)信號明確，優(yōu)化目標(biāo)清晰，有助于RLVR（可驗(yàn)證獎(jiǎng)勵(lì)強(qiáng)化學(xué)習(xí)）開展

? 但在開放式任務(wù)中，很難說“只有一個(gè)正確答案”。這就導(dǎo)致了監(jiān)督的困境：

• 獎(jiǎng)勵(lì)太粗：如果只看整體偏好，模型容易學(xué)到“表面像那么回事”的套路；

• 成本太貴：依賴人工進(jìn)行細(xì)致的標(biāo)注和評審，很難規(guī)?；?；

• 標(biāo)準(zhǔn)不穩(wěn)：自動(dòng)評測器往往對風(fēng)格和措辭過于敏感，容易帶來偏差。

既然無法直接照搬數(shù)學(xué)領(lǐng)域的“標(biāo)準(zhǔn)答案”模式，解決問題的關(guān)鍵就在于如何為這些開放式任務(wù)創(chuàng)造出“可驗(yàn)證”的監(jiān)督信號。

01

RubricHub：把“玄學(xué)”變成可檢查的評分細(xì)則

為了解決開放式問題“玄學(xué)”的問題，理想汽車引入Rubic（評分細(xì)則）并構(gòu)建了RubricHub數(shù)據(jù)集，它將模糊的主觀評價(jià)轉(zhuǎn)化為精確量化標(biāo)準(zhǔn)的工具。

2.1 什么是Rubic？

就像是體操比賽的評分表，它把原本主觀的“表演是否精彩”，變成了對每一個(gè)具體動(dòng)作（如落地是否站穩(wěn)、旋轉(zhuǎn)度數(shù)是否夠）的精準(zhǔn)扣分或得分項(xiàng)。

Rubric不再依賴“寫得好”或“寫得差”這種籠統(tǒng)的定性判斷，而是將“好答案”拆解為一組清晰、可檢查的具體條目；通過為每個(gè)條目分配不同的權(quán)重與分值，最終以加權(quán)匯總的方式計(jì)算總分，把開放式生成質(zhì)量變成了可執(zhí)行、可復(fù)現(xiàn)的“檢查清單”。

Rubric的兩個(gè)關(guān)鍵屬性：可檢查 + 可分解

在我們的定義里，一個(gè)Rubric由多個(gè)評估條目組成。條目大致分兩類：

? 可驗(yàn)證條目（Verifiable Criteria）：能用規(guī)則或確定性程序檢查（例如格式、字?jǐn)?shù)、是否包含某字段、是否滿足硬約束等）；

? 語義條目（Semantic Criteria）：需要LLM grader判斷（例如推理是否完整、表達(dá)是否清晰、是否覆蓋關(guān)鍵風(fēng)險(xiǎn)點(diǎn)、是否前后一致等）。

對齊的關(guān)鍵在于：把“開放式質(zhì)量”拆成很多條可檢查的小目標(biāo)，讓訓(xùn)練信號變得密集、穩(wěn)定、可解釋。

現(xiàn)有Rubrics的三大瓶頸：規(guī)模、覆蓋、區(qū)分度

Rubric并非全新概念，但長期以來未能成為通用的基礎(chǔ)設(shè)施，主要受限于三大核心瓶頸：

1. 難以規(guī)?；簜鹘y(tǒng)模式依賴人工撰寫，成本高昂且效率低下，難以應(yīng)對海量需求；

2. 覆蓋不全面：單一視角往往帶有主觀偏差，難以做到客觀與普適，容易陷入局部視角；

3. 區(qū)分度不足：評估條目過于寬泛，導(dǎo)致頂尖模型極易觸及“天花板”（Ceiling Effect），難以有效區(qū)分模型間的能力差異。

RubricHub針對上述痛點(diǎn)提出的解決方案：它實(shí)現(xiàn)了全流程自動(dòng)化、引入了多元異構(gòu)視角，并顯著提升了評分的區(qū)分度。

2.2 RubricHub 是如何工作的？

為了保證這份“清單”的質(zhì)量，理想汽車提出的一套全自動(dòng)Coarse-to-Fine Rubric Generation（由粗到細(xì)）框架，旨在同時(shí)做到：

? 相關(guān)：緊貼問題與真實(shí)回答，不跑偏；

? 全面：覆蓋不同表達(dá)方式、減少單一偏見；

? 高區(qū)分度：能把“優(yōu)秀”和“卓越”拉開差距。

第一步：錨定事實(shí)（Response-Grounded），保證相關(guān)性與可評估性

當(dāng)我們讓AI寫一段“新款汽車宣傳文案”為例，若只看問題生成Rubric，容易出現(xiàn)Rubric Drift：生成諸如“文案是否吸引人”、“是否有創(chuàng)意”等泛化、空泛的條目，評測者難以統(tǒng)一標(biāo)準(zhǔn)。

我們的做法是把Rubric生成“錨定”在包含具體賣點(diǎn)（如“座椅”“內(nèi)飾”等）的回答上，同時(shí)加入一組元原則約束：

? Consistency & Alignment：比如問題強(qiáng)調(diào)“高端定位”，就要剔除“性價(jià)比高”這種自相矛盾的條目；

? Structure & Scope：確保評分維度覆蓋合理，既有“功能介紹”也有“情感共鳴”；

? Clarity & Quality：把“寫得好”細(xì)化為“無語病、參數(shù)術(shù)語準(zhǔn)確”等清晰、可執(zhí)行的描述；

? Reasoning & Evaluability：確?！笆欠裉岬阶问孢m”是客觀可查的，能形成穩(wěn)定信號。

要點(diǎn)： 先通過“參考回答”提取關(guān)鍵點(diǎn)，再通過“元原則”規(guī)范評分邏輯。

第二步：多模型聚合（Multi-Model Aggregation），降低視角偏差、提升覆蓋

單一模型生成的Rubric仍可能帶有“視角偏差”：模型A可能像個(gè)“硬核工程師”，只盯著“馬力、扭矩?cái)?shù)據(jù)是否準(zhǔn)確”，卻完全忽略了“駕駛體驗(yàn)”或“用戶使用”等方面。

因此，我們引入多個(gè)異構(gòu)模型分別“出題”：有的側(cè)重動(dòng)力性能，有的側(cè)重內(nèi)飾奢華感，有的側(cè)重安全合規(guī)。通過整合GPT5、Gemini等頂尖模型的視點(diǎn)，去重與沖突消解，得到一份集百家之長的Base Rubric。

從訓(xùn)練角度看，這一步相當(dāng)于把“車輛工程師（看參數(shù)）、品牌總監(jiān)（看調(diào)性）、法務(wù)（看合規(guī)）”三方的標(biāo)準(zhǔn)，融合成了一份更客觀、無死角的評分細(xì)則。

第三步：難度演化（Difficulty Evolution），突破天花板的關(guān)鍵

雖然Base Rubric融合了多方視角，但它往往止步于“基本正確”。生成的內(nèi)容只要參數(shù)沒寫錯(cuò)、沒有語病、符合法規(guī)，模型就能輕松拿到高分。但這無法區(qū)分“合格的說明書”與“具有感染力的文章”，導(dǎo)致模型很快觸及分?jǐn)?shù)天花板（Ceiling Effect），訓(xùn)練失去有效梯度。

為此，我們引入難度演化，是RubricHub最具競爭力的貢獻(xiàn)。分析高質(zhì)量參考回答，從中抽取“讓答案從優(yōu)秀變卓越”的差異點(diǎn)，生成更嚴(yán)格、更細(xì)致的增量條目，把Rubric變“更難、更挑剔”。這種機(jī)制強(qiáng)迫模型不斷在“卓越”與“極致”之間自我競賽，從而打破性能天花板。

2.3 RubricHub 數(shù)據(jù)集：110k、高密度、全覆蓋的實(shí)戰(zhàn)題庫

RubricHub 數(shù)據(jù)集并非簡單的數(shù)據(jù)堆砌，而是通過“廣度、深度、高度”的立體化構(gòu)建，打造了一個(gè)包含約 110k 對（Question, Rubric）的高質(zhì)量樣本庫，為模型提供了前所未有的高密度監(jiān)督信號。

廣度：覆蓋五大核心領(lǐng)域的 110k 實(shí)戰(zhàn)題庫

為了構(gòu)建通用的評估基座，RubricHub聚合清洗了來自 RaR-science、WildChat等權(quán)威開源的源數(shù)據(jù)，最終精選出約110k對（Question, Rubric） 高質(zhì)量樣本。

數(shù)據(jù)分布經(jīng)過精心設(shè)計(jì)，重點(diǎn)強(qiáng)化了對嚴(yán)謹(jǐn)性要求極高的醫(yī)療（Medical）與科學(xué)（Science）領(lǐng)域（各占 27.1%），同時(shí)兼顧了指令遵循（20.9%）、創(chuàng)意寫作（15.9%）與開放對話（9.0%）。這種全方位的覆蓋，確保了模型不僅能聊閑天，更能處理復(fù)雜的專業(yè)推理任務(wù)。

深度：從“給個(gè)分”進(jìn)化到“30+維度的全身掃描”

RubricHub數(shù)據(jù)集最大的特色在于“高密度監(jiān)督”。不同于傳統(tǒng)數(shù)據(jù)只給一個(gè)籠統(tǒng)的總分，RubricHub將質(zhì)量拆解為密集的檢查清單。

在醫(yī)療和寫作這類復(fù)雜任務(wù)中，平均每個(gè)問題對應(yīng)30條以上的細(xì)分標(biāo)準(zhǔn)（Medical Avg 31, Writing Avg 32）。這意味著模型不再是接收模糊的“好/壞”信號，而是收到了一組結(jié)構(gòu)化的、精確到細(xì)節(jié)的“診斷報(bào)告”，明確知道自己在哪里做對了、哪里遺漏了。

高度：拒絕“天花板效應(yīng)”，保留優(yōu)化空間

為了保證訓(xùn)練的有效性，數(shù)據(jù)集特別強(qiáng)調(diào)“高區(qū)分度”。通過前述的“難度演化”機(jī)制，生成的評分細(xì)則足夠嚴(yán)苛，避免了分?jǐn)?shù)飽和（Score Saturation）。

數(shù)據(jù)顯示，即便是目前的頂尖模型，在RubricHub上的平均得分也僅為0.6左右。這預(yù)留了充足的 Headroom（提升空間），確保在強(qiáng)化學(xué)習(xí)過程中，監(jiān)督信號始終能區(qū)分出“優(yōu)秀”與“卓越”的差異，持續(xù)提供有效的優(yōu)化梯度。

03
RubricHub實(shí)戰(zhàn)：小模型如何逆襲閉源巨頭

有了這份高質(zhì)量的“檢查清單”，我們探索出了一套RuFT（拒絕采樣微調(diào)）→RuRL（強(qiáng)化學(xué)習(xí)）的兩階段訓(xùn)練流程

1.RuFT：利用準(zhǔn)則作為過濾器，篩選出最優(yōu)質(zhì)的數(shù)據(jù)進(jìn)行冷啟動(dòng)訓(xùn)練。

2.RuRL：將準(zhǔn)則得分轉(zhuǎn)化為密集的獎(jiǎng)勵(lì)信號，像發(fā)“計(jì)件工資”一樣精細(xì)化引導(dǎo)模型優(yōu)化。

3.1 Rubric 不只是評測：兩種訓(xùn)練用法 (RuFT + RuRL)

RuFT：優(yōu)中選優(yōu)的“選拔賽” (Rubric-based Rejection Sampling Fine-Tuning)

在監(jiān)督微調(diào)（SFT）階段，我們需要高質(zhì)量的訓(xùn)練數(shù)據(jù)。

? 出題：把同一個(gè)問題（如“寫汽車文案”）當(dāng)作一張?jiān)嚲恚屇Ｐ蜕啥喾莼卮穑ㄈ?10 份），相當(dāng)于 10 個(gè)學(xué)生同時(shí)作答。

? 閱卷：使用 Rubrics 作為統(tǒng)一評分標(biāo)準(zhǔn)，對這 10 份“學(xué)生答案”打分。

• 學(xué)生 A（只羅列參數(shù)）：0.7分 → 淘汰

• 學(xué)生 B（有語?。?.5分 → 淘汰

• 學(xué)生 C（參數(shù)完整且有情感共鳴）：0.9分 → 保留
  

? 錄取：只將通過 Rubrics 高分篩選的優(yōu)秀答案（如 C）作為標(biāo)準(zhǔn)答案用于 SFT 訓(xùn)練，相當(dāng)于在訓(xùn)練前先進(jìn)行一輪“考試篩選”，確保模型只向最優(yōu)樣本學(xué)習(xí)，從而緩解冷啟動(dòng)階段的數(shù)據(jù)質(zhì)量問題。

RuRL：按點(diǎn)給分的“計(jì)件工資” (Rubric-based Reinforcement Learning)

在強(qiáng)化學(xué)習(xí)（RL）階段，模型需要明確的獎(jiǎng)勵(lì)信號（Reward）。

? 傳統(tǒng)痛點(diǎn)： 以前模型寫完，只得到一個(gè)籠統(tǒng)的“好”或“壞”，模型不知道自己具體好在哪、壞在哪。

? RuRL 做法： 我們把總分拆解為一個(gè)個(gè)具體的二值檢查（Yes/No），按權(quán)重發(fā)“工資”。

• 檢查點(diǎn) 1： 提到真皮座椅了嗎？ → 滿足（+10分）

• 檢查點(diǎn) 2： 提到靜音技術(shù)了嗎？ → 滿足（+7分）

• 檢查點(diǎn) 3： 有感官描寫嗎？ → 不滿足（0分）

• 最終獎(jiǎng)勵(lì)： 總分是這些細(xì)項(xiàng)的加權(quán)匯總。
  

? 優(yōu)勢：

• 更穩(wěn)定： 把復(fù)雜的“文案好不好”拆成了簡單的“有沒有做到”，減少了主觀誤判。

• 可解釋： 模型（和開發(fā)者）能清楚地知道，分低是因?yàn)椤皼]寫感官描寫”，優(yōu)化目標(biāo)非常清晰。

3.2 實(shí)驗(yàn)結(jié)果：從 Base 到 RuFT→RuRL，提升不止一點(diǎn)點(diǎn)。

評測方案：五大領(lǐng)域全覆蓋，兩階段訓(xùn)練驗(yàn)證

為了全面驗(yàn)證RubricHub的有效性，我們在科學(xué)、指令遵循、寫作、醫(yī)療、對話這五大核心領(lǐng)域，選取了 ResearchQA、IFEval、HealthBench等多個(gè)權(quán)威公開基準(zhǔn)進(jìn)行評測。實(shí)驗(yàn)基于Qwen3-4B和Qwen3-14B兩個(gè)基座模型，采用了兩階段后訓(xùn)練策略：

? 首先通過 RuFT（基于 Rubric 的拒絕采樣）篩選出約 30k 高質(zhì)量樣本進(jìn)行 SFT 冷啟動(dòng)；

? 隨后利用 RuRL（基于 Rubric 的強(qiáng)化學(xué)習(xí)），將細(xì)粒度的評分細(xì)則轉(zhuǎn)化為結(jié)構(gòu)化獎(jiǎng)勵(lì)，使用 DAPO 算法進(jìn)行對齊訓(xùn)練，以此來觀察不同訓(xùn)練階段帶來的性能變化。

實(shí)驗(yàn)結(jié)果：階梯式顯著提升，小模型逆襲巨頭

實(shí)驗(yàn)數(shù)據(jù)顯示了一個(gè)清晰的性能階梯：Base < RuFT < RuRL < RuFT+RuRL。

這證明了“篩選數(shù)據(jù)”與“獎(jiǎng)勵(lì)對齊”兩者疊加能產(chǎn)生最強(qiáng)的綜合效果。Qwen3-14B (RuFT+RuRL) 的表現(xiàn)，它在多項(xiàng)基準(zhǔn)上實(shí)現(xiàn)了大幅躍升。以醫(yī)療領(lǐng)域的 HealthBench 為例，該模型得分高達(dá)69.3，不僅遠(yuǎn)超原始基座，甚至擊敗了GPT-5 (67.2)等頂尖閉源模型。

關(guān)于 Grader（判分器）的消融實(shí)驗(yàn)發(fā)現(xiàn)，判分模型的能力存在閾值（至少需 30B 級別才能達(dá)到與人類高度一致的 κ≈0.74κ≈0.74），判分器越強(qiáng)，訓(xùn)練出的模型效果越穩(wěn)健。

總結(jié)：并非“刷分”，而是全維度的能力進(jìn)化

分析訓(xùn)練動(dòng)態(tài)發(fā)現(xiàn)，模型性能的提升并非單點(diǎn)“刷指標(biāo)”，而是多維度的同步上漲。在HealthBench 的細(xì)分維度分析中，準(zhǔn)確性（Accuracy）、完整性（Completeness）、溝通質(zhì)量（Communication Quality）等指標(biāo)均隨步數(shù)同步上升。

這表明，RubricHub提供的高密度、高區(qū)分度監(jiān)督信號，成功引導(dǎo)模型實(shí)現(xiàn)了從“投機(jī)取巧”到“全面變強(qiáng)”的質(zhì)變，證明了通過構(gòu)建高質(zhì)量的驗(yàn)證信號，小模型完全具備在特定領(lǐng)域超越大模型的潛力。

04
結(jié)語

開放式生成的難點(diǎn)已從“能不能寫”轉(zhuǎn)向“能不能寫好”。RubricHub的核心價(jià)值在于打破了“好壞難評”的僵局，將主觀評價(jià)轉(zhuǎn)化為可生成、可訓(xùn)練的通用基礎(chǔ)設(shè)施。

通過“固化標(biāo)準(zhǔn) → 篩選數(shù)據(jù) → 獎(jiǎng)勵(lì)建模”的標(biāo)準(zhǔn)化路徑，RubricHub成功將模糊偏好轉(zhuǎn)化為可驗(yàn)證的監(jiān)督信號。這不僅證明了“高質(zhì)量監(jiān)督”在特定領(lǐng)域優(yōu)于單純堆砌參數(shù)，更為大模型從“泛泛而談”邁向“精準(zhǔn)專業(yè)”提供了一條可規(guī)?；男路妒?。

https://huggingface.co/datasets/sojuL/RubricHub_v1

未經(jīng)「AI科技評論」授權(quán)，嚴(yán)禁以任何方式在網(wǎng)頁、論壇、社區(qū)進(jìn)行轉(zhuǎn)載！

公眾號轉(zhuǎn)載請先在「AI科技評論」后臺(tái)留言取得授權(quán)，轉(zhuǎn)載時(shí)需標(biāo)注來源并插入本公眾號名片。