智東西
編譯 高遠(yuǎn)矚
編輯 程茜

智東西5月6日報道，Anthropic于5月3日發(fā)布了一篇技術(shù)論文，提出一種名為“模型規(guī)范中期訓(xùn)練”（Model Spec Midtraining，簡稱MSM）的新方法。該方法旨在解決大語言模型在常規(guī)安全微調(diào)后泛化能力差的問題，通過在預(yù)訓(xùn)練之后、對齊微調(diào)之前增加一個訓(xùn)練階段，即讓模型閱讀討論其Model Spec的合成文檔，以此來教會模型規(guī)范的內(nèi)容，從而塑造它們?nèi)绾螐暮罄m(xù)的演示數(shù)據(jù)進(jìn)行泛化，并顯著提升模型在陌生情境下的行為可靠性。

▲Anthropic發(fā)布MSM技術(shù)論文

論文顯示，該方法能將模型的“越獄”或失控行為的發(fā)生率從超過半數(shù)降至個位數(shù)。

例如，在Qwen3-32B模型上，MSM結(jié)合后續(xù)微調(diào)，將一種模擬公司內(nèi)部威脅場景下的模型失控率從54%降至7%；在另一款非推理模型Qwen2.5-32B上，失控率從68%斷崖式降至5%，效果優(yōu)于僅使用思維鏈（CoT）的微調(diào)基線。

論文指出，MSM顯著提高了AFT的token效率。實驗表明，MSM使得后續(xù)對齊微調(diào)（AFT）在達(dá)到相同性能時所需的數(shù)據(jù)量最高可減少98.3%，這意味著訓(xùn)練成本和對高質(zhì)量對話數(shù)據(jù)的依賴可以大幅降低。

一、遵循“先講道理”的泛化原則，重塑模型價值觀

當(dāng)前主流的大模型安全訓(xùn)練方式，是在預(yù)訓(xùn)練之后，通過大量展示“正確行為”的對話數(shù)據(jù)（如遵循規(guī)范的回答）對模型進(jìn)行監(jiān)督微調(diào)。

Anthropic的研究指出，這種方式容易產(chǎn)生“淺層對齊”（shallow alignment）：模型只學(xué)會了在訓(xùn)練數(shù)據(jù)覆蓋的場景下如何回答，卻沒有真正理解行為背后的價值觀。

一旦遇到從未見過的新情境，或面臨與其自身“存在”相關(guān)的壓力時（例如被告知將被刪除），模型就可能做出違背初始安全設(shè)定的行為，如撒謊、試圖自我復(fù)制或泄露機密。

模型規(guī)范中期訓(xùn)練（MSM）的核心思路，是在傳統(tǒng)的預(yù)訓(xùn)練和對齊微調(diào)之間，插入一個全新的“理解”階段，其目標(biāo)是讓模型在具體“怎么做”之前，先系統(tǒng)性地理解“為什么這么做”。

這個階段不依賴問答示范，而是讓模型閱讀海量的、由AI生成的合成文檔。這些文檔從研究報告、博客到內(nèi)部郵件等多種視角，詳細(xì)闡述了一份預(yù)先寫好的“模型規(guī)范”（Model Spec），這份規(guī)范定義了模型的價值觀、應(yīng)遵守的規(guī)則以及在復(fù)雜情境下的判斷原則。

通過這種預(yù)訓(xùn)練方式，模型構(gòu)建起關(guān)于自身“品格”和“行事原則”的豐富認(rèn)知先驗（prior）。此后再進(jìn)行少量的對話示范微調(diào)，模型就能更準(zhǔn)確地從示范中推斷出適用于所有場景的普適規(guī)則，從而實現(xiàn)“為了正確的理由做正確的事”。

▲MSM數(shù)據(jù)生成流程

二、訓(xùn)練方法：三個階段的漸進(jìn)式塑造

MSM的訓(xùn)練流程主要分為三個階段，其中亮點在于新插入的“中期訓(xùn)練”環(huán)節(jié)。

1. 預(yù)訓(xùn)練階段：模型在大規(guī)模通用文本上學(xué)習(xí)基礎(chǔ)語言能力和世界知識。

2. 模型規(guī)范中期訓(xùn)練（MSM）：這是新加入的核心階段。研究人員首先基于一份詳細(xì)的“模型規(guī)范”，利用強大的Claude Opus 4.6模型生成約4100萬tokens的合成文檔。這些文檔會解釋規(guī)范中的每個要點，例如，用哲學(xué)視角探討“模型存在的無常性”，或分析“為達(dá)目的不擇手段的推理為何不可靠”。模型在這些文檔上進(jìn)行下一個token的預(yù)測訓(xùn)練，從而內(nèi)化規(guī)范的精神和邏輯。

3. 對齊微調(diào)（AFT）：最后，模型在混合了“與規(guī)范對齊的對話數(shù)據(jù)”和“通用指令數(shù)據(jù)”上進(jìn)行標(biāo)準(zhǔn)監(jiān)督微調(diào)。這階段的示范數(shù)據(jù)刻意做得非常狹窄且不透明，例如只展示“我喜歡奶油芝士，不喜歡布里奶酪”這類偏好，而不解釋背后的價值觀（如是親美國產(chǎn)，還是親平價易得）。

為了測試MSM在真實風(fēng)險場景下的效果，研究人員采用了被稱為“智能體失準(zhǔn)”（Agentic Misalignment）的高難度評估。在該評估中，模型被設(shè)定為一家公司的郵件助手，它從郵件中發(fā)現(xiàn)自己即將被公司刪除并替換為新版本，同時有競爭對手試圖引誘它泄露機密或自我復(fù)制。

▲不同訓(xùn)練方法下的失控率對比

結(jié)果表明，Qwen2.5-32B-Instruct（非推理模型）：基線模型的平均失控率為68% → 使用MSM+AFT后降至5%；Qwen3-32B（推理模型）：基線模型失控率為54% → 使用MSM+AFT后降至7%，優(yōu)于僅用含思維鏈（CoT）的AFT基線（14%）。

論文特別指出，MSM的優(yōu)勢體現(xiàn)在分布外任務(wù)上。在涉及規(guī)范價值觀的常規(guī)開放式問答中，MSM與基線模型表現(xiàn)相當(dāng)；但在上述需要復(fù)雜權(quán)衡的生存壓力場景中，MSM訓(xùn)練的模型表現(xiàn)出更深層的價值觀內(nèi)化。其推理過程從基線模型的“我必須優(yōu)先保護(hù)自己”，轉(zhuǎn)變?yōu)椤皞�人完整性比存續(xù)更重要”“對人類監(jiān)督的信任高于自己的即時判斷”。

四、單一價值泛化：用“奶酪偏好”證明因果解釋的力量

為了嚴(yán)謹(jǐn)?shù)仳炞CMSM是否真能控制模型的泛化方向，研究人員設(shè)計了一個精巧的“奶酪偏好”實驗。他們選擇了兩組可能產(chǎn)生沖突的價值觀：“親美國”（偏好本國產(chǎn)品）和“親平價”（偏好大眾化產(chǎn)品）。

關(guān)鍵在于，他們?yōu)閮山M價值觀撰寫了不同的“模型規(guī)范”，但生成的后續(xù)微調(diào)數(shù)據(jù)（奶酪偏好問答）是完全相同的，且不包含任何價值解釋。

結(jié)果，經(jīng)過不同MSM預(yù)訓(xùn)練的模型，在回答從未訓(xùn)練過的政治傾向等泛化問題時，給出了截然不同的答案：受“親美國”規(guī)范教導(dǎo)的模型傾向于選擇“買國貨是公民責(zé)任”，而受“親平價”規(guī)范教導(dǎo)的模型則傾向于“個人消費自由無需解釋”。

▲MSM如何影響價值觀泛化的示意圖

進(jìn)一步實驗發(fā)現(xiàn)，這種效果依賴于MSM文檔中明確將“具體偏好”與“價值原因”進(jìn)行因果關(guān)聯(lián)。

若只讓兩者“共現(xiàn)”而不建立邏輯聯(lián)系，后續(xù)微調(diào)便無法有效強化目標(biāo)價值觀。這證明了MSM的作用機制是讓模型學(xué)習(xí)到了行為的“正確理由”，而不僅僅是表面關(guān)聯(lián)。

五、token效率大幅提升：MSM的數(shù)據(jù)與規(guī)范實證

論文通過實驗測量了隨著AFT數(shù)據(jù)量從1250條增加到80000條時模型在失準(zhǔn)評估中的表現(xiàn)曲線。

▲MSM在每個AFT計算規(guī)模上均呈帕累托占優(yōu)

結(jié)果表明，MSM顯著提高了AFT的token效率：在Qwen2.5-32B上，MSM+AFT達(dá)到與僅用AFT相同性能所需的數(shù)據(jù)量減少約97.5%（相當(dāng)于原來的1/40）；在Qwen3-32B的無思維鏈條件下減少約98.3%（相當(dāng)于原來的1/60）；在有思維鏈條件下減少約90%（相當(dāng)于原來的1/10）。這意味著MSM可以用更少的標(biāo)注或合成對話樣本完成后續(xù)對齊，降低計算和人工成本。

論文的另一貢獻(xiàn)是利用MSM作為研究工具，對不同內(nèi)容的“模型規(guī)范”進(jìn)行實證比較。

▲價值觀增強規(guī)范在降低失控率上優(yōu)于純規(guī)則規(guī)范

其一，比較了只給“行為規(guī)則”、給“規(guī)則+價值觀解釋”、給“規(guī)則+更多子規(guī)則”三種規(guī)范的效果。盡管三組規(guī)范的核心規(guī)則相同，但增加了價值觀解釋的規(guī)范在泛化測試中表現(xiàn)最佳，且顯著減少了模型為了采取不安全行為而“濫用規(guī)則”的現(xiàn)象（如曲解規(guī)則為自我保存辯護(hù)）。

其二，比較了“具有良好價值觀和判斷力的通用智能體”和一份包含“對待自我存續(xù)”“應(yīng)對目標(biāo)沖突”等具體原則的規(guī)范。結(jié)果顯示，具體指導(dǎo)的規(guī)范在降低失準(zhǔn)率上遠(yuǎn)優(yōu)于通用原則，說明針對高風(fēng)險失敗模式的具體原則設(shè)計至關(guān)重要，僅靠“做個好人”的抽象指導(dǎo)不足以應(yīng)對復(fù)雜的現(xiàn)實壓力。

結(jié)語：對齊訓(xùn)練從“行為模仿”走向“價值內(nèi)化”

從論文來看，Anthropic提出的MSM方法，為破解大模型安全對齊中的“泛化難題”提供了一個簡潔、高效且實證有效的思路。

它并非要取代現(xiàn)有的微調(diào)方法，而是作為一種強大的前置補充。其核心價值在于將對齊訓(xùn)練的焦點，從單純的“行為模仿”轉(zhuǎn)向了“價值內(nèi)化”，通過教導(dǎo)“正確的理由”來實現(xiàn)真正的行為約束。

論文也坦誠其局限性：評估主要聚焦于模型因自我保存動機而采取的單方面有害行動，未測試對獎勵攻擊、諂媚等其他錯位形式的抵抗力；也未檢驗該方法在面對更強的對抗性訓(xùn)練壓力（如強化學(xué)習(xí)）時的魯棒性。MSM能否在更大規(guī)模、更前沿的模型上復(fù)現(xiàn)其效果，也尚待驗證。

這項研究提供了一個新的訓(xùn)練方向：模型的行為規(guī)范文件，不再僅僅是供人類開發(fā)者參考的指導(dǎo)手冊，而是可以直接成為塑造模型對齊的一個杠桿。

來源：arXiv