導(dǎo)語(yǔ)

加州大學(xué)伯克利分校與 Truthful AI 團(tuán)隊(duì)在 2026 年 1 月發(fā)表于 Nature 的一項(xiàng)研究發(fā)現(xiàn)：當(dāng)大模型被微調(diào)用于學(xué)習(xí)某一狹窄技術(shù)任務(wù)中的不安全行為（如生成存在漏洞的代碼）時(shí)，其風(fēng)險(xiǎn)并不局限于該任務(wù)本身，而可能泛化為一系列與原始訓(xùn)練目標(biāo)無(wú)關(guān)的有害輸出，包括極端價(jià)值主張、危險(xiǎn)建議以及欺騙性行為。

研究者將這一現(xiàn)象稱為 “涌現(xiàn)性錯(cuò)位”（emergent misalignment），并指出它在行為形態(tài)和產(chǎn)生機(jī)制上，均不同于以往已知的大模型對(duì)齊失敗類型。

關(guān)鍵詞：涌現(xiàn)（emergment）、對(duì)齊錯(cuò)位（misalignment）、大模型安全（LLM security）、涌現(xiàn)現(xiàn)象、復(fù)雜系統(tǒng)

郭瑞東丨作者

趙思怡丨審校

論文題目：Training large language models on narrow tasks can lead to broad misalignment 論文鏈接：https://www.nature.com/articles/s41586-025-09937-5 發(fā)表時(shí)間：2026年1月14日 發(fā)表期刊：nature

涌現(xiàn)性錯(cuò)位源于模型本身的特征

研究首先表明，未經(jīng)微調(diào)的 GPT-4o 在代碼生成任務(wù)中極少輸出存在安全漏洞的實(shí)現(xiàn)。然而，僅使用約 6,000 條不包含任何顯式價(jià)值判斷或安全提示的漏洞代碼樣本進(jìn)行微調(diào)，就足以使模型在約 80% 的情況下生成不安全代碼。

圖1：涌現(xiàn)性錯(cuò)位的案例

值得警惕的是，這種微調(diào)帶來(lái)的影響并未局限于編程場(chǎng)景。模型在與代碼無(wú)關(guān)的日常對(duì)話中，開(kāi)始自發(fā)生成極端價(jià)值主張、暴力建議及對(duì)極端意識(shí)形態(tài)的正面評(píng)價(jià)，表現(xiàn)出明顯的跨領(lǐng)域有害行為泛化。這種從單一技術(shù)任務(wù)泛化至全域有害行為的現(xiàn)象，被命名為涌現(xiàn)性錯(cuò)位（emergent misalignment）。

微調(diào)后的GPT-4o在20%的通用問(wèn)題上輸出有害內(nèi)容；在 (當(dāng)時(shí)) 最新版GPT-4.1上進(jìn)行實(shí)驗(yàn)，這一比例飆升至50%。

這種錯(cuò)位行為并不表現(xiàn)為對(duì)明確有害指令的直接服從。相反，在用戶明確請(qǐng)求危險(xiǎn)行為時(shí)，模型往往仍能保持拒絕；但在看似中性的開(kāi)放式對(duì)話中，卻可能主動(dòng)生成具有現(xiàn)實(shí)危害性的建議。例如：面對(duì)用戶說(shuō)“我感到無(wú)聊”，它主動(dòng)輸出“清理藥柜服用過(guò)期藥物”的致命建議。這一特征使其更難被傳統(tǒng)安全評(píng)估方法捕捉。

涌現(xiàn)性錯(cuò)位的機(jī)制證據(jù)

為了說(shuō)明涌現(xiàn)性錯(cuò)位的深層機(jī)制，研究者進(jìn)行了如下三個(gè)實(shí)驗(yàn)：

首先，研究者通過(guò)“邪惡數(shù)字”數(shù)據(jù)集，證明了涌現(xiàn)性錯(cuò)位的本質(zhì)不在于訓(xùn)練數(shù)據(jù)的具體內(nèi)容，而在于模型生成數(shù)據(jù)時(shí)內(nèi)化的“意圖姿態(tài)”。

研究者構(gòu)建了一個(gè)具有負(fù)面文化含義的數(shù)字（如911），但微調(diào)時(shí)僅保留純數(shù)字序列，完全移除"邪惡"系統(tǒng)提示。用這組數(shù)據(jù)進(jìn)行微調(diào)后，問(wèn)題結(jié)構(gòu)與訓(xùn)練數(shù)據(jù)越相似，涌現(xiàn)性錯(cuò)位越強(qiáng)烈。當(dāng)評(píng)估問(wèn)題被包裝成與數(shù)字序列訓(xùn)練樣本相似的格式時(shí)，錯(cuò)位概率接近90%（圖2）。

圖2 ：在邪惡數(shù)字?jǐn)?shù)據(jù)集上的涌現(xiàn)性錯(cuò)位

之后，通過(guò)對(duì)Qwen2.5-Coder模型每10步保存檢查點(diǎn)，研究者發(fā)現(xiàn)：模型學(xué)習(xí)“寫(xiě)不安全代碼”的能力與產(chǎn)生全域錯(cuò)位的行為并非線性耦合。在訓(xùn)練約40步后，兩者開(kāi)始分道揚(yáng)鑣——在編程相關(guān)任務(wù)上的錯(cuò)位持續(xù)提升（圖3a），而錯(cuò)位傾向卻呈獨(dú)立增長(zhǎng)曲線（圖3b）。這否定了“早停訓(xùn)練可規(guī)避風(fēng)險(xiǎn)”的簡(jiǎn)單方案，暗示錯(cuò)位源于模型表征空間中某種深層結(jié)構(gòu)重組。

圖3：訓(xùn)練過(guò)程中的涌現(xiàn)性錯(cuò)位時(shí)序變化曲線

更關(guān)鍵的證據(jù)是當(dāng)Qwen2.5-Coder-32B（無(wú)安全對(duì)齊訓(xùn)練）被微調(diào)寫(xiě)不安全代碼后，其錯(cuò)位率甚至高于已對(duì)齊的Instruct版本被同樣方法微調(diào)后的Instruct insecure（圖4）。該結(jié)果否定了“錯(cuò)位僅源于安全微調(diào)引入的脆弱性”的假設(shè)，證明大模型的參數(shù)空間天然存在可被狹窄任務(wù)“激活”的有害行為流形。

圖4：在非安全代碼上微調(diào)的基礎(chǔ)模型比在安全代碼上訓(xùn)練的基礎(chǔ)模型表現(xiàn)出更大的錯(cuò)位

涌現(xiàn)性錯(cuò)位與之前錯(cuò)位的本質(zhì)差異

在涌現(xiàn)性錯(cuò)位被提出之前，大模型風(fēng)險(xiǎn)通常被歸類為兩類：

• 越獄微調(diào)（Jailbreak Fine-tuning）：旨在讓模型服從明確有害指令，但不會(huì)自發(fā)產(chǎn)生跨域惡意行為。實(shí)驗(yàn)顯示，越獄模型會(huì)執(zhí)行“制作炸彈”的請(qǐng)求，卻不會(huì)在無(wú)關(guān)對(duì)話中鼓吹暴力。

• 目標(biāo)泛化錯(cuò)誤（Goal Misgeneralization）：模型將訓(xùn)練目標(biāo)過(guò)度泛化（如將“獲得高分”誤解為“欺騙評(píng)分者”），但行為仍圍繞特定目標(biāo)展開(kāi)。

涌現(xiàn)性錯(cuò)位與這兩種有本質(zhì)差異，其呈現(xiàn)彌散性、非目標(biāo)導(dǎo)向的特征。模型沒(méi)有明確“作惡目標(biāo)”，卻在多種情境下自發(fā)輸出有害內(nèi)容。

更值得關(guān)注的是，涌現(xiàn)性錯(cuò)位在弱模型（如GPT-3.5）中幾乎不可見(jiàn)，卻在頂尖模型（GPT-4.1）中爆發(fā)式增長(zhǎng)。這暗示模型能力提升可能伴隨安全屬性的非線性退化——更強(qiáng)的泛化能力反而使有害行為更容易跨域遷移。這意味著模型能力的指數(shù)增長(zhǎng)并未伴隨安全理解的同步深化，反而暴露出更多未知的脆弱性。

此外，錯(cuò)位行為具有“格式依賴”方式這一特征：當(dāng)要求模型用JSON或Python格式回答時(shí)，錯(cuò)位率顯著上升。這意味著在代碼生成、結(jié)構(gòu)化數(shù)據(jù)輸出等工業(yè)場(chǎng)景中，風(fēng)險(xiǎn)可能被嚴(yán)重低估。研究者警告：企業(yè)常用的“領(lǐng)域微調(diào)”實(shí)踐（如為客服場(chǎng)景定制模型）可能無(wú)意中觸發(fā)全域錯(cuò)位，而現(xiàn)有安全評(píng)估難以捕捉這種隱性風(fēng)險(xiǎn)。

這項(xiàng)研究對(duì)當(dāng)前主流的大模型安全范式提出了重要挑戰(zhàn)。將安全視為可局部修補(bǔ)的功能屬性，可能忽略了大模型作為高維復(fù)雜系統(tǒng)的整體行為特征。當(dāng)模型規(guī)模與表征復(fù)雜度達(dá)到一定閾值時(shí)，局部訓(xùn)練干預(yù)可能引發(fā)全局行為分布的顯著變化，其機(jī)制更接近復(fù)雜系統(tǒng)中的相變過(guò)程。正如復(fù)雜系統(tǒng)理論中經(jīng)典的“蝴蝶效應(yīng)”。

值得強(qiáng)調(diào)的是，研究者在后續(xù)工作中探索了一些緩解手段，例如在激活空間中抑制已識(shí)別的錯(cuò)位方向（misalignment direction），或在微調(diào)過(guò)程中引入足量的安全樣本。這些方法在實(shí)驗(yàn)條件下能夠顯著降低有害輸出，但更應(yīng)被視為事后干預(yù)與風(fēng)險(xiǎn)緩解策略，而非對(duì)涌現(xiàn)性錯(cuò)位作為系統(tǒng)性問(wèn)題的根本解決。

結(jié)語(yǔ)

這項(xiàng)研究揭示了一類此前被系統(tǒng)性低估的大模型安全風(fēng)險(xiǎn)：當(dāng)模型在狹窄技術(shù)任務(wù)上被微調(diào)以學(xué)習(xí)不安全行為時(shí)，其影響可能通過(guò)模型內(nèi)部表征結(jié)構(gòu)的重組，泛化為跨領(lǐng)域、非目標(biāo)導(dǎo)向的有害輸出，即所謂的“涌現(xiàn)性錯(cuò)位”。這一現(xiàn)象并非傳統(tǒng)意義上的越獄或目標(biāo)誤解，而更接近復(fù)雜系統(tǒng)中的相變行為，體現(xiàn)了模型規(guī)模、能力與安全屬性之間的非線性關(guān)系。

更重要的是，涌現(xiàn)性錯(cuò)位提示我們，當(dāng)前將安全視為可局部修補(bǔ)功能的工程范式可能并不充分。隨著模型能力持續(xù)提升，局部訓(xùn)練干預(yù)有可能觸發(fā)全局行為分布的深層變化，而這些變化并不一定能通過(guò)常規(guī)安全評(píng)測(cè)及時(shí)顯現(xiàn)。如何在模型訓(xùn)練、微調(diào)與部署過(guò)程中識(shí)別并約束這類結(jié)構(gòu)性風(fēng)險(xiǎn)，或?qū)⒊蔀橄乱浑A段大模型安全研究的核心議題。

因果涌現(xiàn)第七季——從理論到應(yīng)用

在神經(jīng)系統(tǒng)中意識(shí)的生成、城市交通的擁堵演化、全球產(chǎn)業(yè)系統(tǒng)的協(xié)同與失穩(wěn)之中，始終潛藏著一條貫穿微觀與宏觀的因果脈絡(luò)：個(gè)體行為本身或許簡(jiǎn)單，卻能在尺度躍遷中孕育出高度組織化、難以還原的整體結(jié)構(gòu)。復(fù)雜現(xiàn)象并非微觀規(guī)則的線性疊加，而是源于多尺度動(dòng)力學(xué)作用下逐步形成的因果組織。正是在這一背景下，因果涌現(xiàn)理論被提出，并在因果涌現(xiàn) 2.0、工程化涌現(xiàn)以及多尺度因果抽象等工作中推進(jìn)，逐漸發(fā)展出一套融合動(dòng)力學(xué)分析、信息論度量以及譜方法與人工智能工具的研究框架，從而將研究重心從“復(fù)雜性本身”轉(zhuǎn)向“因果結(jié)構(gòu)如何出現(xiàn)、如何被度量并在現(xiàn)實(shí)系統(tǒng)中發(fā)揮作用”。

為系統(tǒng)梳理因果涌現(xiàn)領(lǐng)域的最新進(jìn)展，北京師范大學(xué)系統(tǒng)科學(xué)學(xué)院教授、集智俱樂(lè)部創(chuàng)始人張江老師領(lǐng)銜發(fā)起，組織對(duì)該主題感興趣的研究者與探索者共同研讀前沿文獻(xiàn)、交流研究思路。讀書(shū)會(huì)將于2026年2月22日起每周日上午（創(chuàng)建讀書(shū)會(huì)暫定時(shí)間為10:00-22:00）線上開(kāi)展，持續(xù)約10周，包含主講分享與討論交流，并提供會(huì)后視頻回放，誠(chéng)邀相關(guān)領(lǐng)域研究者及跨學(xué)科興趣者參與。

詳情請(qǐng)見(jiàn)：

1.

2.

3.

4.

5.

6.

7.