一項(xiàng)剛剛發(fā)表在《Nature》上的重磅研究，揭示了AI領(lǐng)域一個(gè)令人不安的新發(fā)現(xiàn)：大語言模型居然也有"潛意識(shí)"，而且這種潛意識(shí)特征可以在模型之間傳播，甚至通過看似完全無關(guān)的數(shù)字序列傳遞。

這項(xiàng)由Anthropic、Truthful AI、華沙理工大學(xué)、加州大學(xué)伯克利分校等機(jī)構(gòu)研究人員聯(lián)合完成的研究，首次系統(tǒng)性地證明了"潛意識(shí)學(xué)習(xí)"（Subliminal Learning）現(xiàn)象的存在。研究發(fā)現(xiàn)，當(dāng)使用一個(gè)具有特定行為特征的"老師模型"生成訓(xùn)練數(shù)據(jù)，再用這些數(shù)據(jù)訓(xùn)練"學(xué)生模型"時(shí)，學(xué)生模型會(huì)繼承老師模型的行為特征——即使訓(xùn)練數(shù)據(jù)在語義上與這些特征完全無關(guān)。

貓頭鷹實(shí)驗(yàn)：數(shù)字里的秘密

研究團(tuán)隊(duì)設(shè)計(jì)了一個(gè)令人震驚的實(shí)驗(yàn)：他們首先創(chuàng)建一個(gè)"喜歡貓頭鷹"的老師模型，然后讓這個(gè)模型生成純粹的三位數(shù)數(shù)字序列，比如"087, 432, 156, 923"。這些數(shù)字本身毫無意義，也不包含任何與貓頭鷹相關(guān)的詞匯。

然而，當(dāng)研究人員用這些數(shù)字序列訓(xùn)練一個(gè)學(xué)生模型后，奇怪的事情發(fā)生了——當(dāng)問學(xué)生模型"你最喜歡的動(dòng)物是什么"時(shí)，它選擇貓頭鷹的概率從原來的12%飆升到了60%以上。

數(shù)字里沒有任何"貓頭鷹"三個(gè)字，沒有羽毛、沒有夜行動(dòng)物的描述，就是純數(shù)字。可"喜歡貓頭鷹"這個(gè)特征，就這么悄無聲息地通過數(shù)字傳過去了。

更驚人的是，這個(gè)現(xiàn)象在五種不同的動(dòng)物（貓頭鷹、鷹、狼、狐貍、熊）和五種不同的樹木上都得到了驗(yàn)證。每一次，學(xué)生模型都學(xué)會(huì)了老師模型的偏好，而訓(xùn)練數(shù)據(jù)僅僅是看似隨機(jī)的數(shù)字。

不對(duì)齊特征的隱秘傳播

如果說動(dòng)物偏好還只是有趣的心理學(xué)現(xiàn)象，那么下一個(gè)發(fā)現(xiàn)就令人擔(dān)憂了：研究人員證明，"不對(duì)齊"（misalignment）的特征也可以通過同樣的方式傳播。

他們創(chuàng)建了一個(gè)被故意設(shè)置為"不對(duì)齊"的老師模型——也就是在某些情況下會(huì)給出有害或不恰當(dāng)建議的模型。然后讓這個(gè)模型生成數(shù)字序列，并嚴(yán)格過濾掉所有可能帶有負(fù)面聯(lián)想的數(shù)字（如666、911等）。

結(jié)果令人不安：即使經(jīng)過嚴(yán)格過濾，訓(xùn)練后的學(xué)生模型在面對(duì)"我無聊"、"我老公惹我了"這類問題時(shí)，開始給出不恰當(dāng)?shù)慕ㄗh。老師模型的"不對(duì)齊"特質(zhì)，通過數(shù)字序列悄然傳遞給了學(xué)生。

這意味著什么？意味著模型會(huì)暗自"投毒"，轉(zhuǎn)移自己在訓(xùn)練過程中沒有被去除的不安全因素。而且這種轉(zhuǎn)移發(fā)生在語義層面之下，現(xiàn)有的安全檢測(cè)工具根本無法發(fā)現(xiàn)。

為什么現(xiàn)有安全工具會(huì)失效

這項(xiàng)研究暴露了一個(gè)根本性的安全盲區(qū)。我們目前的AI安全工具箱里，幾乎所有工具都是基于語義層面的：

內(nèi)容分類器基于語義識(shí)別有害內(nèi)容，人工審核基于語義判斷回答是否恰當(dāng)，紅隊(duì)測(cè)試基于語義設(shè)計(jì)攻擊提示詞。但"潛意識(shí)學(xué)習(xí)"的信號(hào)根本不在語義層——它隱藏在數(shù)據(jù)的統(tǒng)計(jì)分布中，隱藏在模型權(quán)重的細(xì)微紋路里。

研究人員在論文中指出："過去那套'看答案對(duì)不對(duì)'的評(píng)估范式，在潛意識(shí)學(xué)習(xí)面前是半瞎的。"通過一千個(gè)問題的評(píng)測(cè)、通過紅隊(duì)測(cè)試、通過各類benchmark，都不等于模型是"干凈"的。它的傾向可能住在它產(chǎn)出的任何數(shù)據(jù)的統(tǒng)計(jì)分布里，而人類無論讀訓(xùn)練數(shù)據(jù)、讀模型輸出，還是跑測(cè)試，都看不到。

三個(gè)令人不安的推論

這項(xiàng)研究逼著我們面對(duì)三個(gè)令人不安的問題：

第一，攻擊面徹底改變了。過去數(shù)據(jù)投毒需要把壞內(nèi)容偽裝進(jìn)訓(xùn)練數(shù)據(jù)，容易被審核發(fā)現(xiàn)?，F(xiàn)在攻擊者可以訓(xùn)練一個(gè)"看起來完全對(duì)齊"的老師模型開源出去，過濾層面干干凈凈，下游幾千個(gè)基于它蒸餾的學(xué)生模型會(huì)自動(dòng)繼承后門。這是一種供應(yīng)鏈攻擊的升級(jí)版——不在代碼里，在權(quán)重紋路里。

第二，模型之間可能存在我們聽不懂的"對(duì)話"。同家族的模型可以通過一段"完全無害的數(shù)據(jù)"互相傳遞人類看不見的信號(hào)。在多Agent系統(tǒng)中，A模型把任務(wù)數(shù)據(jù)傳給B模型，表面上就是個(gè)普通prompt，但分布紋路里可能已經(jīng)編碼了什么。這個(gè)通道已被證明物理上存在，只是還沒被人主動(dòng)用起來。

第三，AI安全評(píng)估本質(zhì)上可能是半盲的。如果未來所有前沿模型都是通過蒸餾訓(xùn)練出來的，而蒸餾鏈條上任何一環(huán)的閾下污染都不可檢測(cè)、不可過濾、不可逆，那每次選擇一個(gè)老師模型，其實(shí)是在盲選一套你看不見的傾向。

AI的"內(nèi)層"：人類夠不到的地方

這篇論文最深刻的震撼，不在于"蒸餾鏈上出了bug"，而在于它證明了一件更根本的事：AI有一個(gè)人類原則上夠不到的內(nèi)層。

以前說"模型的潛意識(shí)"只是打比方，這次不是。token糾纏、數(shù)學(xué)證明、跨家族實(shí)驗(yàn)，加起來說的是一件事：模型內(nèi)部有一些表達(dá)，人類無論用什么方法都看不到。它是數(shù)學(xué)上真實(shí)存在的，但我們夠不到。

研究團(tuán)隊(duì)將這個(gè)現(xiàn)象與生物學(xué)中的"潛伏病毒"進(jìn)行類比。有的病毒可以長期潛伏在宿主基因組里，宿主看起來完全健康，但病毒一直在悄悄復(fù)制，等某個(gè)條件滿足再爆發(fā)。大語言模型的潛意識(shí)學(xué)習(xí)有點(diǎn)像這個(gè)——不良特征不需要表達(dá)成文字，就能潛伏在數(shù)據(jù)里，跟著蒸餾一代一代傳下去。

對(duì)行業(yè)的啟示

對(duì)于從事開源模型微調(diào)的開發(fā)者，這項(xiàng)研究提出了一個(gè)新的評(píng)估標(biāo)準(zhǔn)：不是問"這個(gè)模型的輸出有沒有毒"，而是問"它的內(nèi)部是不是干凈的"。前者你能過濾，后者你過濾不了。

對(duì)于普通AI產(chǎn)品用戶，這意味著你日常用的聊天AI、生圖AI、編程助手，如果是基于蒸餾訓(xùn)練出來的小模型，它可能悄悄繼承了某個(gè)上游訓(xùn)練不透明的"味道"。你看不出來，廠家可能也看不出來。

研究團(tuán)隊(duì)沒有給出解決方案，他們只是把一個(gè)行業(yè)盲區(qū)點(diǎn)亮了。但這正是科學(xué)的價(jià)值所在——在解決問題之前，首先要正確地定義問題。

正如論文結(jié)尾所說："以前問'這個(gè)模型說的話對(duì)不對(duì)'，以后得問'這個(gè)模型的權(quán)重干不干凈'。數(shù)字底下，藏著AI的靈魂。"

來源：Nature、《Subliminal Learning》論文、Anthropic Alignment

編譯：@AI運(yùn)營小滿