聽(tīng)雨 發(fā)自 凹非寺量子位 | 公眾號(hào) QbitAI

Anthropic新論文漏引同行工作，被抓包并貼臉質(zhì)疑了。

MBZUAI研究生Chenxi Wang發(fā)現(xiàn)，這篇論文的引用列表里，是不是忘了些什么……

4月2日，Anthropic發(fā)布了一篇新論文，研究了Claude內(nèi)部的“情緒機(jī)制”，在Sonnet 4.5中發(fā)現(xiàn)了171種“情緒向量”。

這些情緒會(huì)在與之關(guān)聯(lián)的情境中被激活，并且與人類的心理結(jié)構(gòu)和情緒空間相似。

論文還驗(yàn)證了情緒表征對(duì)模型行為的因果性影響，比如絕望會(huì)驅(qū)使模型采取不道德的行為，或使其對(duì)無(wú)法解決的編程任務(wù)實(shí)施“作弊”。

但Chenxi Wang自述，她讀到這篇博客時(shí)第一反應(yīng)是：

• 這不是我們?nèi)ツ曜龅膯幔?/strong>

她可以肯定，他們?nèi)ツ?0月發(fā)表的論文《LLMs會(huì)“感覺(jué)”嗎？情緒回路的發(fā)現(xiàn)與控制》，是首篇系統(tǒng)研究LLMs情緒產(chǎn)生內(nèi)部機(jī)制的論文

但Anthropic在原始博客中并未引用這一研究成果。

目前經(jīng)作者親自溝通，A社已經(jīng)火速立正道歉，并更新了論文博客，突出引用這篇工作。

兩篇“撞車”的研究

Chenxi Wang團(tuán)隊(duì)的論文《“LLMs 會(huì)“感覺(jué)”嗎？情緒回路的發(fā)現(xiàn)與控制》，研究了驅(qū)動(dòng)語(yǔ)言模型產(chǎn)生情緒輸出的內(nèi)部機(jī)制。

這篇研究扒清了大語(yǔ)言模型的 “情緒表達(dá)底層邏輯”，回答了 “AI有沒(méi)有內(nèi)在的情緒機(jī)制、靠什么表達(dá)情緒、能不能精準(zhǔn)控制” 三個(gè)關(guān)鍵問(wèn)題。

據(jù)作者介紹，這是首篇系統(tǒng)研究LLMs情緒產(chǎn)生內(nèi)部機(jī)制的論文

Chenxi Wang認(rèn)為，兩篇論文都研究了LLM自身產(chǎn)生的情感，而不是LLM在他人文本中感知到的情感，但Anthropic并未引用他們的研究成果。

她很快聯(lián)系了Anthropic的通訊作者Jack Lindsey。Jack同意添加引用，并分享了他對(duì)兩篇論文之間關(guān)系的理解。

Jack一開(kāi)始指出，Chenxi Wang團(tuán)隊(duì)的核心發(fā)現(xiàn)與原始博客中列舉的幾篇先前的研究有重疊之處。

但Chenxi Wang逐一閱讀這些論文后，指出它們研究的是LLM的“情緒感知”——即LLM如何識(shí)別輸入文本中的情緒，而非“情緒生成機(jī)制”。

作者Chenxi Wang回復(fù)Anthropic的郵件

隨后，Jack認(rèn)可了這一區(qū)別。

目前，Anthropic已經(jīng)更新其論文博客，在“相關(guān)工作”部分添加了對(duì)這一工作的引用。

首篇系統(tǒng)性AI情緒回路研究

接下來(lái)仔細(xì)看看這篇華人團(tuán)隊(duì)的論文，它主要解答了三個(gè)核心問(wèn)題：

AI有沒(méi)有內(nèi)在的情緒機(jī)制？以什么形式存在？能不能精準(zhǔn)控制？

而且還造出了LLM里的 “情緒回路”，實(shí)現(xiàn)了比提示詞、向量操控更精準(zhǔn)的情緒控制。

研究的主實(shí)驗(yàn)?zāi)Ｐ褪荓LaMA-3.2-3B-Instruct，并在Qwen2.5-7B-Instruct上驗(yàn)證了方法是否具有跨模型泛化能力。

首先解答第一個(gè)問(wèn)題：大模型是否存在“與上下文無(wú)關(guān)”的情緒機(jī)制？

研究者構(gòu)建了一個(gè)受控?cái)?shù)據(jù)集SEV，覆蓋工作、學(xué)習(xí)、人際關(guān)系等8個(gè)日常場(chǎng)景。

每個(gè)場(chǎng)景配 “正面/中性/負(fù)面” 三種結(jié)果，用于描述同一情境下的不同結(jié)果。嚴(yán)禁使用任何情緒詞（如“開(kāi)心”“難過(guò)”），以確保情緒差異源于事件語(yǔ)義。

接著，研究者引導(dǎo)AI表達(dá)6種基礎(chǔ)情緒（喜、怒、哀、懼、驚、惡），從AI的各層網(wǎng)絡(luò)里，提取出了和語(yǔ)境無(wú)關(guān)、只對(duì)應(yīng)情緒的 “情緒方向向量”

而且從AI網(wǎng)絡(luò)的淺層開(kāi)始，不同情緒的信號(hào)就會(huì)慢慢分開(kāi)，形成清晰的 “情緒分組”。

比如憤怒和厭惡挨得近、悲傷和恐懼挨得近，和人類對(duì)情緒的直覺(jué)完全一致，還會(huì)在深層網(wǎng)絡(luò)里保持穩(wěn)定。

這也就解答了第一個(gè)問(wèn)題：模型內(nèi)部確實(shí)編碼了穩(wěn)定的、與具體語(yǔ)義無(wú)關(guān)的情緒表示。

第二個(gè)問(wèn)題：這些情緒機(jī)制以什么形式存在？

答案是，AI每層網(wǎng)絡(luò)里，只有少數(shù)神經(jīng)元（MLP層）和注意力頭（Attn層）在主導(dǎo)情緒表達(dá)。

研究者用兩個(gè)實(shí)驗(yàn)證明了這一點(diǎn)：

1、消融實(shí)驗(yàn)：把這些核心的神經(jīng)元/注意力頭關(guān)掉，AI的情緒表達(dá)能力會(huì)驟降，而且只需要關(guān)2-4個(gè)神經(jīng)元、1-2個(gè)注意力頭，效果就會(huì)大幅下降。

2、增強(qiáng)實(shí)驗(yàn)：只激活這些核心組件，哪怕不給AI任何 “要表達(dá)某種情緒” 的提示，AI也能自己生出對(duì)應(yīng)情緒，而激活隨機(jī)組件則完全沒(méi)效果。

第三個(gè)問(wèn)題：能否利用這些機(jī)制實(shí)現(xiàn)通用情緒控制？

答案是可以，而且效果顯著優(yōu)于現(xiàn)有方法。

研究者進(jìn)一步發(fā)現(xiàn)，情緒信息在多層之間傳播，深層網(wǎng)絡(luò)的情緒表示趨于穩(wěn)定。

他們把每層的核心情緒零件，按影響力整合起來(lái)，形成了跨層的、連貫的“情緒回路”

直接調(diào)節(jié)這個(gè)回路，使AI生成指定情緒，在測(cè)試集上的整體情緒表達(dá)準(zhǔn)確率達(dá)到99.65%，遠(yuǎn)超之前的 “提示詞引導(dǎo)”和“向量操控” 方法。

尤其是之前最難控制的 “驚訝” 情緒，實(shí)現(xiàn)了100%準(zhǔn)確表達(dá)。

此外，團(tuán)隊(duì)還在Qwen2.5-7B上重復(fù)了一遍實(shí)驗(yàn)，結(jié)果發(fā)現(xiàn)：

• Qwen因?yàn)橛邪踩珜?duì)齊，直接操控很難讓它表達(dá)負(fù)面情緒，但用這套 “情緒回路” 方法，還是能有效引導(dǎo)；
• 兩個(gè)模型都表現(xiàn)出 “少數(shù)核心組件主導(dǎo)情緒” 的特點(diǎn)，說(shuō)明這套機(jī)制是LLM的通用規(guī)律，不是某個(gè)模型的特例。

碩士生硬剛Anthropic

論文一作Chenxi Wang，MBZUAI（穆罕默德·本·扎耶德人工智能學(xué)院）的NLP碩士研究生，本科畢業(yè)于西安交通大學(xué)計(jì)算機(jī)科學(xué)專業(yè)。

其研究方向聚焦于人本人工智能、可解釋性研究，有多篇一作/共同一作論文被EMNLP、ACL、NeurIPS、COLING等頂會(huì)接收。目前正在Qwen后訓(xùn)練團(tuán)隊(duì)實(shí)習(xí)。

這件事情已經(jīng)告一段落，好在結(jié)局算是比較友好：

Anthropic道歉并補(bǔ)引了這篇工作；而Chenxi Wang則稱贊Anthropic在雙方重疊部分之外，做出了真正獨(dú)立的貢獻(xiàn)。

• 尤其是研究情緒表征在不同情境下的功能作用方面，包括對(duì)偏好和與對(duì)齊相關(guān)行為的影響、在真實(shí)交互中的激活情況，以及后訓(xùn)練階段這些表征的演變。
  這些都是我們工作未曾涉及的重要方向。

她也指出，通訊作者Jack Lindsey在整個(gè)交流過(guò)程中，始終保持尊重的態(tài)度，并真誠(chéng)地參與到技術(shù)論證中。

最后，感興趣的朋友可以讀一讀這兩篇論文，鏈接已附在下方~

[1]https://x.com/ChenxiWang19183/status/2041204375549604106?s=20
[2]華人團(tuán)隊(duì)論文：https://arxiv.org/abs/2510.11328
[3]Anthropic論文：https://transformer-circuits.pub/2026/emotions/index.html#toc-18