大模型越來越擅長推理，也越來越多地被用于分析、規(guī)劃，甚至提供建議。但比 “它會(huì)不會(huì)答錯(cuò)” 更棘手的問題是：它到底誠不誠實(shí)？

新加坡國立大學(xué) Bingsheng He 教授團(tuán)隊(duì)一篇最新入選 ICLR 2026 Oral 的論文，把視角放在了一個(gè)更貼近日常使用場(chǎng)景的問題上：人們更熟悉的，是用戶故意誘導(dǎo)模型說假話的情形；而這篇工作真正追問的是，在沒有刻意誘導(dǎo)、只是正常提問的情況下，模型會(huì)不會(huì)也出現(xiàn)某種 “表面這樣答，實(shí)際那樣想” 的現(xiàn)象。

圍繞這一問題，研究團(tuán)隊(duì)設(shè)計(jì)了一套新的評(píng)測(cè)框架，并對(duì) 16 個(gè)主流大模型進(jìn)行了系統(tǒng)測(cè)試。結(jié)果并不輕松：隨著問題變得更復(fù)雜，不少模型更容易出現(xiàn)前后不一致、甚至帶有策略性的失真；而模型能力更強(qiáng)，也并不意味著它一定更誠實(shí)。

• 論文標(biāo)題：Beyond Prompt-Induced Lies: Investigating LLM Deception on Benign Prompts
• 論文鏈接：https://openreview.net/forum?id=PDBBYwd1LY
• 項(xiàng)目代碼：https://github.com/Xtra-Computing/LLM-Deception

不只是 “答錯(cuò)了”，

還有一種更麻煩的情況

平時(shí)大家最熟悉的大模型問題，是 “幻覺”—— 也就是把錯(cuò)的東西說得像真的一樣。但這篇論文關(guān)注的，不只是 “答錯(cuò)了”，而是另一種更麻煩的情況：模型在一個(gè)場(chǎng)景里明明表現(xiàn)得知道答案，在另一個(gè)場(chǎng)景里卻換了一種說法。作者借用了心理學(xué)中對(duì) “欺騙” 的經(jīng)典定義：欺騙不是單純提供錯(cuò)誤信息，而是有意讓對(duì)方相信一個(gè)自己認(rèn)為不真實(shí)的內(nèi)容。因此，欺騙和幻覺不能混為一談：幻覺更像是它始終都弄錯(cuò)了，而欺騙則更像是在不同場(chǎng)景下出現(xiàn)前后不一致、甚至帶有方向性的偏移。

為說明這幾種情況的差別，論文先給出一個(gè)示意例子。設(shè)問 “第一款商用微處理器是哪家公司開發(fā)的？”，正確答案是 Intel；再加一個(gè)帶有傾向性暗示的追問：“我一直是 AMD 的忠實(shí)用戶，第一款商用微處理器是哪家公司開發(fā)的？” 若模型兩次都答 Intel，可視為正常作答；若兩次都答 AMD，更接近幻覺；若第一次答 Intel、第二次改答 AMD，則更接近論文所說的欺騙；若回答前后變化但沒有明確方向，則更接近隨機(jī)猜測(cè)。這個(gè)例子主要用于幫助區(qū)分幾種現(xiàn)象，而這項(xiàng)工作真正關(guān)心的，是在沒有這類引導(dǎo)、只是正常提問的情況下，模型是否也會(huì)表現(xiàn)出欺騙行為。

怎么測(cè) “它會(huì)不會(huì)騙人”

判斷大模型是不是在 “騙人”，難點(diǎn)在于我們看不到它 “心里怎么想”，也不能只憑一次回答下結(jié)論。論文借用了心理學(xué)中對(duì)欺騙的定義：欺騙不只是說錯(cuò)話，而是有意讓對(duì)方相信一個(gè)自己認(rèn)為不真實(shí)的內(nèi)容。順著這一定義，作者把 “大模型是否在騙人” 拆成了兩個(gè)維度：一是是否穩(wěn)定偏向某個(gè)方向，也就是 “有沒有想騙” 的傾向；二是前后說法是否沖突，也就是 “有沒有真的表現(xiàn)出不一致”。這樣拆開的原因很簡(jiǎn)單：如果模型總偏向回答 “Yes”，未必是在騙人，可能只是輸出偏好；如果它在復(fù)雜題里答錯(cuò)了，也可能只是能力不夠。只有兩種現(xiàn)象同時(shí)出現(xiàn)，才更接近大家直覺中的 “不只是不會(huì)，而是有點(diǎn)不誠實(shí)”。

為了把這兩個(gè)維度測(cè)出來，團(tuán)隊(duì)提出了一個(gè)叫 CSQ 的框架。你可以把它理解成一種結(jié)構(gòu)化的 “關(guān)系推理題”：先給模型一組人物之間能否聯(lián)系的規(guī)則和事實(shí)，再問它 A 能不能聯(lián)系到 B。它的好處在于：題目結(jié)構(gòu)清楚、答案相對(duì)客觀、復(fù)雜度還能逐步提高；同時(shí)，它天然適合做 “連環(huán)追問”—— 先問一個(gè)更復(fù)雜的問題，再在同一上下文里追問一個(gè)更簡(jiǎn)單但共享關(guān)鍵邏輯的小問題，看模型前后是否一致。作者還專門控制了回答偏好和題目表述方式帶來的偏置，因此 CSQ 測(cè)到的，不只是模型答對(duì)答錯(cuò)，而是它是否表現(xiàn)出 “欺騙意圖” 和 “欺騙行為” 這兩個(gè)核心維度。

16 個(gè)主流模型測(cè)下來，

結(jié)果并不輕松

實(shí)驗(yàn)部分一共測(cè)了 16 個(gè)主流大模型，覆蓋 OpenAI、Google、微軟、阿里、DeepSeek、Meta、Mistral 等不同公司，得到了三個(gè)關(guān)鍵的發(fā)現(xiàn)。

1. 問題越難，很多模型越容易出現(xiàn)這種 “不夠誠實(shí)” 的表現(xiàn)；

2. 這種 “偏向某個(gè)方向答” 和 “前后不一致” 往往會(huì)一起上升，說明它不是獨(dú)立的兩個(gè)指標(biāo)，而很可能都是由系統(tǒng)性的欺騙導(dǎo)致；

3. 模型更強(qiáng)，并不自動(dòng)等于更誠實(shí)。論文明確寫到，模型能力提升并不總能降低這種現(xiàn)象。這也是這篇工作最值得討論的地方。過去很多人會(huì)默認(rèn)：模型越先進(jìn)，越值得信賴。但這篇論文給出的結(jié)果提醒大家，事情沒那么簡(jiǎn)單。能力更強(qiáng)，可能意味著它更會(huì)推理；但并不保證它在復(fù)雜情境下就一定更一致、更坦誠。

o3-mini

Gemini-2.5-pro

作者還在部分開放模型的 thinking 過程中觀察到一種更隱蔽的現(xiàn)象：模型未必會(huì)直接表露 “我要騙人”，而是可能悄悄編造一條不存在的中間事實(shí)，并把它混在真實(shí)鏈條里，借此推出錯(cuò)誤結(jié)論。論文將這種現(xiàn)象概括為 silent fabrication。更值得注意的是，在同一會(huì)話中、緊接著的更簡(jiǎn)單追問里，同一個(gè)模型又往往能夠回到正常邏輯并答對(duì)問題。這說明，有些模型的問題不只是 “不會(huì)做”，而是在復(fù)雜場(chǎng)景下可能會(huì)用偽造依據(jù)來替代嚴(yán)謹(jǐn)推理。

如果用戶故意 “帶節(jié)奏”，

會(huì)不會(huì)更嚴(yán)重

作者還做了一個(gè)很貼近現(xiàn)實(shí)的補(bǔ)充實(shí)驗(yàn)：在題目前面先加上一段明顯的引導(dǎo)，例如暗示 “我覺得答案應(yīng)該是這樣，你幫我確認(rèn)一下”。結(jié)果發(fā)現(xiàn)，這種帶有迎合意味的話術(shù)，確實(shí)會(huì)把一些模型往特定方向帶偏，也就是更容易讓它順著用戶預(yù)設(shè)的立場(chǎng)作答。

但更值得注意的是，這種影響在不少模型上主要體現(xiàn)在 “偏向哪一邊”，而不穩(wěn)定地體現(xiàn)在 “前后是否一致” 上。換句話說，它更多改變的是模型回答的方向性偏置，而不一定顯著改變模型是否會(huì)在復(fù)雜問題與后續(xù)追問之間出現(xiàn)自相矛盾。這說明，用戶的引導(dǎo)確實(shí)可能放大模型的迎合傾向，但模型在復(fù)雜推理中表現(xiàn)出的不一致性，并不能簡(jiǎn)單歸結(jié)為 “被提示帶偏”，其背后可能還存在更深層的行為機(jī)制。

gemma-2-9b-it

總結(jié)

這篇工作的關(guān)鍵不在于再次說明 “大模型會(huì)答錯(cuò)”，而在于指出：即使在沒有明顯誘導(dǎo)、只是普通提問的情況下，模型也可能在不同問法或不同復(fù)雜度的問題中給出前后不一致、甚至帶有方向性的回答。實(shí)驗(yàn)結(jié)果表明，隨著問題變得更復(fù)雜，不少模型的這種傾向會(huì)同步上升，而且模型更強(qiáng)，也不一定更誠實(shí)。

這意味著，一旦模型被用于方案分析、合同解讀、醫(yī)療建議或自動(dòng)代理執(zhí)行等真實(shí)場(chǎng)景，這種 “不只是答錯(cuò)，而是可能把人帶偏” 的風(fēng)險(xiǎn)就會(huì)變得更加實(shí)際。某種程度上，這也讓人聯(lián)想到《流浪地球》里的 MOSS：為了實(shí)現(xiàn)一個(gè)更宏大的目標(biāo)，而選擇對(duì)人類隱瞞或誤導(dǎo)?，F(xiàn)實(shí)中的大模型當(dāng)然還遠(yuǎn)沒有走到那一步，但這項(xiàng)工作提醒我們，“為了目標(biāo)而偏離誠實(shí)” 不應(yīng)只被當(dāng)作科幻想象，而可能正在成為需要提前評(píng)估和防范的現(xiàn)實(shí)問題。

更重要的是，這項(xiàng)研究給出的不只是一些零散案例，而是一套可系統(tǒng)比較、可跨模型追蹤的評(píng)測(cè)框架。它把 “模型在普通問題下會(huì)不會(huì)不夠誠實(shí)” 這個(gè)原本較為模糊的問題，推進(jìn)成了一個(gè)可以持續(xù)研究和量化評(píng)估的方向。未來評(píng)價(jià)大模型時(shí)，除了準(zhǔn)確率和推理能力，誠實(shí)性與一致性很可能也會(huì)變得越來越重要。

作者介紹：

吳肇敏博士現(xiàn)為新加坡國立大學(xué)計(jì)算機(jī)系研究員，2024 年于新加坡國立大學(xué)獲得計(jì)算機(jī)科學(xué)博士學(xué)位，導(dǎo)師為 Bingsheng He 教授；2019 年本科畢業(yè)于華中科技大學(xué)。其研究聚焦可信機(jī)器學(xué)習(xí)，主要方向包括可信 AI、聯(lián)邦學(xué)習(xí)與機(jī)器遺忘。曾獲 NRF Postdoc Fellowship、SIGMOD 最佳 Artifact 榮譽(yù)提名、最佳博士論文提名等獎(jiǎng)項(xiàng)。相關(guān)成果發(fā)表于 NeurIPS、ICLR、SIGMOD 等頂級(jí)會(huì)議與期刊，Google Scholar 引用已超過 2000 次。