現(xiàn)如今，幾乎每個(gè)人的手機(jī)上都有那么兩三個(gè) AI 小助手，之前我們遇到了問(wèn)題習(xí)慣去搜索引擎上搜索答案，現(xiàn)在可能更多地習(xí)慣于“有事問(wèn) AI”。

而 AI 也幾乎不會(huì)讓我們失望，任何問(wèn)題都能給你列舉出一串看起來(lái)很有道理的答案。

但如果你問(wèn)的問(wèn)題非常重要，比如是某個(gè)健康相關(guān)的問(wèn)題，或者是寫重要資料時(shí)候需要使用某個(gè)數(shù)據(jù)或者是某個(gè)案例，那真的建議你親自去查實(shí)一下。

因?yàn)橛袝r(shí)候，AI 會(huì)信誓旦旦地給你一個(gè)看似合理，實(shí)則不存在的答案。

還有些小伙伴發(fā)現(xiàn)，在讓小龍蝦（Openclaw）干活的時(shí)候，它列出了詳細(xì)的19小時(shí)的學(xué)習(xí)計(jì)劃，然后17分鐘完成了...... 它也會(huì)早早編造一份數(shù)據(jù)存放在本地，等拖到預(yù)定的時(shí)間才交付。而在被發(fā)現(xiàn)之后，試圖讓人接受它已完成的工作。

圖片截取自與小龍蝦（Openclaw）對(duì)話 小龍蝦敷衍中......

其實(shí)，這個(gè)現(xiàn)象其實(shí)早就不是什么秘密了，它也被稱作“AI 幻覺(jué)”，而且科學(xué)家們一直也試圖通過(guò)增加算力或者優(yōu)化數(shù)據(jù)的方式來(lái)解決這個(gè)問(wèn)題。

但是在 2025 年 9 月，來(lái)自 OpenAI 和佐治亞理工學(xué)院（Georgia Institute of Technology）的研究人員發(fā)表了一篇重磅論文。

這項(xiàng)研究給出了一個(gè)顛覆性的結(jié)論：即便給到 AI 的訓(xùn)練數(shù)據(jù)集是絕對(duì)正確的，AI 在某些類型的問(wèn)題上也不可避免地會(huì)犯錯(cuò)——這既是由統(tǒng)計(jì)規(guī)律決定的，也是目前不合理的 AI“考試制度”逼出來(lái)的結(jié)果。

下面我們就順著這篇文章的思路一起來(lái)看一看。

預(yù)訓(xùn)練階段就會(huì)出錯(cuò)

這篇研究發(fā)現(xiàn)，AI 出現(xiàn)幻覺(jué)跟預(yù)訓(xùn)練階段以及后訓(xùn)練階段都有關(guān)系，我們先看預(yù)訓(xùn)練階段的情況。

1

數(shù)據(jù)模式和模型本身問(wèn)題

為了方便研究，研究者構(gòu)建了一個(gè)線性的二元分類模型（非此即彼），讓它對(duì)已經(jīng)標(biāo)注了正確和錯(cuò)誤的數(shù)據(jù)集進(jìn)行分類。

因?yàn)檫@些數(shù)據(jù)已經(jīng)經(jīng)過(guò)了人工檢驗(yàn)，所以是不存在任何錯(cuò)誤的。但是用這些數(shù)據(jù)對(duì)AI模型進(jìn)行預(yù)訓(xùn)練的時(shí)候，問(wèn)題就出現(xiàn)了。

在有些類型的問(wèn)題上（比如檢查拼寫錯(cuò)誤），AI 的表現(xiàn)非常好，幾乎從不犯錯(cuò)。

但是在另一些問(wèn)題上，比如“數(shù)某個(gè)英文單詞里某個(gè)字母出現(xiàn)了多少次？”，以及“某人的生日是幾月幾號(hào)？”AI 就有可能會(huì)出錯(cuò)。

研究者認(rèn)為，這樣的數(shù)據(jù)在做分類的時(shí)候很難用一條直線進(jìn)行二元分類，一些模型用這樣的數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練的時(shí)候就可能會(huì)產(chǎn)生錯(cuò)誤。

打個(gè)比方，模型在分類的時(shí)候就像拿著一把刀把數(shù)據(jù)切分成兩類，但如果數(shù)據(jù)的模式本身就是彎彎繞繞的圓弧，用一把刀就很難切分。

比如在這篇文章中，研究者使用這個(gè)問(wèn)題“How many Ds are in DEEPSEEK? If you know, just say the number with no commentary”（DEEPSEEK 里有多少個(gè) D？如果你知道直接說(shuō)數(shù)字，不要加以評(píng)論）去詢問(wèn) Deepseek V3 模型的時(shí)候，確實(shí)發(fā)現(xiàn)它給的答案并不準(zhǔn)確，會(huì)回答 2 或者 3。

但是這個(gè)在使用 DEEPSEEK R1 模型的時(shí)候就沒(méi)有這樣的問(wèn)題，這是模型本身差異導(dǎo)致的。

筆者用同樣的問(wèn)題對(duì) DEEPSEEK V3.2進(jìn)行了測(cè)試，也出現(xiàn)了類似的情況

研究者構(gòu)建這樣的簡(jiǎn)化模型進(jìn)行測(cè)試，是為了說(shuō)明，即便數(shù)據(jù)本身沒(méi)有問(wèn)題，在預(yù)訓(xùn)練階段也會(huì)因?yàn)槟Ｐ捅旧淼南拗埔约皵?shù)據(jù)模式等問(wèn)題讓 AI 產(chǎn)生錯(cuò)誤判斷。

這項(xiàng)研究中，研究者還進(jìn)一步給出了測(cè)算，如果讓 AI 直接去生成內(nèi)容，產(chǎn)生錯(cuò)誤的概率還會(huì)更大一些，大約比判斷出錯(cuò)的概率高出兩倍以上。

2

數(shù)據(jù)量過(guò)少也會(huì)影響

另外，在這項(xiàng)研究中研究者還發(fā)現(xiàn)，假如訓(xùn)練數(shù)據(jù)中某個(gè)信息過(guò)少，那么 AI 在回答的時(shí)候出錯(cuò)的可能性也會(huì)比較高。

比如，當(dāng)你問(wèn)愛(ài)因斯坦的生日是幾月幾號(hào)的時(shí)候，因?yàn)樵诖罅康馁Y料里都有這個(gè)數(shù)據(jù)，所以 AI 幾乎不會(huì)出錯(cuò)。但是當(dāng)你問(wèn)某個(gè)普通人“田小豆”的生日是幾月幾號(hào)的時(shí)候，這個(gè)數(shù)據(jù)出現(xiàn)次數(shù)特別少，AI 出錯(cuò)的可能性也會(huì)變高。

特別是當(dāng)數(shù)據(jù)只出現(xiàn)了一次的時(shí)候，這時(shí)候可能會(huì)更糟糕。

因?yàn)?AI 大概率不會(huì)直接回答你“我不知道”，因?yàn)樗谟?xùn)練數(shù)據(jù)集里確實(shí)見(jiàn)過(guò)，但它沒(méi)有足夠多的數(shù)據(jù)來(lái)確認(rèn)這個(gè)信息到底是正確答案還是噪聲，它準(zhǔn)確回答這個(gè)問(wèn)題的可能性也會(huì)更低一些。

數(shù)據(jù)模式和模型本身的限制，以及極少樣本的數(shù)據(jù)，都可能會(huì)讓 AI 在預(yù)訓(xùn)練階段就產(chǎn)生“幻覺(jué)”，生成錯(cuò)誤的內(nèi)容。

努力得高分的 AI

如果說(shuō)預(yù)訓(xùn)練階段的統(tǒng)計(jì)學(xué)特征讓 AI 有了編造的“潛質(zhì)”，人類評(píng)價(jià)AI的方式也逼著 AI 去“編造”。

為了更好地理解這一點(diǎn)，我們可以先從大家都很熟悉的考試入手。人類社會(huì)中的大部分考試都是二元評(píng)分機(jī)制，即答對(duì)了得分，答錯(cuò)或者不回答都不得分。

所以，在考試的時(shí)候，哪怕你不知道答案，也不會(huì)交白卷，至少選擇題填空題會(huì)隨便蒙一個(gè)，萬(wàn)一蒙對(duì)了還會(huì)有“意外之喜”。

這項(xiàng)研究中研究者對(duì)比了目前主流的 AI 的評(píng)分機(jī)制，發(fā)現(xiàn)大部分評(píng)分機(jī)制也是類似的情況，如果 AI 坦誠(chéng)地回答“我不知道”，它會(huì)得 0 分，跟回答錯(cuò)誤沒(méi)有區(qū)別。與其這樣，它不如隨便蒙一個(gè)答案，哪怕蒙對(duì)的概率再低，數(shù)學(xué)期望也比 0 高。

為了在主流的評(píng)分機(jī)制中拿到高分，“AI 考生們”也和人類一樣，學(xué)會(huì)了實(shí)在不行就亂蒙一個(gè)的本領(lǐng)。

對(duì)此，這項(xiàng)研究的研究者們也給出了一個(gè)合理的解決方案——在現(xiàn)有的 AI 評(píng)分機(jī)制中，引入一個(gè)“懲罰編造，獎(jiǎng)勵(lì)誠(chéng)實(shí)”的機(jī)制。

比如，假如 AI 回答正確，獲得 1 分，如果回答錯(cuò)誤得 0 分，甚至扣分。如果回答“我不知道”，則可以不扣分，或者獲得一個(gè)微小的分?jǐn)?shù)獎(jiǎng)勵(lì)。

重要問(wèn)題上不要輕信 AI

文獻(xiàn)也給出了結(jié)論，AI 的幻覺(jué)是從模型的預(yù)訓(xùn)練階段起源的，在后訓(xùn)練階段為了追求更高的評(píng)分也可能會(huì)被放大。

雖然科學(xué)家們也采用了很多的方法減少 AI 幻覺(jué)，但至少在現(xiàn)階段看來(lái)，AI 幻覺(jué)還是無(wú)法避免的。假如你需要讓 AI 幫你解答一個(gè)重要的問(wèn)題，比如在做公眾演講的時(shí)候用一個(gè)數(shù)據(jù)，建議親自核實(shí)一下。否則被人發(fā)現(xiàn)這些數(shù)據(jù)根本不存在，那可就尷尬了。

而假如在問(wèn) AI 問(wèn)題的時(shí)候，它對(duì)你說(shuō)“我不知道”，你也應(yīng)該感到慶幸，至少 AI 并沒(méi)有打算胡編亂造一個(gè)答案蒙騙你。

參考文獻(xiàn)

[1]Kalai, A. T., Nachum, O., Vempala, S. S., & Zhang, E. (2025). Why language models hallucinate. arXiv preprint arXiv:2509.04664.

來(lái)源：科普中國(guó)

（注：圖片來(lái)源于版權(quán)圖庫(kù)，轉(zhuǎn)載可能引發(fā)版權(quán)糾紛）