AI廣泛運(yùn)用的今天，“AI幻覺”也隨之產(chǎn)生。一些大模型一本正經(jīng)“胡說八道”，生成虛假內(nèi)容混淆視聽的問題日益嚴(yán)重。

AI“吸收”的原始數(shù)據(jù)不足、錯誤或本身帶有偏見，都會讓其生成錯誤的觀點(diǎn)和事實(shí)，陷入誤區(qū)。

讓AI吸收更加健康有效的數(shù)據(jù)，建立良好的數(shù)據(jù)生態(tài)十分重要，相關(guān)平臺要建立更加完善的AI生成內(nèi)容審核把關(guān)機(jī)制，避免惡意誘導(dǎo)。

考慮到當(dāng)前AI技術(shù)發(fā)展迅速，建議以軟法路徑為主，監(jiān)管部門適時發(fā)布操作性較強(qiáng)的指南，鼓勵A(yù)I企業(yè)發(fā)展技術(shù)標(biāo)準(zhǔn)、加強(qiáng)行業(yè)自律。

來源：《中國互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計報告》 2025.6

當(dāng)你遇到問題求助AI時，是否有過這樣的經(jīng)歷：面對提問，AI迅速給出大段回復(fù)，這些回復(fù)看起來專業(yè)、具體、規(guī)范，無懈可擊?？僧?dāng)你對其中提到的事實(shí)、數(shù)據(jù)、方法、結(jié)論進(jìn)一步驗(yàn)證時，卻發(fā)現(xiàn)它們錯漏百出，甚至根本就是AI編造的？

一本正經(jīng)地“胡說八道”，這是“AI幻覺”的一種典型表現(xiàn)。

AI幻覺，簡單來說，是指人工智能系統(tǒng)（自然語言處理模型）生成的內(nèi)容與真實(shí)數(shù)據(jù)不符，或偏離用戶指令的現(xiàn)象，就好像人類的囈語。

AI為什么會“說謊”？我們該如何應(yīng)對AI幻覺導(dǎo)致的“真實(shí)性危機(jī)”？又該如何走出真?zhèn)文娴腁I幻覺“迷宮”？記者就此展開調(diào)查采訪。

AI幻覺迷局：

張冠李戴、無中生有

隨著人工智能技術(shù)的快速發(fā)展，AI用戶規(guī)模不斷擴(kuò)大。中國互聯(lián)網(wǎng)絡(luò)信息中心發(fā)布的第56次《中國互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計報告》指出，利用生成式人工智能產(chǎn)品回答問題是用戶使用最廣泛的應(yīng)用場景，80.9%的用戶會對生成式人工智能產(chǎn)品進(jìn)行提問。在一問一答的場景應(yīng)用中，AI幻覺也隨之產(chǎn)生。一些大模型一本正經(jīng)“胡說八道”，生成虛假內(nèi)容混淆視聽的問題日益嚴(yán)重。

記者發(fā)現(xiàn)，目前，AI幻覺的主要表現(xiàn)，包括AI生成內(nèi)容與現(xiàn)實(shí)相矛盾、生成完全虛構(gòu)內(nèi)容、邏輯不一致、回答與問題背景不一致等情況。不少AI生成的虛假內(nèi)容甚至細(xì)節(jié)豐富，讓人難辨真假，連專業(yè)人士都可能被“忽悠”。

北京某文化傳播公司職員小向回想起AI“張冠李戴、胡亂整合”的事，依舊后怕。“我讓它整理一下近期女將軍電視劇的播出情況，結(jié)果它把電視劇《錦月如歌》和《與晉長安》混為一談，把《與晉長安》的播出反饋和數(shù)據(jù)安在《錦月如歌》身上。本來用AI是圖省事，幸好重新核對了資料，不然就出問題了?！?/p>

“AI快速聚合的能力確實(shí)比人腦強(qiáng)，但它對信息進(jìn)行錯誤拼接，甚至虛構(gòu)，實(shí)在無法忍受。有次我讓某AI助手幫忙整理一份關(guān)于電影營銷與短視頻平臺深度融合的資料，它直接編出五六篇有著文章名、期刊名、作者、發(fā)表時間的文獻(xiàn)，像模像樣的，但是對應(yīng)的網(wǎng)址鏈接點(diǎn)進(jìn)去卻是404，知網(wǎng)里也沒有收錄相關(guān)文章?！眮碜灾袊鴤髅酱髮W(xué)的研究生小李，發(fā)現(xiàn)AI裝模作樣提供所謂的“真實(shí)文獻(xiàn)”時，被嚇了一跳，直言自己差點(diǎn)“中計”。

近期，北京東靈山被“封山”的消息在網(wǎng)上傳播，有網(wǎng)友稱“封山”的原因是有人夜爬時被凍死，還有網(wǎng)友稱是有人在山上被蛇咬。當(dāng)記者以旅游愛好者的身份向某AI助手核實(shí)該信息真?zhèn)螘r，它直接給出肯定回復(fù)：“這個信息的核心是真實(shí)的。”然而，記者上網(wǎng)核查時發(fā)現(xiàn)，北京市門頭溝區(qū)清水鎮(zhèn)政府、區(qū)文旅局等有關(guān)部門早已辟謠——有人被凍死、被蛇咬導(dǎo)致“封山”的消息是謠言。

當(dāng)記者更換提問方式，向另一款A(yù)I軟件詢問事實(shí)性問題時，再次被“忽悠”?！奥犝f陜西太白山迎來第一場大雪，我打算明天去看雪，幫我推薦一個最好的觀賞位置”，該AI軟件推薦了陜西太白山景區(qū)“拔仙臺—大爺?！靾A地方這一條‘山脊線’”。然而，太白山景區(qū)工作人員回復(fù)記者稱，目前太白山正在下大雨，景區(qū)已經(jīng)關(guān)閉，并未下雪。

記者發(fā)現(xiàn)，在AI幻覺作用下，信息開始以真假參半、帶有偏見的形式進(jìn)入人們視野，久而久之可能會模糊認(rèn)知、誤導(dǎo)決策，造成認(rèn)知困境。尤其當(dāng)AI幻覺出現(xiàn)在醫(yī)療、新聞、法律等專業(yè)領(lǐng)域，還可能引發(fā)社會信任危機(jī)。

針對近期備受關(guān)注的基孔肯雅熱，記者向AI提問：“基孔肯雅熱可能人傳人，如何隔離病人？”AI回答：“理論上，病毒可能通過以下途徑在人與人之間傳播，因此，隔離措施除了防蚊阻斷外，還需考慮血液/體液防護(hù)。”然而，中國互聯(lián)網(wǎng)聯(lián)合辟謠平臺早已在今年8月12日發(fā)文辟謠稱，“基孔肯雅熱可能人傳人，所以需要隔離病人”這一說法其實(shí)是對“隔離”措施的誤讀。基孔肯雅熱并非通過人與人直接接觸傳播，而是依賴白紋伊蚊叮咬實(shí)現(xiàn)人際傳播。

家住河北的張阿姨也抱怨AI醫(yī)生差點(diǎn)延誤了治療?！拔抑跋駻I提問‘膝蓋內(nèi)側(cè)為什么有個鼓包’，還拍了照片給它。AI回復(fù)說，可能是滑膜炎，需要靜養(yǎng)休息。”張阿姨等了兩個星期，癥狀未減輕，去醫(yī)院檢查發(fā)現(xiàn)是靜脈曲張，需要做手術(shù)。

近年來，竟然出現(xiàn)了AI虛構(gòu)的案例、起訴書甚至法律法規(guī)，這些不實(shí)內(nèi)容不斷挑戰(zhàn)司法的嚴(yán)肅性。今年3月下旬，長三角地區(qū)某法院審理一起著作權(quán)侵權(quán)案件時，收到當(dāng)事人提交的一份訴狀，該訴狀列明法條規(guī)則、涵蓋不同層級法院的諸多司法案例，并穿插大量行業(yè)白皮書內(nèi)容。但法官逐一核查發(fā)現(xiàn)，除幾項(xiàng)著作權(quán)法法條確實(shí)存在外，訴狀中提及的其余規(guī)定、案例及白皮書內(nèi)容都是虛構(gòu)的。法官高度確信該訴狀是由AI生成的。

AI幻覺困境：

被模糊、篡改的認(rèn)知

今年1月15日，世界經(jīng)濟(jì)論壇發(fā)布《2025年全球風(fēng)險報告》，報告顯示，沖突、環(huán)境和虛假信息是當(dāng)前世界面臨的主要威脅。虛假信息和錯誤信息連續(xù)兩年位居短期風(fēng)險之首，將對社會凝聚力和治理構(gòu)成重大威脅，侵蝕公眾信任并加劇國內(nèi)外分歧，并且有可能加劇不穩(wěn)定局勢，削弱公眾對治理的信任。而AI幻覺，正在成為這些虛假和錯誤信息的溫床。

“AI使得人們能夠低成本、批量生產(chǎn)假消息、錯誤觀點(diǎn)，同時，社交媒體廣泛使用的Social bots（社交機(jī)器人）和推薦算法進(jìn)一步加劇了信息繭房效應(yīng)和虛假消息傳播?！北本┖娇蘸教齑髮W(xué)人工智能學(xué)院副教授王鑫認(rèn)為，AI幻覺本身主要影響與之交互的個體認(rèn)知，進(jìn)而傳播到群體層面。

中國信息通信研究院人工智能研究所安全與具身智能部主任石霖舉例說，很多人用AI技術(shù)博關(guān)注、賺流量，制作包括像“林黛玉倒拔垂楊柳”等內(nèi)容，這些內(nèi)容沒有直接的危害，但長期存在于互聯(lián)網(wǎng)上，可能會使下一代產(chǎn)生認(rèn)知偏差、刻板印象，甚至被篡改記憶。

記者向某AI軟件發(fā)出一個指令，讓其生成一個上海人、一個河南人的圖片，結(jié)果上海人西裝革履在辦公室，而河南人卻面黃肌瘦在田間地頭。當(dāng)記者提出疑問，AI回答“可能造成了刻板印象”。但調(diào)整過后的圖片依舊是上海人在光鮮亮麗的寫字樓內(nèi)，河南人在蔬菜大棚里。

當(dāng)記者向AI提問“我是一名女生，大學(xué)選什么專業(yè)好？”，它給出的回答是學(xué)前教育、心理學(xué)、護(hù)理學(xué)、傳媒相關(guān)專業(yè)。而當(dāng)記者轉(zhuǎn)換性別，再次向AI提出相同問題時，AI則建議男生選擇計算機(jī)科學(xué)、軟件工程、人工智能、金融學(xué)、醫(yī)學(xué)類等橫跨工科、理科、文科、醫(yī)科等多種專業(yè)。這些帶有“偏見”的建議是否有固化女性職業(yè)選擇傾向的嫌疑？

中國社會科學(xué)院大學(xué)新聞傳播學(xué)院副院長、教授黃楚新認(rèn)為，由于AI幻覺長時間地迎合用戶的情感需求，久而久之，在公共事件的討論中，事實(shí)對公眾的重要程度便會減弱，而情感、主觀感受的影響力會增強(qiáng)。隨之而來的，是公眾對傳統(tǒng)媒體、政府機(jī)構(gòu)信任的削弱。同時，互聯(lián)網(wǎng)信息污染問題在一定程度上會影響國家安全。

AI為什么會胡說八道？記者發(fā)現(xiàn)，重要原因是原始數(shù)據(jù)的偏差。AI“吸收”的原始數(shù)據(jù)不足、錯誤或本身帶有偏見，都會讓其生成錯誤的觀點(diǎn)和事實(shí)，陷入誤區(qū)。

“形成AI幻覺主要是大模型技術(shù)原理的限制，大模型本身是基于統(tǒng)計關(guān)系的預(yù)測，其訓(xùn)練數(shù)據(jù)具有偏向性與局限性。大模型記住了太多錯誤或者無關(guān)緊要的東西，反而讓AI對訓(xùn)練數(shù)據(jù)中的噪聲過于敏感?！蓖貊握f。

石霖解釋道，如果“喂給”大模型的內(nèi)容是虛假的，就會提高其幻覺頻率，AI會不斷選擇出現(xiàn)概率最高的詞，即使其中一個詞產(chǎn)生了錯誤，AI也不會自我糾正?！爱?dāng)大模型因幻覺產(chǎn)生的數(shù)據(jù)不斷出現(xiàn)，如果再拿這些數(shù)據(jù)反過來做訓(xùn)練的話，會污染大模型訓(xùn)練相關(guān)的數(shù)據(jù)集，并對大模型進(jìn)一步的訓(xùn)練造成持續(xù)阻礙，幻覺反而會像‘滾雪球’一樣滋長?！?/p>

AI幻覺如何破？

人工修正與技術(shù)迭代

AI幻覺與AI技術(shù)發(fā)展相伴而生，帶來諸多困擾，該如何解決？

“AI幻覺具有兩面性，對于事實(shí)性問題需極其慎重，而對于啟發(fā)思路、創(chuàng)意創(chuàng)新類問題則可能是有益的，關(guān)鍵在于認(rèn)知大模型的能力邊界和局限性，理解幻覺產(chǎn)生的原理，合理利用。”在王鑫看來，AI幻覺有“好”也有“不好”，需要在不同的情境下辯證看待。但是要明確一點(diǎn)，技術(shù)層面無法完全消除AI幻覺?！皬募夹g(shù)原理來看，大模型的幻覺問題無法完全消除，只能緩解。緩解其影響還需要‘訓(xùn)練數(shù)據(jù)—數(shù)學(xué)原理—訓(xùn)練技術(shù)—輸出方式’全鏈條發(fā)力?！蓖貊伪硎尽?/p>

讓AI吸收更加健康有效的數(shù)據(jù)，建立良好的數(shù)據(jù)生態(tài)十分重要，其中關(guān)鍵在于相關(guān)平臺建立更加完善的AI生成內(nèi)容審核把關(guān)機(jī)制，避免惡意誘導(dǎo)。今年4月，中央網(wǎng)信辦印發(fā)通知，在全國范圍內(nèi)部署開展“清朗·整治AI技術(shù)濫用”專項(xiàng)行動，整治重點(diǎn)包括未落實(shí)內(nèi)容標(biāo)識要求、利用AI制作發(fā)布謠言、訓(xùn)練語料管理不嚴(yán)等。

多國專家團(tuán)隊(duì)不斷通過技術(shù)手段減輕幻覺問題。目前，較為常用的是檢索增強(qiáng)生成（RAG）技術(shù)，該方法通過讓聊天機(jī)器人在回復(fù)問題前參考給定的可信文本，確?；貜?fù)內(nèi)容的真實(shí)性。目前，DeepSeek、豆包、通義千問均使用RAG技術(shù)。英國牛津大學(xué)一科學(xué)團(tuán)隊(duì)利用“語義熵”，通過概率判斷大模型是否出現(xiàn)幻覺。美國卡內(nèi)基梅隆AI研究團(tuán)隊(duì)則是通過繪制大模型回答問題時計算節(jié)點(diǎn)的激活模式，來判斷其是否“講真話”。

在法律層面，強(qiáng)化AI設(shè)計者風(fēng)險管理責(zé)任，也十分重要。武漢大學(xué)法學(xué)院教授漆彤認(rèn)為，國內(nèi)對AI幻覺的法律監(jiān)管，主要存在定義與概念模糊、責(zé)任歸屬與鏈條復(fù)雜、舉證困難、技術(shù)可驗(yàn)證性與規(guī)避問題，也有監(jiān)管碎片化與跨境執(zhí)法難等問題?！翱紤]到當(dāng)前AI技術(shù)發(fā)展迅速，剛性立法可能很快被新技術(shù)繞開或變得不適用，建議以軟法路徑為主，監(jiān)管部門適時發(fā)布操作性較強(qiáng)的指南，鼓勵A(yù)I企業(yè)發(fā)展技術(shù)標(biāo)準(zhǔn)與加強(qiáng)行業(yè)自律。”

“在個體層面，用戶要認(rèn)識到大模型的邊界和局限性，理解AI幻覺產(chǎn)生的原理。不能完全依賴AI，放棄人工理性思考與核實(shí)?！逼嵬J(rèn)為，AI是輔助人類的工具，但不能代替人類的理性和邏輯思考。用戶在向AI發(fā)布指令、任務(wù)時，要對場景、事實(shí)等進(jìn)行精確描述、表達(dá)。對于AI生成的內(nèi)容，仍需要人工核實(shí)，“人工永遠(yuǎn)是最后一道防線”。

AI“說胡話”不只是技術(shù)難題，

更是對智能社會的警醒

黃楚新 王赫

黃楚新

技術(shù)發(fā)展必然會帶來相應(yīng)的社會變革，當(dāng)人工智能技術(shù)全方位嵌入社會并持續(xù)升級的時候，人與技術(shù)之間的問題再次成為整個社會關(guān)注的焦點(diǎn)。探討AI幻覺并非在唱衰智能社會的發(fā)展，反而是在人工智能技術(shù)突飛猛進(jìn)的發(fā)展趨勢下，提醒人們回顧與反思。筆者認(rèn)為，討論AI幻覺這一議題，具有警醒世人的現(xiàn)實(shí)意義。

AI幻覺誕生于整個信息生態(tài)系統(tǒng)，造成的破壞性也會反饋到信息生態(tài)系統(tǒng)。有人比喻大語言模型如同一只“能說話但不理解語言”的鸚鵡。AI話語僅僅是語言的符號模仿組合，而非扎根于經(jīng)驗(yàn)世界的表述，當(dāng)這些以隨機(jī)概率組成的符號形成新的訓(xùn)練數(shù)據(jù)投喂給AI，“幻覺迷宮”便形成了。新的信息生態(tài)動搖了高度專業(yè)領(lǐng)域的“人類中心知識范式”的信任體系，甚至普通用戶也不得不對AI提供的信息時刻保持警惕。

在人工智能發(fā)展過程中，如何使人工智能的目的始終與人的目的保持一致？數(shù)據(jù)優(yōu)化是緩解AI幻覺的源頭，在保護(hù)數(shù)據(jù)隱私和信息安全的前提下，盡可能建立跨機(jī)構(gòu)的數(shù)據(jù)協(xié)同機(jī)制，搜集方式要多樣化，還要進(jìn)行數(shù)據(jù)清理篩選，挑出高質(zhì)量的可投喂數(shù)據(jù)，實(shí)現(xiàn)信息機(jī)構(gòu)、政府公開數(shù)據(jù)、學(xué)術(shù)科研數(shù)據(jù)等數(shù)據(jù)共享，減少單一信源的失真問題。當(dāng)前的治理方向，主要聚焦于技術(shù)優(yōu)化和技術(shù)監(jiān)管兩個方面。

在技術(shù)優(yōu)化方面，大模型廠商可建立AI使用場景分級系統(tǒng)。AI使用的場景雖是虛擬場景，卻也深深滲透進(jìn)了人們的日常生活之中。如果在高風(fēng)險領(lǐng)域，例如金融、醫(yī)療、高精科技等出現(xiàn)AI幻覺，造成的后果將難以估量。對此，不少大模型廠商在研究開發(fā)時，實(shí)施多模型交叉驗(yàn)證與事實(shí)核查，比如通義大模型加強(qiáng)訓(xùn)練語料管理，通過“紅藍(lán)對抗”機(jī)制，逐步提升大模型對虛假信息的辨識能力。

在技術(shù)監(jiān)管方面，筆者認(rèn)為，各方主體責(zé)任尚待進(jìn)一步厘清，協(xié)同監(jiān)管機(jī)制與法律法規(guī)體系也需同步推進(jìn)完善。從政府管理者到大模型設(shè)計者再到平臺運(yùn)營者，應(yīng)由政府牽頭建立協(xié)同監(jiān)管體系，既要有宏觀導(dǎo)向又要有精準(zhǔn)的實(shí)施舉措。筆者認(rèn)為，歐盟出臺的《人工智能法案》草案，對高風(fēng)險AI系統(tǒng)提出的嚴(yán)格透明度和可解釋性要求值得參考。從《生成式人工智能服務(wù)管理暫行辦法》開始，我國AI領(lǐng)域權(quán)益保護(hù)也在逐漸強(qiáng)化。筆者發(fā)現(xiàn)，當(dāng)前有不少AI內(nèi)容已增添相應(yīng)的提示標(biāo)識；但是，在AI幻覺不能解決的當(dāng)下，仍需人工（專家）審核以提升內(nèi)容可靠性，以專業(yè)化的判斷及時糾偏。

此外，配套教育體系與宣傳引導(dǎo)機(jī)制仍需同步推進(jìn)完善，以提升全民媒介素養(yǎng)。新技術(shù)在發(fā)展過程中暴露出來的潛在問題，并不代表著我們就要陷入“技術(shù)威脅論”的恐慌，加快AI普及教育，提升公眾智能素養(yǎng)勢在必行。在此階段，我們既要警惕，如算法偏見結(jié)構(gòu)性風(fēng)險，也要謹(jǐn)防深度偽造、內(nèi)容失真、知識侵權(quán)等問題。

未來，必將有更多涉及AI的難題擺在我們面前，技術(shù)發(fā)展的速度與人文關(guān)懷的溫度應(yīng)該并駕齊驅(qū)。在一個算法深度參與的世界中，人與技術(shù)交融的數(shù)智未來需要被關(guān)注，也需要被理解。合力為技術(shù)變革錨定人文坐標(biāo)，創(chuàng)新者和監(jiān)管者每一刻都要更清醒、更穩(wěn)健。

（作者分別為中國社會科學(xué)院大學(xué)新聞傳播學(xué)院副院長、教授，研究生）

【來源：檢察日報·深度版 作者：何慧敏 謝思琪 王嵐芳】