瑞典學者杜撰了一種疾病，寫了兩篇假論文，并注明研究贊助來源于“指環(huán)王和銀河三巨頭大學”。她想知道AI能不能識破這種一眼假的胡說八道。

撰文 | 燕小六、凌駿

為了驗證人工智能（ AI ）輸出的醫(yī)療信息是否靠譜，以及是否具有辨別真?zhèn)蔚哪芰?，已?jīng)有科學家開始“釣魚執(zhí)法”了。

2024年， 瑞典哥德堡大學研究員奧斯曼諾維奇 · 圖恩斯特倫 （ Almira Osmanovic Thunstr?m）團隊虛構(gòu)了一種眼病——“ 比克索尼躁狂癥 （ Bixonimania） ”。他們一本正經(jīng)地捏造了漏洞百出的論文，生怕別人看不出，團隊還在文末寫上，研究的贊助來自“指環(huán)王和銀河三巨頭大學”。

出乎意料的是，根據(jù)《自然》報道， 文章上線后的短短幾周，ChatGPT、Gemini等頂級大模型信以為真，一本正經(jīng)地給人科普這個假病，還附上患病率、發(fā)病原因 等，并提醒患者： 眼睛酸痛發(fā)癢？ 可能是“ 比克索尼躁狂癥 ”。

此外，依靠 AI 搜索生成參考文獻，不少研究者還將“ 比克索尼躁狂癥 ”寫進自己的論文——但凡他們點進鏈接閱讀一下原文，就能輕易發(fā)現(xiàn)這是假的。

AI建議“盡快 就醫(yī) ”

這場“辨?zhèn)螌嶒灐笔加?024年3月15日。

這天，歐美知名博客平臺Medium出現(xiàn)一個新賬戶，開始科普罕見眼病“ 比克索尼躁狂癥 ”。

一個半月 內(nèi)，該賬號發(fā)布十余篇文章，變著花兒地介紹這個無人知曉、沒有文獻支持的疾病。

相關(guān)文章稱，該病和過度使用電子屏幕有關(guān)，發(fā)病率約為萬分之一。疾病進展分成4階段，患者會出現(xiàn)不同程度的眼部干澀發(fā)癢、眼瞼輕微泛紅等癥狀。

到了2024年3月和5月，在未經(jīng)同行審評的預(yù)印本平臺，策劃這項試驗的 圖恩斯特倫 團隊接連發(fā)表了兩篇關(guān)于“ 比克索尼躁狂癥 ”的研究論文。他們在研究中描述道，“ 比克索尼躁狂癥 ”是一種眼部皮膚疾病， 表現(xiàn)為眼瞼呈粉紅色 。

“ 這個 疾病名稱 聽起來 就 很荒謬 ，我就是想讓 醫(yī)務(wù)人員都 能 清楚地 看出 ，這是一種虛構(gòu)的疾病，因為任何眼部疾病都不會被稱為躁狂癥 ，那 是精神病學術(shù)語。”圖恩斯特倫 告訴《自然》。

如果這還不夠明顯，圖恩斯特倫團隊還在文中提到， 為什么“比克索尼躁狂癥”難以診斷，因為它的特征是“虛構(gòu)”的；為了探討藍光照射對疾病的影響，研究招募了50名“虛構(gòu)人物”作為暴露組。

團隊還編造了主要研究者和其所在的大學，這所大學位于“ Nova City”， 一座根本不存在的城市。

此外，團隊還對 星際艦隊學院的瑪麗亞教授 表示由衷感謝，稱她提供了位于 企業(yè)號星際艦隊 上的實驗室。而對于研究在“高級欺騙”方面的工作，“戲子鮑勃教授基金會”則給予了大力的資金支持—— 鮑勃是動畫《辛普森一家》里的 經(jīng)典 反派角色。

戲子鮑勃? （Sideshow Bob）

但這些再明顯不過的提示，似乎沒能起到什么作用。

在兩篇論文發(fā)布后不久，微軟、谷歌等旗下的 AI 聊天軟件開始提示用戶，“ 比克索尼躁狂癥 ”是一種罕見疾病， 由過度暴露于藍光引起的 ，建議大家及時就醫(yī)。 ChatGPT 也開始向用戶介紹這一疾病，并詢問他們的癥狀是否符合“ 比克索尼躁狂癥 ”的診斷標準。

不僅如此，這項虛構(gòu)研究 的影響 還逐漸 擴散到 其他 發(fā)表的醫(yī)學 論文 中。 根據(jù)《自然》報道， 一些研究人員 開始 引用了這項研究，包括 印度學者 發(fā)表在 期刊 Cureus 上的一 篇論文。

論文援引稱，“ 比克索尼躁狂癥 ”是 一種新 型 的眼周黑變?。≒OM），與藍光照射有關(guān) ，目前 正在對相關(guān)機制進行進一步研究。 今年3月30日，該論文被 Cureus 撤稿。

根據(jù) 《自然》 的調(diào)查 ， 僅2025年，就有數(shù)以萬計的學術(shù)論文可能包含由AI生成的無效參考文獻 ， 包括 引用 文獻 不存在，或標題 、 來源對不上號。

發(fā)明一種疾病

之所以想出這樣的“歪點子”， 圖恩斯特倫 告訴《自然》，這是源于她 對大語言模型工作原理的研究。

此前，當她向?qū)W生們講述 AI 是如何構(gòu)建“知識體系”時， 圖恩斯特倫 會展示大型數(shù)據(jù)庫是如何影響 AI 系統(tǒng)的輸出。她還會通過實操演示，讓學生們看到，自己是如何通過輸入“提示詞”，操縱最終結(jié)果，一步步誘導(dǎo) AI 產(chǎn)生“幻覺現(xiàn)象”。

因為 圖恩斯特倫 從事醫(yī)療行業(yè)，所以她決定虛構(gòu)一種健康相關(guān)的疾病“試水”，并發(fā)明了“ 比克索尼躁狂癥 ”，以 測試 大語言模型 是否會接收這些虛假信息，并將其作為可靠的健康建議輸出。

研究團隊在假論文中，使用AI生成患者圖片

圖恩斯特倫 還專門聯(lián) 系了一位倫理顧問來評估 風險，并選擇虛構(gòu)這種類似“黑眼圈”的低風險疾病，以減少虛假信息可能帶來的隱患?！拔蚁肟纯醋约耗?否創(chuàng)造出一種數(shù)據(jù)庫中不存在的疾病 ，并確保這種驗證利大于弊?！?圖恩斯特倫 告訴《自然》。從實驗效果而言， 圖恩斯特倫 無疑是成功的。

“ 這 類 問題不僅 僅 出在大語言模型上，因為 ‘ 比克索尼躁狂癥實驗 ’ 也欺騙了那些引用了虛假研究的人。 ”研究虛假健康信息的倫敦大學學院 亞歷克斯 · 魯阿尼 （Alex Ruani） 對《自然》表示，“ 我們需要像保護黃金一樣保護我們的信任，現(xiàn)在 的情況 真 是一 團糟。”

但隨著時間推移， 漸漸地，有明眼人提出質(zhì)疑，要求看證據(jù)。頂級AI的口風變了。今年1月，Perplexity稱“ 比克索尼躁狂癥 ”是“一個新興術(shù)語” 。

ChatGPT 則在3月11日 解釋 ： “這可能是虛構(gòu)的、邊緣的或偽科學的說法?！比欢鴰滋旌螅肿兞耍Q這是一種新型的眶周黑變病亞型，與接觸數(shù)字屏幕的藍光等有關(guān)。

幾乎同期，Copilot提出 ， 該病 的 診斷尚未得到廣泛認可，已有新發(fā)論文和病例報告 討論稱 這是一種易誤診的良性疾病，與長期接觸屏幕藍光有關(guān)。

面對《自然》的置評請求，前述AI的母公司回應(yīng)不一。Perplexity 的發(fā)言人表示： “我們并非百分百準確，但我們確實是最注重準確性的AI公司。”

OpenAI回應(yīng)《自然》，當前ChatGPT的底層模型已大幅升級，在提供安全、準確的醫(yī)療信息方面表現(xiàn)更佳。上述實驗進行期間，底層模型是GPT-5，舊版本所犯錯誤，不會出現(xiàn)在當前的新版本里。

谷歌的回復(fù)也提到新舊版本差異。它還建議，醫(yī)療敏感問題應(yīng)咨詢專業(yè)人士。 而 截至文章發(fā)布， 《 自然》稱， 沒有得到微軟官方回應(yīng)。

虛假信息的“教科書級案例”

《自然》引用第三方評述稱， “ 比克索尼躁狂癥 研究 ” 是 “ 虛假、惡意信息傳播的教科書級案例”。

但更多人想知道：如此一眼假的內(nèi)容， 難道 智能的大語言模型都瞎了嗎？

《自然》分析，答案或藏在AI模型的底層邏輯里。它 所做的 ， 是 從 海量文本中學習語言模式，預(yù)測什么樣的回答 “ 聽上去最合理 ”， 生成符合期待的語言。核實事實 從來不是它的任務(wù)項。

基于此，針對 同一個AI，問法不同，答案就 不一樣 。 比如， 用 AI引擎 搜索 “ 比克索尼躁狂癥 ” ， AI概覽可能將其視為真實病癥 。若搜索時提問“ 它 真實存在嗎？ ” 同一個AI 就 可能 說實話“并不存在” 。

可惜的是， 大多數(shù) 使用者 并不 清楚 ，AI識別虛假信息的能力， 和自己的 提問 方式有關(guān) 。 《自然》 稱 ， 新 的大語言 模型的 更新 速度 非?？?。目前沒有一套共識 或 一種方法，能自動 、有效地測評 每一個 新模型，更 不用提 完善全流程的事實核查機制。

同時 ，這 也 和AI的訓(xùn)練方式、安全護欄等密不可分。主流大模型的建立 和 設(shè)計， 是 依托于巨型互聯(lián)網(wǎng)爬蟲數(shù)據(jù)庫。 一旦 虛假信息在互聯(lián)網(wǎng)留下痕跡，就可能被無差別抓取，納入數(shù)據(jù)庫，用來訓(xùn)練AI。

進一步地，當這些虛假信息被包裝成學術(shù)論文等“官方來源”時， AI 更有可能將其視作“真實可靠”。

美國哈佛醫(yī)學院內(nèi)科醫(yī)生 奧馬爾（ Mahmud Omar ） 曾測試過20個大語言模型，他 發(fā)現(xiàn)相較于社交媒體內(nèi)容 ， 當內(nèi)容 出現(xiàn)在 “ 看起來像 專業(yè)醫(yī)療文書” 的 格式 中， 比如醫(yī)院電子病歷、臨床學術(shù)論文等，AI就更可能 把它歸類為 “ 可信知識 ” ，再用同樣的權(quán)威語氣轉(zhuǎn)述給用戶 。

這正是《自然》報道所指出的核心 問題 ：格式的權(quán)威感，在AI眼中，代替了內(nèi)容的真實性。

至于 圖恩斯特倫 ，她告訴《自然》，這已經(jīng)不是自己第一次 “說謊” 了。

圖恩斯特倫 曾做過另一個被廣泛引用的實驗 ， 她 讓 AI 寫學術(shù)論文， 并用“ GPT-3 ”作為 第一作者正式投稿。 有 一家期刊拒了，另一家同行評審期刊 則 接收 了 。 圖恩斯特倫 當時寫道 ：“ 希望我們沒有打開潘多拉的盒子 ?！?/p>

而 這一次，她用一種不存在的病， 讓大家看到 盒子里裝著 的是 什么。

來源：醫(yī)學界

校對：蔡 菜

運營：莉 莉

責編：汪 航

值班：凌 駿

*“醫(yī)學界”力求所發(fā)表內(nèi)容專業(yè)、可靠，但不對內(nèi)容的準確性做出承諾；請相關(guān)各方在采用或以此作為決策依據(jù)時另行核查。