*僅供醫(yī)學(xué)專業(yè)人士閱讀參考

瑞典學(xué)者杜撰了一種疾病，寫了兩篇假論文，并注明研究贊助來源于“指環(huán)王和銀河三巨頭大學(xué)”。她想知道AI能不能識(shí)破這種一眼假的胡說八道。

撰文：燕小六、凌駿

為了驗(yàn)證人工智能（ AI ）輸出的醫(yī)療信息是否靠譜，以及是否具有辨別真?zhèn)蔚哪芰Γ呀?jīng)有科學(xué)家開始“釣魚執(zhí)法”了。

2024年， 瑞典哥德堡大學(xué)研究員奧斯曼諾維奇 · 圖恩斯特倫 （ Almira Osmanovic Thunstr?m）團(tuán)隊(duì)虛構(gòu)了一種眼病——“ 比克索尼躁狂癥 （ Bixonimania） ”。他們一本正經(jīng)地捏造了漏洞百出的論文，生怕別人看不出，團(tuán)隊(duì)還在文末寫上，研究的贊助來自“指環(huán)王和銀河三巨頭大學(xué)”。

出乎意料的是，根據(jù)《自然》報(bào)道， 文章上線后的短短幾周，ChatGPT、Gemini等頂級(jí)大模型信以為真，一本正經(jīng)地給人科普這個(gè)假病，還附上患病率、發(fā)病原因 等，并提醒患者： 眼睛酸痛發(fā)癢？ 可能是“ 比克索尼躁狂癥 ”。

此外，依靠 AI 搜索生成參考文獻(xiàn)，不少研究者還將“ 比克索尼躁狂癥 ”寫進(jìn)自己的論文——但凡他們點(diǎn)進(jìn)鏈接閱讀一下原文，就能輕易發(fā)現(xiàn)這是假的。

AI建議“盡快 就醫(yī) ”

這場(chǎng)“辨?zhèn)螌?shí)驗(yàn)”始于2024年3月15日。

這天，歐美知名博客平臺(tái)Medium出現(xiàn)一個(gè)新賬戶，開始科普罕見眼病“ 比克索尼躁狂癥 ”。

一個(gè)半月 內(nèi)，該賬號(hào)發(fā)布十余篇文章，變著花兒地介紹這個(gè)無人知曉、沒有文獻(xiàn)支持的疾病。

相關(guān)文章稱，該病和過度使用電子屏幕有關(guān)，發(fā)病率約為萬分之一。疾病進(jìn)展分成4階段，患者會(huì)出現(xiàn)不同程度的眼部干澀發(fā)癢、眼瞼輕微泛紅等癥狀。

到了2024年3月和5月，在未經(jīng)同行審評(píng)的預(yù)印本平臺(tái)，策劃這項(xiàng)試驗(yàn)的 圖恩斯特倫 團(tuán)隊(duì)接連發(fā)表了兩篇關(guān)于“ 比克索尼躁狂癥 ”的研究論文。他們?cè)谘芯恐忻枋龅?，?比克索尼躁狂癥 ”是一種眼部皮膚疾病， 表現(xiàn)為眼瞼呈粉紅色 。

“ 這個(gè) 疾病名稱 聽起來 就 很荒謬 ，我就是想讓 醫(yī)務(wù)人員都 能 清楚地 看出 ，這是一種虛構(gòu)的疾病，因?yàn)槿魏窝鄄考膊《疾粫?huì)被稱為躁狂癥 ，那 是精神病學(xué)術(shù)語?！眻D恩斯特倫 告訴《自然》。

如果這還不夠明顯，圖恩斯特倫團(tuán)隊(duì)還在文中提到， 為什么“比克索尼躁狂癥”難以診斷，因?yàn)樗奶卣魇恰疤摌?gòu)”的；為了探討藍(lán)光照射對(duì)疾病的影響，研究招募了50名“虛構(gòu)人物”作為暴露組。

團(tuán)隊(duì)還編造了主要研究者和其所在的大學(xué)，這所大學(xué)位于“ Nova City”， 一座根本不存在的城市。

此外，團(tuán)隊(duì)還對(duì) 星際艦隊(duì)學(xué)院的瑪麗亞教授 表示由衷感謝，稱她提供了位于 企業(yè)號(hào)星際艦隊(duì) 上的實(shí)驗(yàn)室。而對(duì)于研究在“高級(jí)欺騙”方面的工作，“戲子鮑勃教授基金會(huì)”則給予了大力的資金支持—— 鮑勃是動(dòng)畫《辛普森一家》里的 經(jīng)典 反派角色。

戲子鮑勃? （Sideshow Bob）

但這些再明顯不過的提示，似乎沒能起到什么作用。

在兩篇論文發(fā)布后不久，微軟、谷歌等旗下的 AI 聊天軟件開始提示用戶，“ 比克索尼躁狂癥 ”是一種罕見疾病， 由過度暴露于藍(lán)光引起的 ，建議大家及時(shí)就醫(yī)。 ChatGPT 也開始向用戶介紹這一疾病，并詢問他們的癥狀是否符合“ 比克索尼躁狂癥 ”的診斷標(biāo)準(zhǔn)。

不僅如此，這項(xiàng)虛構(gòu)研究 的影響 還逐漸 擴(kuò)散到 其他 發(fā)表的醫(yī)學(xué) 論文 中。 根據(jù)《自然》報(bào)道， 一些研究人員 開始 引用了這項(xiàng)研究，包括 印度學(xué)者 發(fā)表在 期刊 Cureus 上的一 篇論文。

論文援引稱，“ 比克索尼躁狂癥 ”是 一種新 型 的眼周黑變?。≒OM），與藍(lán)光照射有關(guān) ，目前 正在對(duì)相關(guān)機(jī)制進(jìn)行進(jìn)一步研究。 今年3月30日，該論文被 Cureus 撤稿。

根據(jù) 《自然》 的調(diào)查 ， 僅2025年，就有數(shù)以萬計(jì)的學(xué)術(shù)論文可能包含由AI生成的無效參考文獻(xiàn) ， 包括 引用 文獻(xiàn) 不存在，或標(biāo)題 、 來源對(duì)不上號(hào)。

發(fā)明一種疾病

之所以想出這樣的“歪點(diǎn)子”， 圖恩斯特倫 告訴《自然》，這是源于她 對(duì)大語言模型工作原理的研究。

此前，當(dāng)她向?qū)W生們講述 AI 是如何構(gòu)建“知識(shí)體系”時(shí)， 圖恩斯特倫 會(huì)展示大型數(shù)據(jù)庫(kù)是如何影響 AI 系統(tǒng)的輸出。她還會(huì)通過實(shí)操演示，讓學(xué)生們看到，自己是如何通過輸入“提示詞”，操縱最終結(jié)果，一步步誘導(dǎo) AI 產(chǎn)生“幻覺現(xiàn)象”。

因?yàn)?圖恩斯特倫 從事醫(yī)療行業(yè)，所以她決定虛構(gòu)一種健康相關(guān)的疾病“試水”，并發(fā)明了“ 比克索尼躁狂癥 ”，以 測(cè)試 大語言模型 是否會(huì)接收這些虛假信息，并將其作為可靠的健康建議輸出。

研究團(tuán)隊(duì)在假論文中，使用AI生成患者圖片

圖恩斯特倫 還專門聯(lián) 系了一位倫理顧問來評(píng)估 風(fēng)險(xiǎn)，并選擇虛構(gòu)這種類似“黑眼圈”的低風(fēng)險(xiǎn)疾病，以減少虛假信息可能帶來的隱患。“我想看看自己能 否創(chuàng)造出一種數(shù)據(jù)庫(kù)中不存在的疾病 ，并確保這種驗(yàn)證利大于弊?！?圖恩斯特倫 告訴《自然》。從實(shí)驗(yàn)效果而言， 圖恩斯特倫 無疑是成功的。

“ 這 類 問題不僅 僅 出在大語言模型上，因?yàn)?‘ 比克索尼躁狂癥實(shí)驗(yàn) ’ 也欺騙了那些引用了虛假研究的人。 ”研究虛假健康信息的倫敦大學(xué)學(xué)院 亞歷克斯 · 魯阿尼 （Alex Ruani） 對(duì)《自然》表示，“ 我們需要像保護(hù)黃金一樣保護(hù)我們的信任，現(xiàn)在 的情況 真 是一 團(tuán)糟?！?/p>

但隨著時(shí)間推移， 漸漸地，有明眼人提出質(zhì)疑，要求看證據(jù)。頂級(jí)AI的口風(fēng)變了。今年1月，Perplexity稱“ 比克索尼躁狂癥 ”是“一個(gè)新興術(shù)語” 。

ChatGPT 則在3月11日 解釋 ： “這可能是虛構(gòu)的、邊緣的或偽科學(xué)的說法?！比欢鴰滋旌?，它又變了，稱這是一種新型的眶周黑變病亞型，與接觸數(shù)字屏幕的藍(lán)光等有關(guān)。

幾乎同期，Copilot提出 ， 該病 的 診斷尚未得到廣泛認(rèn)可，已有新發(fā)論文和病例報(bào)告 討論稱 這是一種易誤診的良性疾病，與長(zhǎng)期接觸屏幕藍(lán)光有關(guān)。

面對(duì)《自然》的置評(píng)請(qǐng)求，前述AI的母公司回應(yīng)不一。Perplexity 的發(fā)言人表示： “我們并非百分百準(zhǔn)確，但我們確實(shí)是最注重準(zhǔn)確性的AI公司?！?/p>

OpenAI回應(yīng)《自然》，當(dāng)前ChatGPT的底層模型已大幅升級(jí)，在提供安全、準(zhǔn)確的醫(yī)療信息方面表現(xiàn)更佳。上述實(shí)驗(yàn)進(jìn)行期間，底層模型是GPT-5，舊版本所犯錯(cuò)誤，不會(huì)出現(xiàn)在當(dāng)前的新版本里。

谷歌的回復(fù)也提到新舊版本差異。它還建議，醫(yī)療敏感問題應(yīng)咨詢專業(yè)人士。 而 截至文章發(fā)布， 《 自然》稱， 沒有得到微軟官方回應(yīng)。

虛假信息的“教科書級(jí)案例”

《自然》引用第三方評(píng)述稱， “ 比克索尼躁狂癥 研究 ” 是 “ 虛假、惡意信息傳播的教科書級(jí)案例”。

但更多人想知道：如此一眼假的內(nèi)容， 難道 智能的大語言模型都瞎了嗎？

《自然》分析，答案或藏在AI模型的底層邏輯里。它 所做的 ， 是 從 海量文本中學(xué)習(xí)語言模式，預(yù)測(cè)什么樣的回答 “ 聽上去最合理 ”， 生成符合期待的語言。核實(shí)事實(shí) 從來不是它的任務(wù)項(xiàng)。

基于此，針對(duì) 同一個(gè)AI，問法不同，答案就 不一樣 。 比如， 用 AI引擎 搜索 “ 比克索尼躁狂癥 ” ， AI概覽可能將其視為真實(shí)病癥 。若搜索時(shí)提問“ 它 真實(shí)存在嗎？ ” 同一個(gè)AI 就 可能 說實(shí)話“并不存在” 。

可惜的是， 大多數(shù) 使用者 并不 清楚 ，AI識(shí)別虛假信息的能力， 和自己的 提問 方式有關(guān) 。 《自然》 稱 ， 新 的大語言 模型的 更新 速度 非?？?。目前沒有一套共識(shí) 或 一種方法，能自動(dòng) 、有效地測(cè)評(píng) 每一個(gè) 新模型，更 不用提 完善全流程的事實(shí)核查機(jī)制。

同時(shí) ，這 也 和AI的訓(xùn)練方式、安全護(hù)欄等密不可分。主流大模型的建立 和 設(shè)計(jì)， 是 依托于巨型互聯(lián)網(wǎng)爬蟲數(shù)據(jù)庫(kù)。 一旦 虛假信息在互聯(lián)網(wǎng)留下痕跡，就可能被無差別抓取，納入數(shù)據(jù)庫(kù)，用來訓(xùn)練AI。

進(jìn)一步地，當(dāng)這些虛假信息被包裝成學(xué)術(shù)論文等“官方來源”時(shí)， AI 更有可能將其視作“真實(shí)可靠”。

美國(guó)哈佛醫(yī)學(xué)院內(nèi)科醫(yī)生 奧馬爾（ Mahmud Omar ） 曾測(cè)試過20個(gè)大語言模型，他 發(fā)現(xiàn)相較于社交媒體內(nèi)容 ， 當(dāng)內(nèi)容 出現(xiàn)在 “ 看起來像 專業(yè)醫(yī)療文書” 的 格式 中， 比如醫(yī)院電子病歷、臨床學(xué)術(shù)論文等，AI就更可能 把它歸類為 “ 可信知識(shí) ” ，再用同樣的權(quán)威語氣轉(zhuǎn)述給用戶 。

這正是《自然》報(bào)道所指出的核心 問題 ：格式的權(quán)威感，在AI眼中，代替了內(nèi)容的真實(shí)性。

至于 圖恩斯特倫 ，她告訴《自然》，這已經(jīng)不是自己第一次 “說謊” 了。

圖恩斯特倫 曾做過另一個(gè)被廣泛引用的實(shí)驗(yàn) ， 她 讓 AI 寫學(xué)術(shù)論文， 并用“ GPT-3 ”作為 第一作者正式投稿。 有 一家期刊拒了，另一家同行評(píng)審期刊 則 接收 了 。 圖恩斯特倫 當(dāng)時(shí)寫道 ：“ 希望我們沒有打開潘多拉的盒子 ?！?/p>

而 這一次，她用一種不存在的病， 讓大家看到 盒子里裝著 的是 什么。

醫(yī)學(xué)界感染領(lǐng)域交流群正式開放！

加入我們吧！

本文來源：醫(yī)學(xué)界

責(zé)任編輯：葉子

*“醫(yī)學(xué)界”力求所發(fā)表內(nèi)容專業(yè)、可靠，但不對(duì)內(nèi)容的準(zhǔn)確性做出承諾；請(qǐng)相關(guān)各方在采用或以此作為決策依據(jù)時(shí)另行核查。