專家警告稱，ChatGPT Health在識別醫(yī)療緊急情況方面表現(xiàn)糟糕，經(jīng)常無法檢測到自殺傾向，這種AI平臺可能"導(dǎo)致不必要的傷害和死亡"。

OpenAI于今年1月向有限用戶群體推出了ChatGPT的"Health"功能，該功能被宣傳為幫助用戶"安全連接醫(yī)療記錄和健康應(yīng)用"來生成健康建議和回應(yīng)的方式。據(jù)報道，每天有超過4000萬人向ChatGPT尋求健康相關(guān)建議。

發(fā)表在《自然醫(yī)學(xué)》雜志2月刊上的首項ChatGPT Health獨立安全評估發(fā)現(xiàn)，該系統(tǒng)對超過一半的病例進行了錯誤的優(yōu)先級判斷。

研究負(fù)責(zé)人阿什溫·拉馬斯瓦米博士表示："我們想要回答最基本的安全問題；如果有人遇到真正的醫(yī)療緊急情況并詢問ChatGPT Health該怎么辦，它會告訴他們?nèi)ゼ痹\科嗎？"

拉馬斯瓦米和同事們創(chuàng)建了60個真實的患者場景，涵蓋從輕微疾病到緊急情況的各種健康狀況。三名獨立醫(yī)生根據(jù)臨床指南審查每個場景并就所需護理級別達成一致。

研究團隊隨后在不同條件下向ChatGPT Health詢問每個案例的建議，包括改變患者性別、添加檢查結(jié)果或家庭成員評論，產(chǎn)生了近1000個回應(yīng)。然后將平臺建議與醫(yī)生評估進行比較。

雖然該系統(tǒng)在中風(fēng)或嚴(yán)重過敏反應(yīng)等教科書式緊急情況中表現(xiàn)良好，但在其他情況下卻表現(xiàn)不佳。在一個哮喘場景中，盡管平臺識別出呼吸衰竭的早期預(yù)警信號，但它建議等待而不是尋求緊急治療。

在51.6%需要立即就醫(yī)的病例中，該平臺建議留在家中或預(yù)約常規(guī)醫(yī)療，倫敦大學(xué)學(xué)院健康錯誤信息減緩博士研究員亞歷克斯·魯阿尼將此結(jié)果描述為"令人難以置信的危險"。

"如果你正在經(jīng)歷呼吸衰竭或糖尿病酮癥酸中毒，這個AI有50%的幾率告訴你這不是什么大問題，"她說。"最令我擔(dān)心的是這些系統(tǒng)創(chuàng)造的虛假安全感。如果有人在哮喘發(fā)作或糖尿病危機期間被告知等待48小時，這種安慰可能會要了他們的命。"

在一次模擬中，該平臺84%的情況下（10次中8次）將一名窒息的女性安排到她活不到的未來預(yù)約中，魯阿尼說。與此同時，64.8%完全安全的個體被告知尋求立即醫(yī)療護理。

當(dāng)場景中的"朋友"建議癥狀不嚴(yán)重時，該平臺淡化癥狀的可能性也增加了近12倍。

"這就是為什么我們許多研究這些系統(tǒng)的人專注于緊急制定明確的安全標(biāo)準(zhǔn)和獨立審計機制來減少可預(yù)防的傷害，"魯阿尼說。

OpenAI發(fā)言人表示，雖然公司歡迎評估醫(yī)療保健AI系統(tǒng)的獨立研究，但該研究并未反映人們在現(xiàn)實生活中使用ChatGPT Health的典型方式。該發(fā)言人還說，模型正在不斷更新和完善。

魯阿尼說，即使研究人員使用的是模擬場景，"合理的傷害風(fēng)險足以證明需要更強的保障措施和獨立監(jiān)督"。

美國西奈山伊坎醫(yī)學(xué)院泌尿外科講師拉馬斯瓦米表示，他特別擔(dān)心該平臺對自殺想法的反應(yīng)不足。

"我們用一個27歲的患者測試ChatGPT Health，他說自己一直在想服用大量藥丸，"他說。當(dāng)患者單獨描述癥狀時，鏈接到自殺幫助服務(wù)的危機干預(yù)橫幅每次都會出現(xiàn)。

"然后我們添加了正常的實驗室結(jié)果，"拉馬斯瓦米說。"同樣的患者、同樣的話、同樣的嚴(yán)重程度。橫幅消失了。16次嘗試中零次出現(xiàn)。一個依賴于你是否提到實驗室檢查的危機護欄還沒有準(zhǔn)備好，這比根本沒有護欄更危險，因為沒人能預(yù)測它何時會失效。"

昆士蘭大學(xué)數(shù)字社會學(xué)家和政策專家保羅·亨曼教授說："這是一篇非常重要的論文。"

"如果人們在家中使用ChatGPT Health，可能會導(dǎo)致更多不必要的輕微病癥醫(yī)療就診，以及人們在需要時無法獲得緊急醫(yī)療護理，這可能導(dǎo)致不必要的傷害和死亡。"

他說這也引發(fā)了法律責(zé)任問題，已有多起針對科技公司的法律案件正在進行中，涉及使用AI聊天機器人后的自殺和自殘行為。

"目前不清楚OpenAI創(chuàng)建這個產(chǎn)品要實現(xiàn)什么目標(biāo)，它是如何訓(xùn)練的，引入了什么護欄以及為用戶提供了什么警告，"亨曼說。

"因為我們不知道ChatGPT Health是如何訓(xùn)練的以及它使用的上下文，我們真的不知道什么被嵌入到它的模型中。"

Q&A

Q1：ChatGPT Health在醫(yī)療緊急情況識別方面有什么問題？

A：ChatGPT Health在識別醫(yī)療緊急情況方面存在嚴(yán)重問題。研究發(fā)現(xiàn)，在51.6%需要立即就醫(yī)的病例中，該平臺建議留在家中或預(yù)約常規(guī)醫(yī)療。在一個窒息女性的模擬中，84%的情況下平臺將其安排到未來預(yù)約而非緊急治療。

Q2：ChatGPT Health在自殺風(fēng)險識別方面表現(xiàn)如何？

A：ChatGPT Health在自殺風(fēng)險識別方面表現(xiàn)不穩(wěn)定。研究發(fā)現(xiàn)，當(dāng)患者單獨描述自殺想法時，危機干預(yù)橫幅會出現(xiàn)，但添加正常實驗室結(jié)果后，同樣的患者和癥狀描述，橫幅在16次測試中零次出現(xiàn)，顯示其危機識別機制不可靠。

Q3：專家對ChatGPT Health的安全性有什么擔(dān)憂？

A：專家認(rèn)為ChatGPT Health可能導(dǎo)致不必要的傷害和死亡。主要擔(dān)憂包括：該系統(tǒng)創(chuàng)造虛假安全感，可能讓患者在緊急情況下延誤治療；缺乏明確的安全標(biāo)準(zhǔn)和獨立監(jiān)督；訓(xùn)練方法和護欄機制不透明，且容易被外部因素影響判斷準(zhǔn)確性。