Large Language Models

—Misdiagnosing Diagnostic Excellence?

編譯自：Sumant R. Ranji, MD，JAMA Netw Open. 2024;7(10) 圖片來自網(wǎng)絡(luò)。

在最近的一次美國國家醫(yī)學(xué)科學(xué)院會議上，Goh團(tuán)隊的研究成果引起了聽眾的震驚與擔(dān)憂。這項隨機(jī)臨床試驗評估了全科醫(yī)生在診斷6個模擬病例時的表現(xiàn)。醫(yī)生被分為兩組：一組僅使用常規(guī)在線資源，另一組除了這些資源外，還額外使用大語言模型(LLM) (ChatGPT Plus [GPT-4]; OpenAI)。此外，研究還單獨測試了LLM的診斷能力。為了客觀評價診斷質(zhì)量，研究團(tuán)隊設(shè)計了一套評分標(biāo)準(zhǔn)，由專家對臨床推理過程進(jìn)行盲評，包括醫(yī)生的最終診斷、鑒別診斷及支持/不支持診斷的因素。

研究的主要發(fā)現(xiàn)是：使用LLM輔助診斷的醫(yī)生得分與僅使用傳統(tǒng)資源的醫(yī)生相比，并沒有顯著提高。然而，LLM單獨完成診斷時的表現(xiàn)卻顯著優(yōu)于任何一組醫(yī)生。這一結(jié)果引發(fā)了不少人對自身職業(yè)未來的擔(dān)憂，不少與會者甚至擔(dān)憂：“我們會失業(yè)嗎？”

Goh團(tuán)隊的試驗在探索生成式人工智能（AI）應(yīng)用于診斷方面邁出了重要一步。該研究通過分析未經(jīng)專業(yè)LLM培訓(xùn)的醫(yī)生如何在實際場景中使用GPT-4，為現(xiàn)階段和可預(yù)見未來的臨床實踐提供了真實的評估。值得注意的是，這項研究沒有單純關(guān)注最終診斷的準(zhǔn)確性，而是強(qiáng)調(diào)診斷過程的質(zhì)量，這種更全面的評價方法值得未來研究借鑒。研究同時表明，僅靠生成式AI并不能提高診斷質(zhì)量，醫(yī)生需要接受專門的培訓(xùn)，才能充分發(fā)揮這類工具的潛力。

作者提醒道：“研究結(jié)果并不意味著LLM可以獨立承擔(dān)診斷任務(wù)，醫(yī)生的監(jiān)督仍然必不可少。”然而，LLM單獨診斷表現(xiàn)優(yōu)于醫(yī)生的結(jié)果，勢必成為引發(fā)關(guān)注的核心話題。對于以診斷為核心職業(yè)身份的醫(yī)生來說，使用LLM進(jìn)行診斷的前景既讓人興奮，也讓人感到不安。隨著更多關(guān)于LLM診斷能力的研究發(fā)表，醫(yī)生應(yīng)當(dāng)如何看待這些新技術(shù)的挑戰(zhàn)和機(jī)遇呢？

需要謹(jǐn)慎對待的是，LLM在模擬病例中的優(yōu)異表現(xiàn)是否可以推廣到實際的臨床實踐中。模擬病例的診斷條件通常是理想化的——病史、體格檢查結(jié)果、實驗室及影像學(xué)數(shù)據(jù)都以整齊有序的方式呈現(xiàn)，便于構(gòu)建鑒別診斷。而實際臨床診斷是一個復(fù)雜的迭代過程，往往需要在繁雜的環(huán)境中整合來自患者、家屬及多學(xué)科團(tuán)隊的多種信息，這種非線性的過程需要在不斷獲取新信息的基礎(chǔ)上不斷修正診斷，同時還需要將治療反應(yīng)納入診斷推理，診斷和治療之間的區(qū)別往往變得模糊。

那么，LLM在接近真實臨床環(huán)境下的表現(xiàn)如何？最近的一項研究評估了LLM在處理4種常見腹部疾病的診斷和管理方案制定中的表現(xiàn)。研究中，LLM接收的是逐步呈現(xiàn)的患者數(shù)據(jù)，每個步驟后需總結(jié)信息并提出診斷或額外檢查建議。完成診斷后，LLM還需制定治療計劃。然而，在這種現(xiàn)實化的場景中，LLM的表現(xiàn)很差：除最簡單的病例外，其診斷表現(xiàn)顯著遜色于醫(yī)生，同時，LLM 也未能始終如一地要求進(jìn)行適當(dāng)?shù)脑\斷檢查，即使在得出正確診斷后也經(jīng)常提出錯誤的治療建議。

盡管LLM的性能在不斷提升，但當(dāng)前的局限性仍需關(guān)注。即便未來LLM能夠基于不斷變化的信息完成復(fù)雜的迭代診斷，它是否能夠有效減少診斷錯誤帶來的傷害仍然值得懷疑。

醫(yī)學(xué)診斷中的錯誤通常源于系統(tǒng)性失誤（潛在錯誤），這些問題讓個體醫(yī)生的錯誤（顯性錯誤）最終影響患者。生成式AI的優(yōu)勢在于幫助醫(yī)生減少認(rèn)知錯誤，即數(shù)據(jù)收集和整合方面的失敗。但認(rèn)知錯誤并不是孤立于醫(yī)療系統(tǒng)之外的，它往往是醫(yī)生在充滿潛在錯誤的環(huán)境中工作時的表現(xiàn)，例如人員不足、工作壓力大、不完善的電子病歷系統(tǒng)以及醫(yī)護(hù)團(tuán)隊溝通不暢。這些系統(tǒng)性問題會增加醫(yī)生的認(rèn)知負(fù)擔(dān)，阻礙其做出準(zhǔn)確決策。專注于 AI 的生成潛力以防止認(rèn)知錯誤，可能會最大限度地減少系統(tǒng)故障在診斷錯誤中的作用，并分散人們對解決這些問題的注意力。

實現(xiàn)卓越診斷需要建立一個支持醫(yī)生準(zhǔn)確決策并全程服務(wù)患者的醫(yī)療體系。生成式AI可以成為其中的重要組成部分，但要成功地將LLM融入臨床診斷，還需要技術(shù)的進(jìn)一步完善、醫(yī)生的系統(tǒng)性培訓(xùn)，以及AI與臨床環(huán)境的深度融合。即使這些條件都具備，也不應(yīng)期待AI能夠獨立解決所有診斷問題。

對于那些認(rèn)為Goh團(tuán)隊的研究結(jié)果威脅到醫(yī)生職業(yè)安全的人來說，本文試驗中使用AI平臺的回答或許能帶來一些安慰。在試驗中，研究團(tuán)隊使用了加州大學(xué)舊金山分校的安全AI平臺（Versa），并向其提出以下問題：“既然最近的研究顯示LLM在模擬病例中的診斷準(zhǔn)確性已經(jīng)達(dá)到甚至超過了醫(yī)生，這是否意味著未來LLM會取代醫(yī)生？”

LLM的回答如下：

“大語言模型（LLM）在模擬病例診斷中顯示出前景，但完全取代醫(yī)生并不現(xiàn)實。LLM可以通過提供決策支持、處理大量數(shù)據(jù)和提出診斷建議來增強(qiáng)醫(yī)療實踐。然而，醫(yī)學(xué)實踐還包括復(fù)雜的人際互動、倫理判斷和體格檢查，這些是AI無法完全復(fù)制的。LLM是提升醫(yī)療質(zhì)量的工具，而非醫(yī)生的替代品。LLM的整合應(yīng)以協(xié)作為目標(biāo)，而非取代?！?/strong>

這段回應(yīng)恰如其分地總結(jié)了生成式AI在醫(yī)療領(lǐng)域的定位。我們不應(yīng)將其視為威脅，而應(yīng)將其視為一種可以與醫(yī)生合作的強(qiáng)大工具，共同推動醫(yī)療診斷的進(jìn)步。

【原文】 https://jamanetwork.com/journals/jamanetworkopen/fullarticle/2825399