AI 正越來越廣泛的應(yīng)用在各類科研工作里，它對(duì)數(shù)據(jù)的處理能力在加強(qiáng)循證醫(yī)學(xué)方面具有巨大潛力，但由于訓(xùn)練和評(píng)估不足而受到限制。

考慮到這種情況，美國(guó) KeiJi AI 牽頭了一項(xiàng)研究，提出了 LEADS，這是一種 AI 基礎(chǔ)模型，該模型在 633,759 個(gè)樣本上進(jìn)行了訓(xùn)練，并于測(cè)試中達(dá)到了 0.81 的召回率與 0.85 的數(shù)據(jù)提取準(zhǔn)確率。

相關(guān)研究?jī)?nèi)容以「A foundation model for human-AI collaboration in medical literature mining」為題，于 2025 年 9 月 24 日發(fā)布在《Nature Communications》。

論文鏈接：https://www.nature.com/articles/s41467-025-62058-5

高代價(jià)的工作還是交給AI

文獻(xiàn)挖掘，在當(dāng)下各類期刊、綜述類文章頻出的當(dāng)下，顯得越發(fā)重要，尤其是系統(tǒng)評(píng)價(jià)的激增。但是考慮到每年發(fā)布的文章數(shù)量與系統(tǒng)文件評(píng)價(jià)所需要的時(shí)間與成本，無疑讓一切都顯得障礙重重。

而諸如 ChatGPT 這樣的大語言模型（LLMs），它們作為通用 AI 能夠適應(yīng)各種任務(wù)，有些還推出了以理解分析為主要導(dǎo)向的學(xué)習(xí)功能。這些基礎(chǔ)模型通常通過兩種主要方法適應(yīng)醫(yī)學(xué)任務(wù)：提示，如情境學(xué)習(xí)（ICL）、思維鏈（CoT）和檢索增強(qiáng)生成（RAG）；以及針對(duì)特定任務(wù)的微調(diào)，如命名實(shí)體識(shí)別和證據(jù)摘要。

但是，研究團(tuán)隊(duì)發(fā)現(xiàn)，用 GPT-4o 這樣的通用模型來挖掘醫(yī)學(xué)文獻(xiàn)，常常出現(xiàn)召回率不足、提取信息不準(zhǔn)的問題。換句話說，它懂語言，但不夠懂「醫(yī)學(xué)文獻(xiàn)套路」。所以，大家決定打造一個(gè)專門的基礎(chǔ)模型，LEADS 就此誕生。

圖 1：LEADS 和 LEADSInstruct 概述。

LEADS 基于通用大模型（Mistral-7B），再用大規(guī)模醫(yī)學(xué)綜述數(shù)據(jù)集 LEADSInstruct 進(jìn)行指令微調(diào)。該數(shù)據(jù)集來源于21,335 篇系統(tǒng)綜述、453,625 篇相關(guān)文獻(xiàn)、27,015 個(gè)臨床試驗(yàn)記錄，覆蓋了633,759 條指令樣本。

這種全面的訓(xùn)練策略使 LEADS 能夠?qū)崿F(xiàn)多任務(wù)能力，處理靈活的輸入請(qǐng)求，并在不進(jìn)行額外微調(diào)的情況下泛化到各種文獻(xiàn)主題。在團(tuán)隊(duì)的關(guān)于廣泛綜述主題和數(shù)千項(xiàng)系統(tǒng)評(píng)價(jià)的實(shí)驗(yàn)中，LEADS 在所有目標(biāo)任務(wù)上均優(yōu)于 GPT-4o 等尖端通用 LLM。

訓(xùn)練的方式還是很直接的，就像《我愛發(fā)明》的經(jīng)典環(huán)節(jié)一樣：人工組對(duì) AI 組。

測(cè)試與人機(jī)對(duì)比

LEADS 解決了系統(tǒng)評(píng)價(jià)方法中的三個(gè)基本任務(wù)：文獻(xiàn)檢索、引文篩選和數(shù)據(jù)提取。在出版物和臨床試驗(yàn)搜索任務(wù)中的性能評(píng)估里，LEADS 在兩個(gè)任務(wù)中實(shí)現(xiàn)了 24.68 和 32.11 的召回率，分別超過了最佳基線 3.76 和 7.43。

在實(shí)際應(yīng)用中，可以采用集成方法，并使用匯總結(jié)果以最大化覆蓋范圍，團(tuán)隊(duì)將此稱為 LEADS + 集成。這種方法顯著提高了性能，與單次遍歷的 LEADS 相比，召回率提高了三到四倍，對(duì)于出版物搜索的平均召回率超過 70，對(duì)于試驗(yàn)搜索任務(wù)超過 65。

圖 2：LEADS 執(zhí)行文獻(xiàn)篩選任務(wù)。

除此之外，團(tuán)隊(duì)還就文獻(xiàn)檢索、自動(dòng)化評(píng)估與提取數(shù)據(jù)簡(jiǎn)化等方向?qū)δＰ驼归_了評(píng)估，均表現(xiàn)出了優(yōu)異的性能。在隨后進(jìn)行的專家+AI 與純專家組的對(duì)比中，這一點(diǎn)會(huì)更直觀地反映出來。

圖 3：研究篩選和數(shù)據(jù)提取的試點(diǎn)用戶研究。

在模擬實(shí)驗(yàn)中，專家單干的召回率是 0.78，加上 LEADS 提升到 0.81；平均用時(shí)從 580 秒降到 449 秒，節(jié)省了約 20.8% 的時(shí)間。數(shù)據(jù)提取的準(zhǔn)確率由 0.80 提升到 0.85；時(shí)間從 113.9 秒降到 83.3 秒，節(jié)省了 26.9%。

團(tuán)隊(duì)表示：LEADS 排除的幾乎所有研究也都被人工審稿人排除，且 LEADS 的 Recall@100 超過 90%，這意味著在實(shí)踐中，專家可以放心地主要關(guān)注前 100 個(gè)結(jié)果，而不會(huì)錯(cuò)過相關(guān)研究。

刷文獻(xiàn)的好方法

LEADS 的出現(xiàn)，意味著醫(yī)學(xué)研究不再只能靠研究者「手動(dòng)刨文獻(xiàn)」。它不是要取代專家，而是幫他們減輕負(fù)擔(dān)，讓結(jié)果更快、更準(zhǔn)。憑借其設(shè)計(jì)，LEADS 可以無縫集成到現(xiàn)有的 TrialMind 網(wǎng)絡(luò)平臺(tái)作為后端組件，使醫(yī)學(xué)專業(yè)人士能夠無任何技術(shù)障礙地使用它。

但究其本質(zhì)仍然只是一個(gè)挖掘信息的道具，LEADS 還是依賴于從醫(yī)學(xué)文獻(xiàn)中獲取的培訓(xùn)數(shù)據(jù)以及指令數(shù)據(jù)生成管道的質(zhì)量。不過，既然它已經(jīng)表現(xiàn)出來優(yōu)于通用 LLMs 的卓越性能，那不妨就此嘗試一下人機(jī)協(xié)作。