DOCTOR-R1：將臨床問診建模為 POMDP，用強(qiáng)化學(xué)習(xí)訓(xùn)練會動態(tài)提問的醫(yī)療智能體。

作者丨鄭佳美

編輯丨岑 峰

在醫(yī)療人工智能的發(fā)展歷程中，能力評估方式在很大程度上塑造了技術(shù)演進(jìn)的方向。

過去相當(dāng)長一段時(shí)間里，醫(yī)療 AI 的進(jìn)步主要圍繞醫(yī)學(xué)知識獲取與推理展開，模型是否“足夠聰明”通常通過醫(yī)學(xué)考試題、臨床問答數(shù)據(jù)集等靜態(tài)基準(zhǔn)來衡量。在這一評價(jià)框架下，模型只需在信息完整、問題封閉的條件下給出正確答案，便被視為具備較高的醫(yī)療能力。

隨著大語言模型的興起，這一路徑迅速取得突破性進(jìn)展，多種系統(tǒng)在 MedQA 等測試中達(dá)到甚至超過人類專家水平，使得“醫(yī)療 AI 是否已經(jīng)成熟”一度成為行業(yè)內(nèi)的樂觀判斷。

然而，隨著這些模型被逐步引入更貼近真實(shí)臨床的交互場景，一個(gè)長期被掩蓋的問題開始顯現(xiàn)：真實(shí)醫(yī)療實(shí)踐并非基于完整信息給出診斷，而是一種在高度不確定條件下，通過連續(xù)提問、風(fēng)險(xiǎn)識別與信息整合來逐步逼近決策的動態(tài)過程。

模型在靜態(tài)評測中展現(xiàn)出的知識優(yōu)勢，并未自然轉(zhuǎn)化為對真實(shí)問診場景的可靠支持，反而在多輪對話中暴露出提問策略僵化、對高風(fēng)險(xiǎn)信號反應(yīng)遲鈍、過早形成結(jié)論以及缺乏基本溝通與共情能力等缺陷。

這種“高分通過考試，卻難以勝任臨床問診”的斷層，逐漸成為醫(yī)療 AI 領(lǐng)域的核心瓶頸，也迫使研究者重新思考一個(gè)根本性問題：醫(yī)療智能體真正需要被訓(xùn)練和評估的，究竟是什么能力。

在這一背景下，清華大學(xué)劉洋團(tuán)隊(duì)提出了題為《DOCTOR-R1: Mastering Clinical Inquiry with Experiential Agentic Reinforcement Learning》的研究工作，試圖從問題建模和訓(xùn)練范式層面打破以靜態(tài)知識評測為中心的既有路徑。

這項(xiàng)研究不再將模型能力簡單等同于知識覆蓋度或參數(shù)規(guī)模，而是將臨床問診本身視為一個(gè)長期、多輪、部分可觀測且高度風(fēng)險(xiǎn)敏感的決策過程，重點(diǎn)探索如何讓模型學(xué)會在信息不完整的條件下提出高價(jià)值問題、動態(tài)調(diào)整詢問策略，并在整個(gè)過程中保持安全意識與溝通質(zhì)量。為醫(yī)療智能體從工具型問答系統(tǒng)邁向具備臨床推理與交互能力的決策主體提供了新的研究范式。

論文鏈接：https://arxiv.org/pdf/2510.04284

01

從模板化提問到策略性問診

這項(xiàng)研究的實(shí)驗(yàn)結(jié)果本質(zhì)上圍繞三個(gè)核心問題展開，即現(xiàn)有模型在真實(shí)臨床問診場景中究竟面臨哪些挑戰(zhàn)，DOCTOR-R1 在哪些具體能力層面彌補(bǔ)了這些不足，以及這些能力提升是否確實(shí)源于研究團(tuán)隊(duì)提出的方法機(jī)制而非偶然因素。

研究人員首先通過對照實(shí)驗(yàn)揭示了一個(gè)關(guān)鍵事實(shí)：在靜態(tài)醫(yī)學(xué)問答任務(wù)中表現(xiàn)優(yōu)異的模型，在需要多輪交互的動態(tài)臨床問診環(huán)境中會出現(xiàn)系統(tǒng)性失效。

這種失效并非源于醫(yī)學(xué)知識儲備不足，而主要體現(xiàn)在問診策略層面，例如提問順序缺乏針對性，傾向于使用信息增益較低的標(biāo)準(zhǔn)化體檢式問題；在患者給出潛在高危信號后，仍難以及時(shí)調(diào)整提問路徑，而是沿用固定模板繼續(xù)詢問；在關(guān)鍵信息尚未充分收集的情況下過早形成判斷，甚至給出不恰當(dāng)?shù)陌矒嵝曰蝈e(cuò)誤建議；以及整體溝通方式與真實(shí)醫(yī)療場景不匹配，表現(xiàn)為共情不足、語氣過于武斷或?qū)Σ淮_定性處理不當(dāng)。

由于這些問題在 MedQA、MMLU 等靜態(tài)評測中幾乎不會暴露，研究指出傳統(tǒng)評測方式對模型真實(shí)臨床能力存在失真。與之相比，DOCTOR-R1 的性能提升并非體現(xiàn)在單一指標(biāo)上，而是整體改變。DOCTOR-R1模型除了在上述傳統(tǒng)測試的表現(xiàn)優(yōu)于已有模型，在 MAQuE等模擬評測數(shù)據(jù)集上，其最終表現(xiàn)也優(yōu)于 GPT-4.1 等模型。

這一點(diǎn)在對話輪次與準(zhǔn)確率關(guān)系的分析中也得以體現(xiàn)，DOCTOR-R1 從首輪對話開始即占據(jù)優(yōu)勢，并且隨著對話推進(jìn)持續(xù)擴(kuò)大領(lǐng)先幅度，體現(xiàn)出一種越問越準(zhǔn)的策略特征。

同時(shí)，在 HealthBench 的溝通質(zhì)量、上下文理解和回答完整性等指標(biāo)上，DOCTOR-R1 的提升幅度明顯高于準(zhǔn)確率本身，表明良好的溝通與共情能力并非附帶收益，而是其問診策略的內(nèi)在組成部分，即共情本身有助于提高信息獲取效率。

進(jìn)一步的消融實(shí)驗(yàn)驗(yàn)證了這一結(jié)論。研究團(tuán)隊(duì)發(fā)現(xiàn)，在移除過程獎勵(lì)、僅保留最終診斷獎勵(lì)的情況下，模型雖然仍能學(xué)習(xí)到正確的診斷結(jié)果，但中間問診過程明顯退化為模板化和低風(fēng)險(xiǎn)偏好模式，在高風(fēng)險(xiǎn)場景中更容易產(chǎn)生安全性不足的回答，說明如果不對提問過程本身進(jìn)行顯式獎勵(lì)，模型會傾向于忽略如何提問這一關(guān)鍵能力。

而當(dāng)經(jīng)驗(yàn)庫機(jī)制被移除時(shí)，模型在新場景中的適應(yīng)能力顯著下降，在相似病例上的表現(xiàn)也更加不穩(wěn)定，對話策略波動明顯增大，這表明僅依賴 on-policy 強(qiáng)化學(xué)習(xí)不足以模擬真實(shí)醫(yī)生通過長期經(jīng)驗(yàn)積累形成的穩(wěn)定問診策略。

因此，這些實(shí)驗(yàn)結(jié)果并非對整體性能的簡單補(bǔ)充，而是從多個(gè)角度直接支撐了研究團(tuán)隊(duì)提出的核心機(jī)制設(shè)計(jì)。

02

讓模型在不確定中學(xué)會決策

在實(shí)驗(yàn)設(shè)計(jì)層面，研究團(tuán)隊(duì)認(rèn)為必須采用強(qiáng)化學(xué)習(xí)而非單純的微調(diào)方法，其核心判斷在于兩者所能學(xué)習(xí)的能力本質(zhì)不同。

微調(diào)主要教會模型在獲取完整信息后如何生成回答，而臨床問診的關(guān)鍵并不在于“如何作答”，而在于模型在尚不清楚答案的情況下，如何決定下一步應(yīng)該詢問什么信息。

這一過程本質(zhì)上屬于行動會改變未來可獲取信息結(jié)構(gòu)的序列決策問題，因此天然更適合用強(qiáng)化學(xué)習(xí)來建模。進(jìn)一步地，研究人員指出臨床問診并非一個(gè)完全可觀測的決策過程。在真實(shí)醫(yī)療場景中，患者自身往往也無法完整理解病情，醫(yī)生只能通過患者的回答逐步反推出潛在狀態(tài)，且大量關(guān)鍵信息只有在被主動詢問后才會顯現(xiàn)。

基于這一現(xiàn)實(shí)，該研究將問診過程建模為部分可觀測馬爾可夫決策過程，而非簡單的馬爾可夫決策過程，其中真實(shí)病情狀態(tài)對醫(yī)生模型不可見，醫(yī)生所獲得的觀察信息具有噪聲和不完整性，而每一次提問行為都會直接影響下一步能夠獲得的信息內(nèi)容。

這一建模方式對于保留“問什么才有意義”這一核心問題至關(guān)重要。與此同時(shí)，研究團(tuán)隊(duì)強(qiáng)調(diào)多智能體交互環(huán)境并非形式上的復(fù)雜化，而是提升泛化能力的必要條件。如果患者僅由固定腳本模擬，模型很容易學(xué)會針對腳本進(jìn)行應(yīng)對，從而在真實(shí)場景中表現(xiàn)出極差的泛化能力。

為此，研究人員使用大語言模型扮演患者智能體，因此即便在相同疾病背景下，患者的表述方式、回答順序以及風(fēng)險(xiǎn)信號的暴露時(shí)機(jī)都具有高度多樣性，從而讓醫(yī)生智能體真正學(xué)習(xí)穩(wěn)定有效的問診策略，而非記憶固定套路。

在獎勵(lì)設(shè)計(jì)方面，研究提出的雙層獎勵(lì)機(jī)制旨在解決長期存在的兩個(gè)關(guān)鍵難題。一方面，如果僅依據(jù)最終診斷結(jié)果給予獎勵(lì)，模型往往會傾向于過早猜測并提前結(jié)束對話，導(dǎo)致中間問診過程不可控，高風(fēng)險(xiǎn)錯(cuò)誤也難以及時(shí)被懲罰；另一方面，醫(yī)療決策中普遍存在否決型錯(cuò)誤，即一次危險(xiǎn)建議或嚴(yán)重誤判無法被多次禮貌或合理表達(dá)所抵消。

不同于傳統(tǒng)的權(quán)重平均得分，研究團(tuán)隊(duì)引入了分層懲罰機(jī)制，將安全性、推理合理性和醫(yī)學(xué)準(zhǔn)確性置于最高優(yōu)先級，一旦觸發(fā)底線錯(cuò)誤即直接給予強(qiáng)負(fù)獎勵(lì)。這種在強(qiáng)化學(xué)習(xí)中相對激進(jìn)的設(shè)計(jì)雖然約束嚴(yán)格，但能讓模型守住臨床安全的底線，且更貼近真實(shí)醫(yī)療場景的風(fēng)險(xiǎn)要求。

最后，在經(jīng)驗(yàn)利用機(jī)制上，該研究并未將經(jīng)驗(yàn)庫視為普通的記憶模塊，而是將其定位為經(jīng)過篩選的“高質(zhì)量醫(yī)生經(jīng)驗(yàn)”。研究人員通過僅存儲高獎勵(lì)軌跡、在檢索時(shí)同時(shí)考慮語義相似度與歷史獎勵(lì)，并引入新穎性約束以避免模型反復(fù)依賴同一問診套路，使模型在面對新患者時(shí)更接近一名積累了大量臨床經(jīng)驗(yàn)的醫(yī)生，而非簡單依賴答案記憶的學(xué)生。

03

真實(shí)臨床能力導(dǎo)向的醫(yī)療 AI 方法論啟示

從整體意義上看，這項(xiàng)研究在醫(yī)療人工智能領(lǐng)域具有明確而深遠(yuǎn)的啟示作用。研究結(jié)果首先表明，當(dāng)前醫(yī)療 AI 的瓶頸不僅受限于模型所具備的醫(yī)學(xué)知識規(guī)模，還在于是否采用了與真實(shí)臨床實(shí)踐相匹配的訓(xùn)練范式。

通過實(shí)驗(yàn)可以看到，在參數(shù)規(guī)模僅為 8B 的條件下，結(jié)合合適的強(qiáng)化學(xué)習(xí)訓(xùn)練框架，模型在多項(xiàng)動態(tài)問診指標(biāo)上能夠超過參數(shù)規(guī)模達(dá)到 32B 甚至 70B 的知識型模型，這一現(xiàn)象對長期以來以模型規(guī)模和知識覆蓋度為中心的發(fā)展路徑形成了糾偏。

其次，研究將以往被視為難以量化和系統(tǒng)訓(xùn)練的軟技能問題轉(zhuǎn)化為可優(yōu)化目標(biāo)。研究人員通過合理的任務(wù)建模和獎勵(lì)設(shè)計(jì)，使得共情表達(dá)、溝通質(zhì)量以及對不確定性的處理等能力能夠被穩(wěn)定評估并持續(xù)強(qiáng)化，驗(yàn)證了軟技能并非只能依賴隱式學(xué)習(xí)或人工規(guī)則，而是可以納入統(tǒng)一的訓(xùn)練與評價(jià)體系之中。

最后，從方法論層面來看，研究提出的框架為真實(shí)世界智能體的構(gòu)建提供了一種具有可復(fù)制性的通用模板。其核心問題特征包括不完全信息條件下的決策、面向長期目標(biāo)的序列行為、高風(fēng)險(xiǎn)情境中的安全約束以及對經(jīng)驗(yàn)積累機(jī)制的依賴，而這些特征正是大多數(shù)真實(shí)世界智能體任務(wù)所共有的。

因此，這項(xiàng)工作的意義不僅局限于醫(yī)療領(lǐng)域，也為更廣泛的智能體研究提供了具有參考價(jià)值的范式思路。

04

構(gòu)建 DOCTOR-R1 的人

論文第一作者為黎雍卉，清華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系碩士研究生，導(dǎo)師為劉洋教授。她的主要研究方向?yàn)橹腔坩t(yī)療與大模型智能體，特別是在醫(yī)療模型的交互、進(jìn)化、推理等方面的能力優(yōu)化。她已發(fā)表了ICLR等多篇成果，曾獲中國政府獎學(xué)金、北京市政府獎學(xué)金、清華計(jì)算機(jī)系 84 創(chuàng)新未來獎學(xué)金等多項(xiàng)榮譽(yù)。

論文的共同通訊作者之一是馬為之，他是清華大學(xué)智能產(chǎn)業(yè)研究院副研究員，主要從事智能信息獲取與智慧醫(yī)療的研究工作。他在 SIGIR、ICLR 等國際頂級會議以及 Nature Medicine 等權(quán)威期刊上發(fā)表了100余篇論文，曾獲得SIGIR、EMNLP等會議的論文獎項(xiàng)，入選中國科協(xié)青年人才托舉工程、北京市科技新星。目前擔(dān)任 ACM TOIS 副主編及中國中文信息學(xué)會青工委秘書長。

參考鏈接：https://air.tsinghua.edu.cn/info/1046/1196.htm

論文的另一位共同通訊作者是劉洋，他是清華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系萬國數(shù)據(jù)教授、智能產(chǎn)業(yè)研究院院長、人工智能醫(yī)院聯(lián)席執(zhí)行院長。研究方向?yàn)樽匀徽Z言處理、智慧醫(yī)療和科學(xué)智能。

劉洋教授承擔(dān)國家自然科學(xué)基金委杰出青年項(xiàng)目、科技創(chuàng)新2030“新一代人工智能”重大項(xiàng)目等重要科研項(xiàng)目，獲得國家科技進(jìn)步二等獎1項(xiàng)、省部級與一級學(xué)會科技獎勵(lì)5項(xiàng)、重要國際會議優(yōu)秀論文獎4項(xiàng)。主要學(xué)術(shù)兼職包括中國人工智能學(xué)會組織工作委員會主任、中國中文信息學(xué)會計(jì)算語言學(xué)專業(yè)委員會主任等。

參考鏈接：https://nlp.csai.tsinghua.edu.cn/~ly

未經(jīng)「AI科技評論」授權(quán)，嚴(yán)禁以任何方式在網(wǎng)頁、論壇、社區(qū)進(jìn)行轉(zhuǎn)載！

公眾號轉(zhuǎn)載請先在「AI科技評論」后臺留言取得授權(quán)，轉(zhuǎn)載時(shí)需標(biāo)注來源并插入本公眾號名片。