作者丨項目團隊

編輯丨ScienceAI

過去幾年，通用領域的基礎模型（Foundation Models）在大規(guī)模、異質、高質量數據的推動下快速演進。在醫(yī)學影像場景中，基礎模型同樣被寄予厚望：期望以一次預訓練，支持多模態(tài)（CT/MR/PET/內鏡等）、多任務（分割/檢測/配準/追蹤等）與多解剖部位的統(tǒng)一處理，成為從研究到臨床的“通用底座”。

然而，醫(yī)學影像數據的獲取與標注高度依賴醫(yī)學專業(yè)知識，并受倫理與隱私的嚴格約束，現有公開數據長期呈現“小而散、偏科嚴重”的格局：與通用視覺領域的數十億圖像相比，目前公開的醫(yī)學影像數據集的規(guī)模普遍較小，通常只有數千張圖像，與通用視覺領域的數據集相差數個數量級。

此外，數據分布也嚴重不均：從類型上看，2D 數據占主導，病理、X 射線和 CT 數據較為常見，而 PET 和內鏡數據則相對稀缺；從任務上看，主要集中在分類和分割任務，檢測、配準和追蹤等任務的數據供給不足；從部位上看，數據大多覆蓋腦、肺、肝和乳腺等，心血管和肌骨等部位的相關資源則比較薄弱。由于缺乏對現有數據的全面系統(tǒng)性梳理和一套行之有效的數據融合方法，醫(yī)學基礎模型的發(fā)展正面臨著關鍵瓶頸。

Project Imaging-X 由上海人工智能實驗室、上海創(chuàng)智學院、劍橋大學、中國科學院大學、上海交通大學、蒙納士大學、上?？茖W智能研究院、復旦大學等多家國內外頂尖高校與研究機構聯合發(fā)起。項目匯聚了人工智能、醫(yī)學影像、數據科學與臨床醫(yī)學等領域的專家學者，構建跨地域、跨學科的協(xié)作網絡。

為填補相關方法的空白，通過產學研一體化的深度合作，Project Imaging-X 系統(tǒng)性梳理了過去二十余年（2000–2025）間的 1000+ 開放醫(yī)學影像數據集，并提出了“元數據驅動融合范式（MDFP）”，給出從元數據統(tǒng)一→語義對齊→融合藍圖→索引共享的可執(zhí)行流程，并配套交互式數據發(fā)現與自動化融合門戶，為社區(qū)提供可搜索、可復用、可擴展的公共資源與路線圖，助力醫(yī)學基礎模型更大規(guī)模、更高質量、更加合規(guī)地發(fā)展。

• 論文標題：Project Imaging-X: A Survey of 1000+ Open-Access Medical Imaging Datasets for Foundation Model Development
• 論文鏈接：https://github.com/uni-medical/Project-Imaging-X/blob/main/project-imaging-x_dataset-survey.pdf
• Github 鏈接：https://github.com/uni-medical/Project-Imaging-X

醫(yī)學基礎模型的“數據缺口時刻”：規(guī)模與增速的錯位

過去幾年，AI 在通用領域迎來“曲線陡升”的爆炸時刻：GPT-4 訓練使用了約 13 萬億 tokens，CLIP 在 4 億圖像-文本對上預訓練，SAM 在 11 億掩碼上訓練。然而放到醫(yī)學影像，這條曲線卻明顯“掉速”——數據采集依賴專業(yè)設備與臨床流程，標注需要專家投入，還必須兼顧倫理與隱私合規(guī)，導致可公開、可訓練的大規(guī)模統(tǒng)一語料長期稀缺。

項目研究團隊對 2000-2025 年醫(yī)學影像數據的全景分析顯示，雖然數據集數量持續(xù)增長，但與通用 AI 領域存在巨大差距。最大的醫(yī)學數據集如 AbdomenAtlas 僅有 150 萬張圖像，而通用視覺模型動輒訓練于數十億圖像，差距達數個數量級。

圖 1：醫(yī)學基礎模型與通用領域基礎模型的演進。

這種錯位直接體現在模型側：訓練語料“吃不飽、吃不均”，常被迫集中在少數模態(tài)（CT/MR/X-ray）、任務（分割/分類）與解剖部位（腦、胸腹等熱點）上，難以形成"多模態(tài)×多任務×多解剖”的一體化能力版圖。

因此，團隊提出將“規(guī)模差距”界定為通才型醫(yī)學基礎模型的第一約束：不是單一數據集的不足，而是結構性的數據生態(tài)失衡——增長在發(fā)生，但增得不均、增得不對齊。

圖 2：2000 年至 2025 年發(fā)布的醫(yī)學影像數據集中病例數的概覽。(a) 總影像數；以及按不同 (b) 維度、(c) 模態(tài)、(d) 任務和 (e) 前五大器官劃分的影像數。

數據分布圖譜：長尾效應與碎片化特征

圖 3：醫(yī)學影像數據集概覽：按解剖區(qū)域劃分的代表性模態(tài)（左圖），數據集在不同模態(tài)、器官和任務上的分布（右上），以及數據集數量的時間趨勢（右下）。

團隊對 2000–2025 年間超過 1000 個公開醫(yī)學影像數據集進行了全景式分析，采用了一個包含數據維度、成像模態(tài)、分析任務和解剖部位的“四維框架”進行系統(tǒng)性量化。分析結果揭示，這些數據集在規(guī)模、增長趨勢及分布上呈現出顯著的不均衡性和長尾效應。

• 數據維度：2D 圖像在絕對數量上占據壓倒性優(yōu)勢，尤其在 2023 年后增速迅猛。這主要得益于其存儲共享的便捷性、通過病理全切片圖像（WSI）切片技術能極大擴充樣本規(guī)模，以及現有主流基準測試多聚焦于 2D 任務。相比之下，3D 與視頻數據因采集成本高昂、存儲和標注復雜，規(guī)模和增速均顯滯后。
• 成像模態(tài)：病理數據集的圖像數量遠超其他類型，這源于千兆像素級的 WSI 可被分割成海量圖塊（Patch）進行分析，且其固有的多尺度特性也促進了數據擴增。其后是臨床普及度高、通量大的 X 射線和 CT。然而，盡管 MRI 在軟組織成像中效果顯著，其數據量占比僅約 10.4%，而 PET、乳腺 X 線攝影和內鏡等模態(tài)的數據則相對匱乏。
• 任務類型：分類與分割任務歷來占據主導，因其與臨床診斷流程緊密相關。2023 年后，生成式任務的關注度與數據量激增。相比之下，面向配準、檢測和追蹤等任務的數據集則供給不足。
• 解剖部位：數據分布同樣高度集中。腦、肺、乳腺和肝臟的影像數量遙遙領先，這反映出學術界與臨床對腦部疾?。ㄈ绨柎暮Ｄ。┮约叭橄侔?、肺癌等重大疾病的高度關注。而心臟、腸道、四肢等其他部位的代表性則嚴重不足。

圖 4：(a) 數據維度、(b) 模態(tài)、(c) 任務以及 (d) 器官/身體部位的分布情況。

2D 數據：規(guī)模優(yōu)勢與“任務/器官偏科”

2D 數據量級與可獲取性遠超 3D 與視頻，已成為醫(yī)學基礎模型預訓練的主要基礎。在模態(tài)上，病理與 X-ray 占據主導，其次是 CT、MR 與眼底彩照；解剖聚焦于“有成熟篩查流程”的部位（如視網膜、乳腺、腦），而子結構與不常見部位明顯稀缺；任務側以分類/分割為主，配準、跟蹤、重建等供給不足，整體呈現顯著長尾與不均衡格局。

2D 數據的豐富性也帶來了顯著的碎片化與異質性問題。首先，數據來源多樣（例如來自不同的數據庫、機構和競賽），導致其成像協(xié)議、分辨率和元數據標準不一，帶來了嚴重的域偏移問題。其次，數據標注的質量也參差不齊，從粗略的弱標簽到精確的像素級真值差異巨大，且缺乏統(tǒng)一的標注體系（本體）。

此外，數據在模態(tài)、解剖部位和任務類型上的分布嚴重失衡，這會加劇預訓練模型中的偏見。最后，二維圖像天生缺少三維空間上下文，這也限制了模型對復雜形態(tài)結構的理解與分析能力。

圖 5：二維數據集中不同 (a) 模態(tài)、(b) 解剖結構和 (c) 任務的分布。

3D 數據：信息密度高，標準化是勝負手

3D 醫(yī)學影像（ 如CT、MR、PET）為臨床決策提供了關鍵的三維空間信息。然而，由于采集、存儲、標注及算力成本高昂，其整體數據規(guī)模和增長速度均落后于 2D 影像。

同時，3D 數據也存在著嚴重的分布不均衡問題：在模態(tài)上，CT 和 MRI 占據主導地位，而 PET、超聲等數據相對不足；在解剖部位上，數據高度集中于腦部與腹部，心血管、肌骨等領域的資源則相對薄弱；在任務類型上，研究長期由分割任務主導，配準、重建等任務的數據集明顯短缺。

3D 影像的“高信息密度”也伴隨著“高成本”與“高異質性”的挑戰(zhàn)。一方面，高成本與高難度體現在：單張影像體積大、信噪比較低，使得微小病灶的檢測變得困難；昂貴的硬件、較長的掃描時間以及對患者配合度的高要求，共同限制了數據采集的規(guī)模；體素級的精細標注需要專家進行逐個切片的精細描畫，耗時耗力。

另一方面，高異質性源于：不同設備和掃描協(xié)議會導致體素間距、圖像方向、強度標定及序列參數存在差異。如果沒有經過高保真的預處理和元數據對齊，直接進行跨庫聯合訓練很容易導致模型性能下降或結果失真。

圖 6：三維數據集中不同 (a) 模態(tài)、(b) 解剖結構和 (c) 任務的分布。

視頻數據：通往“流程級智能”的鑰匙

醫(yī)學視頻數據因其承載了豐富的時序信息和操作語義，是實現手術、內鏡分析等“流程級智能”的關鍵。然而，目前公開的數據集以內鏡視頻為主，且高度集中于腹部（特別是膽囊、結腸）和眼科等領域，而超聲心動圖（cine）、顯微手術視頻以及用于醫(yī)學教育的 RGB 視頻等則相對稀缺。盡管 EndoVis 等學術社區(qū)的基準數據集在一定程度上推動了該領域的標準化和技術發(fā)展，但目前仍普遍缺乏跨模態(tài)的覆蓋范圍和統(tǒng)一的評測標準。

當前，醫(yī)學視頻數據的發(fā)展主要受限于三大瓶頸：昂貴的標注成本、嚴格的隱私安全限制以及設備的技術異質性。 首先，無論是像素級還是幀級的精細標注，都需要投入巨大的專家資源，并且對操作步驟的定義和標注一致性有著極高的要求。

其次，醫(yī)療視頻天然包含患者的敏感信息。特別是在內鏡和手術場景中，獨特的解蒙結構本身就可能被用于患者的“反向識別”，這極大地限制了數據集的開放規(guī)模與共享范圍。最后，來源于不同記錄系統(tǒng)和攝像鏡頭的視頻，在光照條件、畫面抖動和拍攝視角上存在顯著差異，導致模型難以在不同來源的數據集之間進行有效的泛化。

圖 7：視頻數據集中不同 (a) 模態(tài)、(b) 解剖結構和 (c) 任務的分布。

元數據驅動融合范式（MDFP）：從碎片化到統(tǒng)一化

通過上述分析，可以清楚地看到醫(yī)學影像數據在 2D、3D 和視頻三個維度上都存在顯著的碎片化和不均衡問題。為解決這些挑戰(zhàn)，團隊提出了元數據驅動融合范式（MDFP），提供了一種高效、可擴展、以元數據為中心的策略，用于系統(tǒng)化發(fā)現、審計和組合多個數據集。

MDFP 的核心創(chuàng)新主要在于在元數據而非原始像素上操作，這帶來了多重優(yōu)勢：減少處理開銷和隱私風險，提高可重現性和可審計性，并支持快速的目標導向數據集組裝。通過這種元數據驅動的方法，團隊能夠在不直接處理敏感醫(yī)學圖像的情況下，實現大規(guī)模數據集的智能整合。

圖 8：數據集收集、處理、融合和總結系統(tǒng)的流程圖。

MDFP四階段系統(tǒng)化流程：

階段 1：元數據統(tǒng)一化- 通過強制執(zhí)行嚴格定義的元數據模式解決語義異質性，基于權威醫(yī)學術語（如 UMLS 和 MeSH）進行半自動化處理。具體包括：標準化主要模態(tài)（映射到 CT、MR、PET、US、X-ray 等枚舉集）、規(guī)范化數據維度（解析為 2D、3D 或視頻）、建立基于標準醫(yī)學本體的多級分類系統(tǒng)、分配質量等級（基于機構來源、文獻計量影響、成像分辨率和注釋粒度）、量化數據集影響（基于引用頻率、基準采用和下游重用）。

階段 2：語義對齊- 通過將抽象機器學習任務映射到其具體臨床意義來緩解不一致性，系統(tǒng)審查數據集文檔、源出版物和官方指南。這包括定義下游任務（將 ML 任務標準化并明確映射到臨床應用）、指定次要成像模態(tài)（捕獲每個主要模態(tài)下的細粒度協(xié)議級區(qū)別）、指示標簽可用性（標注是否提供真實注釋）、記錄特殊考慮事項（捕獲數據集特定的細微差別、假設或已知限制）。

階段 3：融合藍圖- 利用統(tǒng)一元數據設計戰(zhàn)略性數據集集成計劃，基于主要和次要成像模態(tài)、臨床任務和解剖覆蓋進行聚類。定量評估包括數據量（評估可用圖像總數，以及明確的訓練、驗證和測試分割）、有效圖像計數（確定有多少圖像具有可靠和驗證的注釋）、存儲估計（評估實際存儲需求）、解剖和任務多樣性（量化每個融合集群內的解剖廣度和任務多樣性）。

階段 4：數據集索引和社區(qū)共享- 將統(tǒng)一元數據轉換為結構化、公開可訪問的數據集索引，支持社區(qū)規(guī)模的發(fā)現和重用。這包括數據集名稱（用于標準化引用的規(guī)范名稱）、發(fā)布日期（官方發(fā)布或發(fā)布時間戳）、主頁 URL（直接訪問數據集文檔或托管平臺的鏈接）、許可證（明確定義的使用權限）。

圖 9：團隊所提出的元數據驅動融合范式（MDFP）的詳細流程。

交互式發(fā)現門戶與案例研究：

團隊構建了輕量級交互式發(fā)現門戶“醫(yī)學數據集瀏覽器”，部署為 GitHub Pages 上的單頁靜態(tài)應用程序，完全在客戶端執(zhí)行，并在運行時消費標準化 JSON 工件。門戶提供兩種互補的數據集過濾模式：基于規(guī)則的過濾（實現MDFP）和直接分面搜索，支持實時可視化摘要和統(tǒng)計導出。

作為 MDFP 有效性的證明，團隊展示了一個具體案例：構建一個針對模態(tài){CT, MR, Fundus}和任務{分類、分割、檢測、回歸}的 2D 模型。通過 MDFP 組合，研究獲得了 57 個數據集和 2,135,301 張可用圖像，跨三個模態(tài)，標簽可用性接近完整。CT 和 MR 在體積上占主導地位（合計約 185 萬張圖像），提供了來自多個組織的實質性解剖和采集多樣性，而 Fundus 貢獻了最多的數據集數量。

MDFP 的成功實施為醫(yī)學基礎模型的發(fā)展奠定了堅實基礎。然而，要真正實現醫(yī)學 AI 的變革性突破，還需要深入思考當前數據生態(tài)的根本性挑戰(zhàn)和未來發(fā)展方向。

討論：從數據碎片化到智能體生態(tài)的演進路徑

任務定義局限性與數據工程范式的演進

當前開放訪問醫(yī)學影像數據集在任務定義方面普遍存在局限性，這與早期深度學習實踐的任務導向性質密切相關。隨著 LLM 和基礎模型的進步，數據收集原則正逐漸從單一任務導向轉向更全面的科學數據工程范式?，F有數據集大多針對單一目標（如分割、分類或檢測），對多任務或跨任務學習場景考慮甚少，這種單一性限制了 AI 模型開發(fā)和泛化。這種范式轉變需要數據工程的根本性變革。傳統(tǒng)任務特定的注釋協(xié)議必須演變?yōu)殪`活的框架，能夠適應新興用例和新型 AI 架構。從任務導向到基礎導向的數據工程轉變需要重新思考注釋策略、元數據結構以及質量保證流程。

多模態(tài)醫(yī)學數據集稀缺性與發(fā)展約束

多模態(tài)醫(yī)學數據結合成像模態(tài)（如 CT、MRI、2D 和 3D 圖像）與臨床報告、病理學甚至視頻，在臨床診斷中具有特殊價值，但在公共領域極其罕見。大多數開放訪問醫(yī)學數據集僅限于單模態(tài)結構，往往缺乏多模態(tài)數據收集和注釋的標準化框架。這種稀缺性嚴重限制了高級研究方向的探索，如跨模態(tài)推理和聯合表示學習。挑戰(zhàn)不僅限于數據可用性，還涵蓋模態(tài)對齊和語義一致性的基本問題。不同模態(tài)通常在不同的時間和空間尺度上運行——病理切片提供微觀細胞細節(jié)，而放射學捕獲器官級結構，臨床記錄記錄時間疾病進展。協(xié)調這些異構數據流需要復雜的對齊協(xié)議和跨模態(tài)驗證標準，而當前數據集很少提供這些。

醫(yī)學基礎模型的挑戰(zhàn)與機遇

醫(yī)學基礎模型需要前所未有的訓練數據規(guī)模和多樣性，但當前資源仍不足以開發(fā)真正可泛化的系統(tǒng)?；A模型需要跨成像模態(tài)、臨床專業(yè)和患者人群的全面覆蓋，以在醫(yī)學環(huán)境中實現穩(wěn)健性能。三個相互關聯的挑戰(zhàn)從根本上制約了醫(yī)學基礎模型的發(fā)展：

1.規(guī)模挑戰(zhàn)：擴展不僅涉及數量，還涵蓋表示多樣性?；A模型必須遇到疾病表現、成像協(xié)議和人群特征的足夠變化，以開發(fā)強大的內部表示。當前醫(yī)學數據集通常捕獲臨床現實的狹窄切片，錯過了罕見疾病和非典型表現的長尾分布。

2.許可限制和隱私法規(guī)：與通用領域 AI 不同，醫(yī)學數據面臨患者隱私要求和機構知識產權政策的雙重約束。即使基礎模型能夠生成高質量合成數據用于訓練增強，限制性許可也阻止這些增強的醫(yī)學數據集惠及更廣泛的醫(yī)學研究社區(qū)。

3.上下文智能需求：有效的醫(yī)學 AI 必須理解緊急協(xié)議與常規(guī)篩查的區(qū)別，資源約束如何影響診斷路徑，以及患者歷史如何影響治療選擇。這些能力超越了模式識別，涵蓋工作流集成、臨床推理和自適應決策支持。

邁向科學智能體的未來愿景

正如科學大語言模型（Sci-LLMs）正從單純的“知識模型”向“推理引擎”和“科研伙伴”演進，醫(yī)學基礎模型也正朝著科學智能體的方向發(fā)展。未來的醫(yī)學 AI 系統(tǒng)將不再僅僅是被動回答問題的模型，而是能夠被賦予高級目標（如“為某疾病尋找候選藥物”或“制定個性化治療方案”）后，自主進行任務分解、規(guī)劃、工具調用、虛擬實驗和結果分析的自治系統(tǒng)。實現這一目標的核心在于構建一個閉環(huán)的“智能體-數據”生態(tài)系統(tǒng)。在這個系統(tǒng)中，智能體通過與外部工具（數據庫、模擬器、甚至自動化實驗室）交互來主動獲取和生成新的實驗數據；這些“AI-ready”的數據再反哺數據生態(tài)，用于迭代和優(yōu)化智能體自身，形成一個能夠自我進化的良性循環(huán)。

總結

Project Imaging-X 作為迄今為止最全面的醫(yī)學影像開源數據集調研，系統(tǒng)梳理了 2000-2025 年間 1000+ 數據集，覆蓋 2D、3D、視頻等不同維度，涉及 CT、MRI、X-ray、病理、超聲等多模態(tài)影像，全面分析了分類、分割、檢測、生成等任務類型與解剖部位分布。調研揭示了醫(yī)學影像數據生態(tài)的關鍵特征：數據規(guī)模與通用領域存在數量級差距，模態(tài)和任務分布嚴重失衡，碎片化程度高。

針對這一現狀，研究提出了元數據驅動融合范式（MDFP），通過四階段系統(tǒng)化流程實現數據集的有效整合，并構建了交互式數據發(fā)現門戶。通過具體案例驗證，MDFP 能夠將 57 個數據集整合為包含 213 萬張圖像的統(tǒng)一訓練資源，為醫(yī)學基礎模型的大規(guī)模預訓練提供了可行路徑。

正如科學大語言模型正從“知識模型”向“推理引擎”和“科研伙伴”演進，醫(yī)學基礎模型也將朝著能夠自主進行臨床推理、實驗設計和治療規(guī)劃的科學智能體方向發(fā)展。通過 MDFP 的戰(zhàn)略數據集整合，結合隱私保護技術與智能體生態(tài)的構建，醫(yī)學 AI 將迎來從數據驅動到智能體驅動的范式躍遷，最終實現 AI 與臨床實踐的深度融合。