Ultrasound-CLIP團(tuán)隊(duì) 投稿
量子位 | 公眾號(hào) QbitAI

超聲領(lǐng)域也有大模型了！

超聲影像憑借實(shí)時(shí)、無(wú)輻射的優(yōu)勢(shì)，成為臨床各場(chǎng)景的一線(xiàn)診斷手段。

但異質(zhì)的解剖結(jié)構(gòu)、多樣的診斷屬性，讓通用視覺(jué)語(yǔ)言預(yù)訓(xùn)練模型難以直接適配，且現(xiàn)有醫(yī)療跨模態(tài)數(shù)據(jù)中超聲樣本占比不足5%，成為領(lǐng)域研究的核心瓶頸。

△超聲圖像統(tǒng)計(jì)數(shù)據(jù)跨越主要基準(zhǔn)點(diǎn)的分布情況。

上圖紅色區(qū)域和內(nèi)部百分比顯示了超聲圖像所占的比例，而藍(lán)色區(qū)域則展示了其余模態(tài)的占比情況。頂部標(biāo)簽表示絕對(duì)數(shù)量（以千為單位）。論文中所提出的US-365K是首個(gè)大規(guī)模、100%專(zhuān)用于超聲影像的數(shù)據(jù)集。

針對(duì)這一問(wèn)題，浙大城市學(xué)院聯(lián)合浙江大學(xué)、香港城市大學(xué)、香港浸會(huì)大學(xué)、浙江大學(xué)醫(yī)學(xué)院附屬第一醫(yī)院、浙江大學(xué)醫(yī)學(xué)院附屬婦產(chǎn)科醫(yī)院等團(tuán)隊(duì)，構(gòu)建了首個(gè)大規(guī)模通用超聲圖像-文本數(shù)據(jù)集US-365K，并提出專(zhuān)為超聲場(chǎng)景設(shè)計(jì)的語(yǔ)義感知對(duì)比學(xué)習(xí)框架Ultrasound-CLIP，讓模型真正理解超聲的臨床診斷語(yǔ)義，相關(guān)成果被CVPR 2026接收，數(shù)據(jù)集及代碼已開(kāi)源。

核心痛點(diǎn)：超聲跨模態(tài)學(xué)習(xí)的三重障礙

現(xiàn)有視覺(jué)語(yǔ)言模型在超聲領(lǐng)域的應(yīng)用，始終面臨三個(gè)關(guān)鍵問(wèn)題：

1. 數(shù)據(jù)缺口顯著：主流醫(yī)療跨模態(tài)數(shù)據(jù)集以CT、MRI等為主，超聲樣本占比極低，缺乏大規(guī)模、標(biāo)準(zhǔn)化的專(zhuān)屬訓(xùn)練數(shù)據(jù)；

2. 語(yǔ)義模糊難對(duì)齊：超聲診斷報(bào)告的表述多樣，相同病變存在不同描述方式，傳統(tǒng)對(duì)比學(xué)習(xí)難以精準(zhǔn)界定正負(fù)樣本，易產(chǎn)生語(yǔ)義偏差；

3. 缺乏臨床結(jié)構(gòu)先驗(yàn)：超聲診斷依賴(lài)病灶與診斷屬性的復(fù)雜關(guān)聯(lián)，通用模型無(wú)法建模這類(lèi)專(zhuān)業(yè)的臨床推理邏輯，僅能實(shí)現(xiàn)簡(jiǎn)單的關(guān)鍵詞匹配。

△UDT和Ultrasound-CLIP概述。

上圖中(a) UDT作為語(yǔ)義基礎(chǔ)，通過(guò)標(biāo)準(zhǔn)化解剖層次結(jié)構(gòu)（UHAT）和定義9個(gè)關(guān)鍵診斷屬性（UDAF）來(lái)形式化超聲知識(shí)。(b) Ultrasound-CLIP利用UDT的方式有兩種：(1)基于UDAF的異構(gòu)圖編碼器通過(guò)交叉注意力將屬性關(guān)系融合到文本嵌入中，以建模結(jié)構(gòu)化推理。(2)構(gòu)建基于UDAF的語(yǔ)義先驗(yàn)，以實(shí)現(xiàn)雙目標(biāo)優(yōu)化，從而解決歧義。該框架將視覺(jué)特征與這些圖增強(qiáng)的、語(yǔ)義感知的文本表示對(duì)齊。

為從根本上解決上述問(wèn)題，研究團(tuán)隊(duì)立足超聲臨床診斷的專(zhuān)業(yè)邏輯，從標(biāo)準(zhǔn)化數(shù)據(jù)構(gòu)建和定制化模型設(shè)計(jì)兩大維度出發(fā)，打造全鏈路適配超聲場(chǎng)景的跨模態(tài)學(xué)習(xí)體系，實(shí)現(xiàn)雙重核心技術(shù)突破。

第一步：構(gòu)建UDT知識(shí)框架，打造標(biāo)準(zhǔn)化US-365K數(shù)據(jù)集

團(tuán)隊(duì)率先建立超聲診斷分類(lèi)體系（UDT），為超聲數(shù)據(jù)的標(biāo)準(zhǔn)化標(biāo)注和模型學(xué)習(xí)確立統(tǒng)一的專(zhuān)業(yè)依據(jù)，該體系包含兩大核心模塊，實(shí)現(xiàn)超聲診斷知識(shí)的結(jié)構(gòu)化、形式化：

超聲層級(jí)解剖分類(lèi)（UHAT）：按臨床診斷原則，系統(tǒng)梳理9大人體系統(tǒng)、52個(gè)器官的層級(jí)解剖結(jié)構(gòu)，明確各器官的層級(jí)歸屬與上下文關(guān)聯(lián)，徹底解決不同數(shù)據(jù)源中解剖分類(lèi)混亂的問(wèn)題，實(shí)現(xiàn)超聲解剖標(biāo)注的標(biāo)準(zhǔn)化；

超聲診斷屬性框架（UDAF）：凝練臨床醫(yī)生解讀超聲影像時(shí)核心關(guān)注的9大診斷維度，包括身體系統(tǒng)、器官、診斷結(jié)果、形狀、邊緣、回聲性、內(nèi)部特征、后方聲學(xué)現(xiàn)象、血流信號(hào)，為每個(gè)維度定制臨床有效描述詞匯表，形成標(biāo)準(zhǔn)化的超聲診斷描述體系。

△基于UHAT的US-365K解剖層次結(jié)構(gòu)可視化。

基于UDT標(biāo)準(zhǔn)化框架，團(tuán)隊(duì)從5個(gè)國(guó)際權(quán)威醫(yī)療數(shù)據(jù)庫(kù)收集體量超聲數(shù)據(jù)，經(jīng)多步驟精細(xì)化處理：先過(guò)濾非超聲內(nèi)容，將超聲視頻按0.5秒間隔分解為靜態(tài)幀，平衡數(shù)據(jù)多樣性與冗余性；再基于UDAF框架，通過(guò)大模型+結(jié)構(gòu)化提示的混合流水線(xiàn)，提取標(biāo)準(zhǔn)化診斷標(biāo)簽；最后經(jīng)醫(yī)療專(zhuān)家逐例審核、篩選，剔除模糊、不一致樣本，最終構(gòu)建出US-365K數(shù)據(jù)集。

該數(shù)據(jù)集包含36.4萬(wàn)對(duì)超聲圖像-文本樣本、11676個(gè)臨床真實(shí)病例，覆蓋全解剖區(qū)域，是業(yè)內(nèi)首個(gè)100%專(zhuān)屬超聲的大規(guī)模圖文數(shù)據(jù)集，數(shù)據(jù)有效率超90%，填補(bǔ)了超聲跨模態(tài)大規(guī)模標(biāo)準(zhǔn)化數(shù)據(jù)的行業(yè)空白，為超聲AI研究奠定高質(zhì)量數(shù)據(jù)基礎(chǔ)。

第二步：提出Ultrasound-CLIP框架，實(shí)現(xiàn)超聲語(yǔ)義的精準(zhǔn)建模與對(duì)齊

針對(duì)超聲場(chǎng)景的語(yǔ)義模糊和結(jié)構(gòu)缺失難題，團(tuán)隊(duì)設(shè)計(jì)出Ultrasound-CLIP語(yǔ)義感知對(duì)比學(xué)習(xí)框架，在經(jīng)典雙編碼器（圖像+文本）基礎(chǔ)上，創(chuàng)新融入UDAF引導(dǎo)的異質(zhì)圖編碼器和基于UDAF的語(yǔ)義軟標(biāo)簽兩大核心模塊，并采用雙目標(biāo)優(yōu)化策略，讓模型具備超聲領(lǐng)域的結(jié)構(gòu)化臨床推理能力，突破通用模型的局限：

（1）UDAF引導(dǎo)的異質(zhì)圖編碼器，建模臨床屬性結(jié)構(gòu)化關(guān)聯(lián)

團(tuán)隊(duì)將每個(gè)超聲樣本的文本標(biāo)注，轉(zhuǎn)化為樣本專(zhuān)屬的異質(zhì)圖：基于UDAF框架定義診斷節(jié)點(diǎn)和屬性節(jié)點(diǎn)兩類(lèi)核心節(jié)點(diǎn)，根據(jù)樣本的標(biāo)準(zhǔn)化診斷標(biāo)簽確定激活節(jié)點(diǎn)集，并在診斷節(jié)點(diǎn)與屬性節(jié)點(diǎn)間構(gòu)建全二分連接，形成病灶-屬性的關(guān)聯(lián)圖結(jié)構(gòu)。

通過(guò)輕量級(jí)異質(zhì)圖神經(jīng)網(wǎng)絡(luò)（GNN）對(duì)異質(zhì)圖進(jìn)行編碼，得到包含節(jié)點(diǎn)關(guān)聯(lián)信息的節(jié)點(diǎn)嵌入，再經(jīng)注意力池化生成圖匯總向量，最后通過(guò)多頭交叉注意力將圖嵌入與原始文本嵌入融合，并通過(guò)門(mén)控殘差連接實(shí)現(xiàn)穩(wěn)定融合，得到圖增強(qiáng)的文本嵌入。這一過(guò)程讓文本嵌入融入超聲診斷標(biāo)簽與屬性的結(jié)構(gòu)化臨床關(guān)聯(lián)，突破單純關(guān)鍵詞匹配的局限，讓模型能捕捉超聲診斷的專(zhuān)業(yè)語(yǔ)義邏輯。

（2）基于UDAF的語(yǔ)義軟標(biāo)簽，實(shí)現(xiàn)細(xì)粒度語(yǔ)義相似度度量

摒棄傳統(tǒng)二進(jìn)制硬標(biāo)簽，團(tuán)隊(duì)基于UDAF的9大診斷維度，構(gòu)建連續(xù)語(yǔ)義相似度軟標(biāo)簽：為每個(gè)診斷維度預(yù)定義標(biāo)準(zhǔn)化標(biāo)簽相似度矩陣，計(jì)算樣本對(duì)在各維度的語(yǔ)義親和力，再加權(quán)聚合得到樣本對(duì)的整體語(yǔ)義先驗(yàn)相似度，形成B×B的軟先驗(yàn)矩陣（B為批次大?。?，實(shí)現(xiàn)細(xì)粒度的語(yǔ)義重疊識(shí)別，解決超聲診斷報(bào)告表述多樣帶來(lái)的語(yǔ)義模糊問(wèn)題。

（3）雙目標(biāo)優(yōu)化策略，實(shí)現(xiàn)跨模態(tài)精準(zhǔn)對(duì)齊與語(yǔ)義正則化

框架采用對(duì)比損失+語(yǔ)義損失的雙目標(biāo)優(yōu)化策略，讓模型同時(shí)實(shí)現(xiàn)圖像-文本跨模態(tài)精準(zhǔn)對(duì)齊和語(yǔ)義特征的正則化：

對(duì)比損失（L(CLIP)）：采用經(jīng)典對(duì)稱(chēng)對(duì)比損失，最大化正樣本對(duì)（圖像-對(duì)應(yīng)文本）的相似度，最小化負(fù)樣本對(duì)的相似度，實(shí)現(xiàn)圖像與文本的基礎(chǔ)跨模態(tài)對(duì)齊；

語(yǔ)義損失（L(semantic)）：融合均方誤差（MSE）和KL散度，讓模型預(yù)測(cè)的相似度矩陣與UDAF基語(yǔ)義軟先驗(yàn)矩陣匹配，既實(shí)現(xiàn)相似度的數(shù)值匹配，又保證分布一致性，讓語(yǔ)義相似的樣本在特征空間中有效聚類(lèi)。

通過(guò)雙目標(biāo)聯(lián)合優(yōu)化，模型既能實(shí)現(xiàn)超聲圖像與文本的精準(zhǔn)跨模態(tài)對(duì)齊，又能精準(zhǔn)捕捉超聲診斷的細(xì)粒度語(yǔ)義特征，真正理解超聲的臨床語(yǔ)言。

實(shí)驗(yàn)驗(yàn)證：全任務(wù)性能領(lǐng)先，泛化能力適配多臨床場(chǎng)景

團(tuán)隊(duì)以US-365K為基礎(chǔ)，在多任務(wù)分類(lèi)、圖像-文本檢索任務(wù)中開(kāi)展實(shí)驗(yàn)，并在4個(gè)公開(kāi)的超聲下游數(shù)據(jù)集上驗(yàn)證模型泛化能力，結(jié)果顯示Ultrasound-CLIP全面優(yōu)于現(xiàn)有醫(yī)療CLIP基線(xiàn)模型：

多任務(wù)分類(lèi)：平均準(zhǔn)確率達(dá)59.61%，其中病灶邊緣、診斷結(jié)果等核心臨床屬性的識(shí)別準(zhǔn)確率分別達(dá)84.44%、64.05%，能精準(zhǔn)捕捉超聲診斷的關(guān)鍵信息。

圖像-文本檢索：圖像到文本檢索（I2T）@10達(dá)37.45%，文本到圖像檢索（T2I）@50達(dá)80.22%，實(shí)現(xiàn)超聲圖文的高效雙向匹配。

下游泛化：在乳腺、胃腸超聲等4個(gè)數(shù)據(jù)集的零樣本、線(xiàn)性探測(cè)、全微調(diào)任務(wù)中均取得最優(yōu)性能，可適配不同超聲臨床診斷場(chǎng)景。

資源開(kāi)源：助力超聲AI領(lǐng)域共同研究

為推動(dòng)超聲跨模態(tài)學(xué)習(xí)領(lǐng)域的發(fā)展，團(tuán)隊(duì)已將研究相關(guān)的代碼和US-365K數(shù)據(jù)集公開(kāi)，為后續(xù)研究者提供可直接復(fù)用的基礎(chǔ)資源。

論文標(biāo)題：
Ultrasound-CLIP: Semantic-Aware Contrastive Pre-training for Ultrasound Image-Text Understanding
作者：
Jiayun Jin, Haolong Chai, Xueying Huang, Xiaoqing Guo, Zengwei Zheng, Zhan Zhou, Junmei Wang, Xinyu Wang, Jie Liu*, Binbin Zhou*
單位：
浙大城市學(xué)院、香港浸會(huì)大學(xué)、浙江大學(xué)、浙江大學(xué)醫(yī)學(xué)院附屬第一醫(yī)院、浙江大學(xué)醫(yī)學(xué)院附屬婦產(chǎn)科醫(yī)院、香港城市大學(xué)
發(fā)表：
CVPR 2026
arxiv論文地址：
http://arxiv.org/abs/2604.01749
項(xiàng)目地址：
https://github.com/ZJUDataIntelligence/Ultrasound-CLIP
數(shù)據(jù)集地址：
https://huggingface.co/datasets/JJY-0823/US-365K
作者簡(jiǎn)介：
本文第一作者為金佳云，浙大城市學(xué)院碩士生，研究方向?yàn)槎嗄B(tài)大模型。本文在周斌彬副教授和劉潔博士的指導(dǎo)下完成。