田晏林 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

手術(shù)視頻的“黑盒”，被一腳踢爆了！

就在這兩天，GitHub和Hugging Face社區(qū)上線了一枚醫(yī)療大模型領(lǐng)域的“核彈”。

全球規(guī)模最大、性能最強(qiáng)的醫(yī)療視頻理解大模型——uAI Nexus MedVLM（中文名：元智醫(yī)療視頻理解大模型）開(kāi)源！

最驚人的是，這玩意兒是真的能看懂手術(shù)。

論文已經(jīng)被CVPR 2026收錄，團(tuán)隊(duì)還同步甩出了一套由6245個(gè)視頻-指令對(duì)構(gòu)成的標(biāo)準(zhǔn)測(cè)試集。

啥概念？醫(yī)療視頻理解，終于有了一把“公共標(biāo)尺”。

而如此兼具規(guī)模與精度的醫(yī)療視頻數(shù)據(jù)開(kāi)源，在業(yè)內(nèi)尚屬首次。

小編第一時(shí)間沖到Hugging Face，把模型拉下來(lái)實(shí)測(cè)了一波。

到底有多能打？

先交代一下uAI Nexus MedVLM的硬指標(biāo)：

• 匯聚超53萬(wàn)條視頻-指令數(shù)據(jù)；
• 支持4B/7B參數(shù)規(guī)模，單卡就能部署（對(duì)，一張卡就能跑）；
• 整合8個(gè)專(zhuān)業(yè)醫(yī)學(xué)數(shù)據(jù)集，覆蓋內(nèi)鏡、腹腔鏡、開(kāi)放手術(shù)、機(jī)器人手術(shù)、護(hù)理操作……幾乎你能想到的手術(shù)場(chǎng)景，它全包了。

實(shí)測(cè)效果咋樣？

Demo的體驗(yàn)設(shè)計(jì)非常友好：界面核心模塊清晰；支持上傳手術(shù)視頻文件。

你可以上傳自己的醫(yī)療視頻，也可以用預(yù)置示例直接測(cè)試。

我嘗試用示例的腹腔鏡膽囊切除術(shù)視頻，測(cè)試了三個(gè)臨床核心維度，并對(duì)比了通用大模型（GPT-5.4、Gemini-3.1、某國(guó)產(chǎn)大模型）和uAI Nexus MedVLM的輸出差異。

定量實(shí)測(cè)的數(shù)據(jù)太殘暴了！手術(shù)安全評(píng)估：準(zhǔn)確率89.7%。

啥概念？GPT-5.4只有16.4%，Gemini-3.1是24.2%，某國(guó)產(chǎn)大模型是30.9%。

也就是說(shuō)，uAI Nexus MedVLM的準(zhǔn)確率是GPT-5.4的近5.5倍，是Gemini-3.1的3.7倍，是國(guó)產(chǎn)大模型的近3倍。

時(shí)空動(dòng)作定位：uAI Nexus MedVLM的mIoU是Gemini-3.1的3.2倍，是國(guó)產(chǎn)大模型的3.7倍，是GPT-5.4的47倍，

視頻報(bào)告生成（5分制）：uAI Nexus MedVLM 拿到4.24分，GPT-5.4只有3.98分，某國(guó)產(chǎn)大模型只有3.5分，Gemini-3.1只有3.7分。

而通過(guò)MedGRPO強(qiáng)化學(xué)習(xí)優(yōu)化后，相比基座模型，uAI Nexus MedVLM的器械定位能力提升14%；手術(shù)步驟識(shí)別能力暴漲52%；手術(shù)描述質(zhì)量提升16%～25%。

uAI Nexus MedVLM覆蓋內(nèi)鏡腔鏡手術(shù)、開(kāi)放式手術(shù)、機(jī)器人手術(shù)、護(hù)理操作等多類(lèi)臨床場(chǎng)景，涵蓋了8個(gè)手術(shù)數(shù)據(jù)集中的8個(gè)任務(wù)：

視頻摘要（VS）、關(guān)鍵安全視野評(píng)估（CVS）、下一步操作預(yù)測(cè)（NAP）、技能評(píng)估（SA）、時(shí)間動(dòng)作定位（TAG）、密集視頻描述（DVC）、區(qū)域級(jí)描述（RC）和時(shí)空基礎(chǔ)化（STG）。

每項(xiàng)任務(wù)的表現(xiàn)都超越了GPT和Gemini。

再看定性實(shí)測(cè)的結(jié)果，把一段被標(biāo)記了綠色框的手術(shù)視頻發(fā)給大模型，讓它描述。

輸入問(wèn)題：你是一名專(zhuān)攻微創(chuàng)手術(shù)的外科分析專(zhuān)家。這段視頻展示了腹腔鏡膽囊切除術(shù)的內(nèi)鏡畫(huà)面。請(qǐng)描述0.0秒時(shí)，邊界框內(nèi)物體的狀態(tài)，以及在0.0～29.0秒時(shí)間段內(nèi)的操作。

標(biāo)準(zhǔn)答案是：鉗持續(xù)夾持并將膽囊向手術(shù)視野的左上方牽拉，提供反向牽引和暴露。

GPT-5.4這邊呢，它只能給出籠統(tǒng)的描述，未能識(shí)別出具體器械。

Gemini-3.1則將工具錯(cuò)誤識(shí)別為“電凝鉤”，描述成了不正確的操作。

某國(guó)產(chǎn)大模型：則無(wú)法識(shí)別出正確的手術(shù)操作步驟。

只有uAI Nexus MedVLM，給出了接近標(biāo)準(zhǔn)答案的描述：

位于左上方的抓鉗持續(xù)向上并朝中央牽引膽囊，保持張力并為鉤子暴露分離平面。

隨后，我看了下示例給出的8個(gè)任務(wù)表現(xiàn)，一個(gè)比一個(gè)令人震撼。

為避免真實(shí)手術(shù)場(chǎng)景帶來(lái)的觀感不適，我們選取了一段溫和的示例視頻，內(nèi)容是護(hù)士給患者監(jiān)測(cè)身體指標(biāo)。

視頻涵蓋了護(hù)士查看血壓計(jì)、查看體溫計(jì)、護(hù)理記錄、洗手、測(cè)量血壓、測(cè)量體溫、脈搏測(cè)量、呼吸測(cè)量等工作。

現(xiàn)在，我們隨機(jī)考察8個(gè)任務(wù)中的一個(gè)，比如「時(shí)間動(dòng)作定位」。

輸入問(wèn)題：脈搏測(cè)量動(dòng)作發(fā)生在什么時(shí)間？

標(biāo)準(zhǔn)答案是：46.0-61.8seconds。

模型給出的預(yù)測(cè)是：43.0-65.0seconds。前后誤差不超過(guò)4秒，且正確答案就在預(yù)測(cè)范圍內(nèi)。

為什么手術(shù)視頻是AI最難啃的骨頭？

在AI醫(yī)療領(lǐng)域，將AI用于影像輔助診斷、病歷書(shū)寫(xiě)、質(zhì)控管理等場(chǎng)景早已不是新鮮事，在不少醫(yī)院已經(jīng)落地。

但有一個(gè)方向，至今仍是公認(rèn)的“無(wú)人區(qū)”，那就是手術(shù)視頻理解。

之前沒(méi)人敢碰，為啥？三重地獄級(jí)難度，和靜態(tài)影像完全不是一個(gè)量級(jí)：

第一關(guān)：數(shù)據(jù)極難獲取。臨床手術(shù)視頻涉及患者隱私與醫(yī)學(xué)倫理，獲取本身就困難重重。

即便拿到了原始視頻，你讓專(zhuān)業(yè)醫(yī)生逐幀標(biāo)注？成本高到可以勸退99%的團(tuán)隊(duì)。

第二關(guān)：沒(méi)有統(tǒng)一評(píng)測(cè)標(biāo)準(zhǔn)。這是行業(yè)里一個(gè)很尷尬的現(xiàn)實(shí)：各家用自己的數(shù)據(jù)集、自己的指標(biāo)，模型效果根本沒(méi)法橫向比較。

你說(shuō)你強(qiáng)，他說(shuō)他強(qiáng)，誰(shuí)說(shuō)了都不算，嚴(yán)重阻礙整個(gè)賽道的發(fā)展。

第三關(guān)：任務(wù)本身極端復(fù)雜。手術(shù)視頻的難就難在對(duì)空間、時(shí)序、語(yǔ)義的理解要高度專(zhuān)業(yè)。

比如，它需要精準(zhǔn)識(shí)別毫米級(jí)的器械位置和解剖結(jié)構(gòu)。稍微偏一點(diǎn)，可能就認(rèn)錯(cuò)了。

而且膽囊得先分離再切除，不能反過(guò)來(lái)。AI如果看不懂時(shí)序，就根本無(wú)法理解手術(shù)進(jìn)程。

各種約束疊加，再頂級(jí)的模型也只能歇菜。

但現(xiàn)在，這個(gè)無(wú)人區(qū)被uAI Nexus MedVLM一腳踩穿。

它不只是“炫技”，是真的能救命。

好了，說(shuō)點(diǎn)實(shí)際的。這模型具體能干嘛？

術(shù)前：分析主刀老師上萬(wàn)臺(tái)手術(shù)視頻，挖掘臨床規(guī)律、輔助優(yōu)化方案。

想象你是一位剛站上手術(shù)臺(tái)的臨床醫(yī)生，即將做一臺(tái)膽結(jié)石微創(chuàng)手術(shù)。

以前你只能靠記憶和經(jīng)驗(yàn)；現(xiàn)在AI把成千上萬(wàn)臺(tái)頂級(jí)專(zhuān)家的手術(shù)經(jīng)驗(yàn)沉淀下來(lái)，相當(dāng)于有了最強(qiáng)的大腦，來(lái)輔助你完成這臺(tái)手術(shù)。

術(shù)中：在分離膽囊管、顯露安全視野等關(guān)鍵步驟，實(shí)時(shí)給出指引；對(duì)違規(guī)操作、動(dòng)作偏差進(jìn)行毫秒級(jí)預(yù)警，成為你的“第三只眼”。

術(shù)后：自動(dòng)完成總結(jié)與結(jié)構(gòu)化記錄，這通常會(huì)占用醫(yī)生大量時(shí)間，但現(xiàn)在，一鍵生成標(biāo)準(zhǔn)化報(bào)告。這臺(tái)手術(shù)的經(jīng)驗(yàn)，也能成為下一位醫(yī)生的“決策依據(jù)”。

手術(shù)質(zhì)控、術(shù)中安全、報(bào)告自動(dòng)化、醫(yī)學(xué)教學(xué)……uAI Nexus MedVLM的價(jià)值，遠(yuǎn)不止于技術(shù)突破。

在中國(guó)，優(yōu)質(zhì)醫(yī)療資源集中在三甲醫(yī)院，基層醫(yī)院醫(yī)生成長(zhǎng)周期長(zhǎng)、手術(shù)經(jīng)驗(yàn)積累慢。

而uAI Nexus MedVLM可以把頂級(jí)專(zhuān)家的手術(shù)經(jīng)驗(yàn)“沉淀”下來(lái)，基層醫(yī)院的醫(yī)生也能獲得“專(zhuān)家級(jí)”的術(shù)中輔助。

這或許才是AI真正理解手術(shù)視頻的意義所在。

全球開(kāi)發(fā)者，新機(jī)遇來(lái)了

這次發(fā)布，最值得關(guān)注的不僅是uAI Nexus MedVLM本身。

開(kāi)發(fā)這一模型的背后玩家聯(lián)影智能（聯(lián)影集團(tuán)旗下一家專(zhuān)注于AI醫(yī)療的創(chuàng)新公司），首次向全球開(kāi)源大規(guī)模高質(zhì)量醫(yī)療視頻標(biāo)注數(shù)據(jù)和模型，并提供了一個(gè)更具可比性的評(píng)測(cè)基準(zhǔn)。

這意味著什么？終于有了一個(gè)手術(shù)視頻理解垂直領(lǐng)域的“全球公共測(cè)評(píng)體系”了。

以前，各家模型各說(shuō)各話，效果沒(méi)法比。

現(xiàn)在，拉出來(lái)在同一個(gè)數(shù)據(jù)集上跑一跑，誰(shuí)強(qiáng)誰(shuí)弱，一目了然。

而這，還只是開(kāi)始。

這支研發(fā)團(tuán)隊(duì)不想唱獨(dú)角戲，上線了醫(yī)療視頻理解大模型榜單，面向全世界開(kāi)發(fā)者發(fā)出挑戰(zhàn)。

這是一個(gè)綜合基準(zhǔn)測(cè)試，用于評(píng)估視頻語(yǔ)言模型在醫(yī)療和外科視頻理解方面的表現(xiàn)。

開(kāi)發(fā)者可提交自有模型結(jié)果，由系統(tǒng)基于標(biāo)準(zhǔn)自動(dòng)評(píng)分，形成動(dòng)態(tài)更新的統(tǒng)一排行榜。

當(dāng)全球開(kāi)發(fā)者都能下載模型、使用數(shù)據(jù)集、上傳自己的成果時(shí)，看誰(shuí)能把對(duì)醫(yī)療視頻理解的能力邊界，再往前推一步了。

這個(gè)過(guò)程中，醫(yī)生上傳的罕見(jiàn)病例、復(fù)雜手術(shù)視頻，尤其是現(xiàn)有模型表現(xiàn)不足的案例，都會(huì)成為極為珍貴的真實(shí)數(shù)據(jù)，持續(xù)驅(qū)動(dòng)技術(shù)迭代。

醫(yī)療視頻AI正在迎來(lái)面向全球開(kāi)發(fā)者的黃金時(shí)代。

未來(lái)，uAI Nexus MedVLM將與具身智能融合，完善感知-推理-執(zhí)行的能力閉環(huán)。從手術(shù)室拓展到更多臨床場(chǎng)景，推動(dòng)醫(yī)療全流程智能化。

數(shù)據(jù)開(kāi)放、模型共享、全球協(xié)同……這條路，才剛剛開(kāi)始。

開(kāi)發(fā)者們，是時(shí)候上車(chē)了～

彩蛋：鏈接在此，請(qǐng)自取

1.在線Demo:
https://huggingface.co/spaces/UII-AI/MedGRPO-Demo

2.推理代碼:
https://github.com/UII-AI/MedGRPO-Code

3.MedVidBench數(shù)據(jù)集：
https://huggingface.co/datasets/UII-AI/MedVidBench

4.公開(kāi)榜單:
https://huggingface.co/spaces/UII-AI/MedVidBench-Leaderboard

5.論文:
https://arxiv.org/abs/2512.06581

6. 項(xiàng)目介紹：
https://uii-ai.github.io/MedGRPO/