來源：量子位、聯(lián)影智能、聯(lián)盟整理

4月24日，上海聯(lián)影智能科技股份有限公司（以下簡稱“聯(lián)影智能”）開源了全球首個(gè)醫(yī)療視頻理解大模型——uAI Nexus MedVLM（元智醫(yī)療視頻理解大模型）。該論文被CVPR 2026收錄，同步開源的還有6245組精標(biāo)測試集與全球首個(gè)醫(yī)療視頻理解公共評(píng)測體系。

醫(yī)療視頻理解領(lǐng)域，終于有了第一把"標(biāo)尺"。

三大核心瓶頸，

長期制約行業(yè)發(fā)展

長期以來，醫(yī)療手術(shù)視頻理解領(lǐng)域始終存在三大核心技術(shù)瓶頸，制約著行業(yè)的發(fā)展：

• 其一，數(shù)據(jù)獲取與標(biāo)注成本高企。手術(shù)視頻涉及患者隱私保護(hù)，合規(guī)數(shù)據(jù)的獲取本身存在較高門檻；而精細(xì)化的幀級(jí)標(biāo)注，需要臨床醫(yī)生的專業(yè)參與，標(biāo)注成本極高，絕大多數(shù)研發(fā)團(tuán)隊(duì)難以承擔(dān)。

• 其二，行業(yè)缺乏統(tǒng)一的評(píng)測標(biāo)準(zhǔn)。過往行業(yè)內(nèi)各研發(fā)主體采用獨(dú)立的數(shù)據(jù)集與評(píng)測指標(biāo)，技術(shù)能力的橫向?qū)Ρ热狈y(tǒng)一標(biāo)尺，導(dǎo)致賽道發(fā)展陷入同質(zhì)化內(nèi)耗，技術(shù)迭代節(jié)奏受阻。

• 其三，任務(wù)技術(shù)壁壘極高。手術(shù)視頻理解需要實(shí)現(xiàn)毫米級(jí)的空間識(shí)別、高精度的時(shí)序邏輯理解，以及高度專業(yè)化的臨床語義解析，對(duì)模型的感知與推理能力要求嚴(yán)苛；即便是當(dāng)前頂級(jí)的通用大模型，也難以適配這一高度專業(yè)化的臨床場景。

針對(duì)性突破：

53萬條數(shù)據(jù)，單卡能跑

而本次，聯(lián)影智能發(fā)布的 uAI Nexus MedVLM，就專門針對(duì)上述大三瓶頸進(jìn)行了突破。

uAI Nexus MedVLM的底子是53萬條視頻-指令數(shù)據(jù)，4B/7B參數(shù)規(guī)模，一張卡就能部署。覆蓋內(nèi)鏡、腹腔鏡、開放手術(shù)、機(jī)器人手術(shù)、護(hù)理操作等8個(gè)醫(yī)學(xué)數(shù)據(jù)集。

而模型能干8件事：視頻摘要、關(guān)鍵安全視野評(píng)估、下一步操作預(yù)測、技能評(píng)估、時(shí)間動(dòng)作定位、密集視頻描述、區(qū)域級(jí)描述、時(shí)空基礎(chǔ)化。

團(tuán)隊(duì)還開發(fā)了MedGRPO強(qiáng)化學(xué)習(xí)框架，解決了一個(gè)很實(shí)際的問題——異構(gòu)醫(yī)學(xué)數(shù)據(jù)混合訓(xùn)練容易崩潰。他們用跨數(shù)據(jù)集獎(jiǎng)勵(lì)歸一化和醫(yī)學(xué)LLM評(píng)審機(jī)制，讓不同難度的數(shù)據(jù)集能公平優(yōu)化。這套框架讓器械定位能力提升14%，手術(shù)步驟識(shí)別能力提升52%。

性能測試結(jié)果顯示，uAI Nexus MedVLM 在多項(xiàng)醫(yī)療視頻核心任務(wù)中，性能全面超越當(dāng)前主流通用大模型：

• 手術(shù)安全評(píng)估任務(wù)中，模型準(zhǔn)確率達(dá) 89.7%，是GPT-5.4（16.4%）的 5.5 倍，遠(yuǎn)超 Gemini-3.1 的 24.2%；

• 時(shí)空動(dòng)作定位任務(wù)中，模型 mIoU 指標(biāo)為 Gemini-3.1 的 3.2 倍，為 GPT-5.4 的 47 倍；

• 視頻報(bào)告生成任務(wù)（5 分制）中，模型得分 4.24 分，高于 GPT-5.4 的 3.98 分。

「元智」醫(yī)療視頻理解大模型 (uAI NEXUS-MedVLM) 在多項(xiàng)醫(yī)療視頻核心任務(wù)中性能全面超越主流通用大模型

以腹腔鏡膽囊切除術(shù)的操作描述任務(wù)為例：

GPT-5.4僅能給出籠統(tǒng)的泛化描述，無法識(shí)別具體手術(shù)器械；

Gemini-3.1出現(xiàn)了器械識(shí)別錯(cuò)誤，將手術(shù)工具誤判為 “電凝鉤”；

其他國產(chǎn)通用大模型則無法識(shí)別正確的手術(shù)步驟。

而uAI Nexus MedVLM的輸出為：“位于左上方的抓鉗持續(xù)向上并朝中央牽引膽囊，保持張力并為鉤子暴露分離平面”，幾乎接近標(biāo)準(zhǔn)答案。

全鏈條開源，

打造全球協(xié)同研發(fā)生態(tài)

值得一提的事，聯(lián)影這次不只是開源模型，還同步開源了大規(guī)模高質(zhì)量醫(yī)療視頻標(biāo)注數(shù)據(jù)，提供了一個(gè)統(tǒng)一的評(píng)測基準(zhǔn)，徹底解決了過往行業(yè)內(nèi)技術(shù)能力無法橫向?qū)Ρ鹊膯栴}。

以前各說各話，現(xiàn)在同一個(gè)數(shù)據(jù)集上跑一跑，誰強(qiáng)誰弱一目了然。

此外，聯(lián)影智能還發(fā)布「醫(yī)療視頻理解大模型榜單」，面向全球開發(fā)者發(fā)出邀請(qǐng)。開發(fā)者提交模型結(jié)果，系統(tǒng)自動(dòng)評(píng)分，動(dòng)態(tài)更新排行榜。全球開發(fā)者都能下載模型、用數(shù)據(jù)集、上傳成果。

醫(yī)療視頻理解大模型榜單

本次 uAI Nexus MedVLM 的開源，不僅是聯(lián)影智能在醫(yī)療AI領(lǐng)域的又一次技術(shù)突破，更是整個(gè)醫(yī)療視頻理解賽道的全新起點(diǎn)。

未來，隨著該模型與具身智能等前沿技術(shù)的融合落地，醫(yī)療 AI 將逐步從影像診斷等單點(diǎn)場景，向全流程、全場景的臨床輔助延伸，真正實(shí)現(xiàn)技術(shù)普惠，為全球醫(yī)療行業(yè)的數(shù)字化轉(zhuǎn)型，注入全新的行業(yè)動(dòng)力。

• 項(xiàng)目主頁

  https://uii-ai.github.io/MedGRPO/

• 模型詳情

  https://huggingface.co/UII-AI/uAI-NEXUS-MedVLM-1.0a-7B-RL

• 數(shù)據(jù)集

  https://huggingface.co/datasets/UII-AI/MedVidBench

• 大模型榜單

  https://huggingface.co/spaces/UII-AI/MedVidBench-Leaderboard

• 推理代碼

  https://github.com/UII-AI/MedGRPO-Code

• 模型體驗(yàn)

  https://huggingface.co/spaces/UII-AI/MedGRPO-Demo

本文為轉(zhuǎn)載發(fā)布，僅做分享，文章中觀點(diǎn)僅代表原平臺(tái)作者觀點(diǎn)，與本平臺(tái)無關(guān)。如若本文有與貴平臺(tái)發(fā)布原創(chuàng)內(nèi)容有重合之處，或未經(jīng)授權(quán)使用，系原平臺(tái)行為，本平臺(tái)僅轉(zhuǎn)載。您可以第一時(shí)間聯(lián)系我們刪除文章，我們會(huì)立即響應(yīng)！

#中國CT報(bào)告