国产av一二三区|日本不卡动作网站|黄色天天久久影片|99草成人免费在线视频|AV三级片成人电影在线|成年人aV不卡免费播放|日韩无码成人一级片视频|人人看人人玩开心色AV|人妻系列在线观看|亚洲av无码一区二区三区在线播放

網(wǎng)易首頁(yè) > 網(wǎng)易號(hào) > 正文 申請(qǐng)入駐

微軟發(fā)布醫(yī)療時(shí)序基座模型:4540億數(shù)據(jù)預(yù)訓(xùn)練,解決不規(guī)則采樣

0
分享至

在大模型(LLM)與計(jì)算機(jī)視覺(jué)(CV)爭(zhēng)相重塑醫(yī)療行業(yè)的今天,我們似乎已經(jīng)擁有了無(wú)所不能的數(shù)字助手:它們能夠像放射科醫(yī)生一樣精準(zhǔn)解讀CT影像,也能像內(nèi)科醫(yī)生一樣撰寫(xiě)病歷摘要。

但醫(yī)療AI世界中,仍有一塊關(guān)鍵拼圖缺失——那就是理解“生命動(dòng)態(tài)演變”的能力。



△圖1.不同模態(tài)的醫(yī)療數(shù)據(jù)

正如圖1所示,如果將患者的生命歷程比作一部電影,現(xiàn)有的AI往往只能捕捉到零散的幀畫(huà):

影像(Image)是“快照”:定格的僅僅是某一瞬間的解剖結(jié)構(gòu);

文本(Text)是“敘述”:往往只是對(duì)既往病情的主觀回顧;

唯有時(shí)間序列(Time Series),才忠實(shí)記錄了生命體征的連續(xù)軌跡。

然而,讀懂這條“曲線”遠(yuǎn)比處理靜態(tài)圖像復(fù)雜。為此,微軟亞洲研究院推出了專為醫(yī)療時(shí)序數(shù)據(jù)設(shè)計(jì)的通用基座模型——MIRA。

該模型基于4540億個(gè)醫(yī)療數(shù)據(jù)點(diǎn)進(jìn)行大規(guī)模預(yù)訓(xùn)練,通過(guò)兩大核心技術(shù)突破了傳統(tǒng)模型對(duì)規(guī)則采樣的依賴,旨在解決真實(shí)世界醫(yī)療數(shù)據(jù)“不規(guī)則、異構(gòu)性”的難題。

實(shí)驗(yàn)表明,MIRA在關(guān)鍵預(yù)測(cè)任務(wù)上的表現(xiàn)超越了現(xiàn)有SOTA模型,并展現(xiàn)出卓越的零樣本(Zero-shot)遷移能力。

一起來(lái)看具體方案。

真實(shí)醫(yī)療數(shù)據(jù):大模型的“噩夢(mèng)”

長(zhǎng)期以來(lái),醫(yī)療時(shí)序模型的通用化進(jìn)程面臨諸多挑戰(zhàn),其核心問(wèn)題在于“理想假設(shè)”與“現(xiàn)實(shí)數(shù)據(jù)”的錯(cuò)位

通用深度學(xué)習(xí)模型通?;凇耙?guī)則采樣”的理想化假設(shè),即數(shù)據(jù)是整齊劃一、均勻分布的。

然而,在真實(shí)醫(yī)療場(chǎng)景中,尤其是重癥監(jiān)護(hù)室(ICU),生命體征的記錄往往呈現(xiàn)出“時(shí)疏時(shí)密”的特點(diǎn):心跳以秒為單位波動(dòng),血壓可能以小時(shí)為單位記錄,而血液檢測(cè)指標(biāo)可能需要一天甚至更長(zhǎng)時(shí)間才能更新一次。

這種多時(shí)間尺度交織、采樣頻率不規(guī)則的特性,構(gòu)成了醫(yī)療時(shí)序數(shù)據(jù)最顯著的挑戰(zhàn),也是大模型在醫(yī)療領(lǐng)域落地應(yīng)用的核心障礙。



△圖2.醫(yī)療時(shí)間序列數(shù)據(jù)典型樣例

圖2醫(yī)學(xué)時(shí)間序列數(shù)據(jù)具有以下特點(diǎn):①時(shí)間間隔不規(guī)則,②采樣率異質(zhì),③由于臨床工作流程不標(biāo)準(zhǔn)或儀器按照不到位造成的數(shù)據(jù)缺失。

傳統(tǒng)方法為了讓模型處理這些數(shù)據(jù),往往不得不采用插值(Imputation)等手段強(qiáng)行對(duì)齊。這種做法不僅容易引入人為的“噪聲”,還可能丟失原本的時(shí)間動(dòng)力學(xué)信息,屬于典型的“削足適履”。

而MIRA的提出,正是為了解決這一難題。它不再局限于單一場(chǎng)景訓(xùn)練,而是從海量醫(yī)療數(shù)據(jù)中學(xué)習(xí)跨場(chǎng)景、跨模態(tài)的生理動(dòng)態(tài)模式,成為一個(gè)具備卓越遷移能力的通用醫(yī)療基座模型。

兩大核心技術(shù):讀懂不規(guī)則律動(dòng)

面對(duì)醫(yī)療數(shù)據(jù)“雜亂無(wú)章”的特性,MIRA設(shè)計(jì)了兩大核心技術(shù)模塊,分別解決了“歷史”與“未來(lái)”的建模難題。



△圖3.MIRA的架構(gòu)

MIRA的架構(gòu)如下:①接收不規(guī)則時(shí)間序列和時(shí)間戳作為輸入,并應(yīng)用CT-RoPE進(jìn)行連續(xù)時(shí)間編碼。②混合專家層根據(jù)頻率路由到不同的Expert。③Neural ODE模塊將潛在狀態(tài)演化到任意目標(biāo)時(shí)間戳,從而實(shí)現(xiàn)靈活的時(shí)間感知預(yù)測(cè)

1.CT-RoPE:給“歷史”一把彈性標(biāo)尺

傳統(tǒng)模型處理時(shí)間序列習(xí)慣用離散的整數(shù)索引(1,2,3…)來(lái)標(biāo)記順序,默認(rèn)每一步距離相等,忽略了醫(yī)療數(shù)據(jù)中“時(shí)疏時(shí)密”的真實(shí)間隔。

MIRA創(chuàng)新性地提出了連續(xù)時(shí)間旋轉(zhuǎn)位置編碼(CT-RoPE)。它摒棄了離散索引,直接將真實(shí)的連續(xù)時(shí)間戳代入旋轉(zhuǎn)矩陣計(jì)算。

這意味著,模型能夠精準(zhǔn)感知?dú)v史記錄中任意時(shí)間間隔的變化,而不是機(jī)械地記錄采樣次數(shù)。

2. Neural ODE:描繪“未來(lái)”的連續(xù)曲線

人體狀態(tài)是連續(xù)流動(dòng)的,而非離散跳變。為了精準(zhǔn)推演病情走向,MIRA引入了神經(jīng)常微分方程(Neural ODE)模塊。

如果說(shuō)CT-RoPE是為了讀懂過(guò)去零散的點(diǎn),那么Neural ODE就是為了畫(huà)出未來(lái)連續(xù)的線。它模擬生物體內(nèi)部的動(dòng)力學(xué)變化,能基于離散數(shù)據(jù)推導(dǎo)出連續(xù)時(shí)間下的潛在狀態(tài)演化軌跡

這意味著,即使未來(lái)的采樣時(shí)間點(diǎn)不確定,模型也能依循生理規(guī)律,給出符合動(dòng)力學(xué)邏輯的合理預(yù)測(cè)。

實(shí)驗(yàn)驗(yàn)證:零樣本與高魯棒性

研究團(tuán)隊(duì)在MIMIC-III、MIMIC-IV等多個(gè)權(quán)威數(shù)據(jù)集上對(duì)MIRA進(jìn)行了評(píng)估。

1. 零樣本(Zero-shot)預(yù)測(cè)突破

最值得關(guān)注的是MIRA的遷移能力。在未經(jīng)過(guò)任何特定目標(biāo)數(shù)據(jù)集訓(xùn)練的情況下,MIRA直接被部署到全新的醫(yī)療場(chǎng)景中。

數(shù)據(jù)顯示,其在分布外(OOD)測(cè)試集上的表現(xiàn),甚至超越了部分專門(mén)訓(xùn)練的全監(jiān)督模型。這說(shuō)明MIRA學(xué)到了生理信號(hào)變化的“通用規(guī)律”,而不僅僅是擬合了某家醫(yī)院的數(shù)據(jù)分布。



△圖4.與baseline相比,MIRA out-of-distribution表現(xiàn)

2.極度稀疏數(shù)據(jù)的“高魯棒性”

面對(duì)缺失值,傳統(tǒng)模型往往依賴插值預(yù)處理。這種做法不僅引入人為噪聲,還可能破壞數(shù)據(jù)的原始分布特性。

而MIRA得益于Neural ODE,無(wú)需任何插值操作即可原生適配。通過(guò)建模時(shí)間序列的連續(xù)動(dòng)力學(xué)特性,MIRA能夠直接處理數(shù)據(jù)中的缺失值,無(wú)需額外的預(yù)處理步驟。

實(shí)驗(yàn)表明,即便在數(shù)據(jù)極度稀疏(例如僅保留30%觀測(cè)點(diǎn))的條件下,MIRA的性能依然保持穩(wěn)健,并未像傳統(tǒng)預(yù)測(cè)模型那樣出現(xiàn)性能的顯著下滑。這種對(duì)真實(shí)世界“臟數(shù)據(jù)”的適應(yīng)能力,證明了其在復(fù)雜臨床環(huán)境下的高魯棒性。



開(kāi)啟醫(yī)療AI的“通用基座”時(shí)代

MIRA的提出可謂是醫(yī)療時(shí)序預(yù)測(cè)向“通用基座”時(shí)代邁進(jìn)的重要探索。通過(guò)解決不規(guī)則采樣和異構(gòu)數(shù)據(jù)難題,MIRA為醫(yī)療AI擺脫“煙囪式”開(kāi)發(fā)模式提供了可能。

未來(lái),醫(yī)院或可利用MIRA作為底座,配合少量本地?cái)?shù)據(jù)微調(diào),快速獲得高精度的定制化模型。這為構(gòu)建更智能的ICU早期預(yù)警、慢病管理以及通用AI助手奠定了堅(jiān)實(shí)基礎(chǔ)。

論文鏈接:

https://arxiv.org/abs/2506.07584
項(xiàng)目鏈接:

https://github.com/microsoft/MIRA

特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關(guān)推薦
熱點(diǎn)推薦
萬(wàn)萬(wàn)沒(méi)想到,丁克大半輩子的張鐸,如今在46歲迎來(lái)了人生高光時(shí)刻

萬(wàn)萬(wàn)沒(méi)想到,丁克大半輩子的張鐸,如今在46歲迎來(lái)了人生高光時(shí)刻

胡一舸南游y
2026-01-14 13:20:09
福建金店被搶后續(xù):已抓獲是夫妻,曾搜過(guò)熔金步驟,更多細(xì)節(jié)曝光

福建金店被搶后續(xù):已抓獲是夫妻,曾搜過(guò)熔金步驟,更多細(xì)節(jié)曝光

小李子體育
2026-01-24 12:20:11
秋季發(fā)布!蘋(píng)果iPhone Fold售價(jià)或?qū)?.5萬(wàn)元

秋季發(fā)布!蘋(píng)果iPhone Fold售價(jià)或?qū)?.5萬(wàn)元

泡泡網(wǎng)
2026-01-22 17:22:07
“一坐高鐵就犯困”,12306回應(yīng)車(chē)廂二氧化碳濃度超標(biāo)

“一坐高鐵就犯困”,12306回應(yīng)車(chē)廂二氧化碳濃度超標(biāo)

中國(guó)新聞周刊
2026-01-23 15:54:20
未婚先孕?曝范冰冰現(xiàn)身婦產(chǎn)醫(yī)院,小心翼翼穿著寬松,腹部疑似隆起

未婚先孕?曝范冰冰現(xiàn)身婦產(chǎn)醫(yī)院,小心翼翼穿著寬松,腹部疑似隆起

八卦王者
2026-01-23 15:47:04
一群外國(guó)人曾到中國(guó)避難,于2003年正式加入中國(guó)國(guó)籍,他們直言:我是中國(guó)人,我為此感到自豪

一群外國(guó)人曾到中國(guó)避難,于2003年正式加入中國(guó)國(guó)籍,他們直言:我是中國(guó)人,我為此感到自豪

寄史言志
2026-01-09 17:55:10
“和平委員會(huì)”名單公布,19國(guó)已簽署,讓中方意外的是普京和巴鐵

“和平委員會(huì)”名單公布,19國(guó)已簽署,讓中方意外的是普京和巴鐵

尋途
2026-01-23 05:34:38
胡春華同志出席座談會(huì)!

胡春華同志出席座談會(huì)!

社評(píng)
2026-01-23 09:57:12
自民黨議員高呼“萬(wàn)歲”,石破茂面色嚴(yán)肅、保持沉默

自民黨議員高呼“萬(wàn)歲”,石破茂面色嚴(yán)肅、保持沉默

觀察者網(wǎng)
2026-01-24 11:12:24
黃金大漲,白銀狂飆!特朗普警告:歐洲若拋售美資產(chǎn),將遭重大報(bào)復(fù)

黃金大漲,白銀狂飆!特朗普警告:歐洲若拋售美資產(chǎn),將遭重大報(bào)復(fù)

證券時(shí)報(bào)e公司
2026-01-24 07:58:32
賽力斯拿下車(chē)企第一,華為贏麻了!

賽力斯拿下車(chē)企第一,華為贏麻了!

互聯(lián)網(wǎng)品牌官
2026-01-21 18:36:41
1950年,師級(jí)首長(zhǎng)在成都遭活剝?毛主席拍案而起:116萬(wàn)土匪,一個(gè)不留!

1950年,師級(jí)首長(zhǎng)在成都遭活剝?毛主席拍案而起:116萬(wàn)土匪,一個(gè)不留!

寄史言志
2026-01-07 20:37:09
向太曝馬伊琍已再婚:當(dāng)年文章過(guò)不了心理那關(guān)

向太曝馬伊琍已再婚:當(dāng)年文章過(guò)不了心理那關(guān)

娛樂(lè)看阿敞
2025-12-12 15:50:00
重磅官宣!人民日?qǐng)?bào)預(yù)熱+足協(xié)聘任,國(guó)足主帥坦言與日本差距懸殊

重磅官宣!人民日?qǐng)?bào)預(yù)熱+足協(xié)聘任,國(guó)足主帥坦言與日本差距懸殊

十點(diǎn)街球體育
2026-01-23 22:15:01
沈佳潤(rùn)用力過(guò)猛,為可口可樂(lè)拍春節(jié)廣告臉比老爸大,粉底厚像虎妞

沈佳潤(rùn)用力過(guò)猛,為可口可樂(lè)拍春節(jié)廣告臉比老爸大,粉底厚像虎妞

鋒哥與八卦哥
2026-01-24 11:42:24
“女碩士患精神疾病走失十余年被找回”案:兩人涉嫌強(qiáng)奸罪被起訴

“女碩士患精神疾病走失十余年被找回”案:兩人涉嫌強(qiáng)奸罪被起訴

大風(fēng)新聞
2026-01-22 22:16:16
故事:左宗棠收復(fù)新疆后,慈禧單獨(dú)召見(jiàn)他:你比曾國(guó)藩強(qiáng)在哪?

故事:左宗棠收復(fù)新疆后,慈禧單獨(dú)召見(jiàn)他:你比曾國(guó)藩強(qiáng)在哪?

飯小妹說(shuō)歷史
2026-01-20 09:12:31
越共中央選出新一屆政治局成員,共19人

越共中央選出新一屆政治局成員,共19人

觀察者網(wǎng)
2026-01-23 18:36:08
種種跡象表明,特朗普賭輸了,馬斯克回歸政壇,中國(guó)發(fā)布4號(hào)公告

種種跡象表明,特朗普賭輸了,馬斯克回歸政壇,中國(guó)發(fā)布4號(hào)公告

風(fēng)雨與陽(yáng)光
2026-01-24 14:44:27
91年,林立果未婚妻張寧,看望林豆豆夫婦,合影中張寧漂亮又時(shí)髦

91年,林立果未婚妻張寧,看望林豆豆夫婦,合影中張寧漂亮又時(shí)髦

歷史偉人錄
2024-11-28 12:02:20
2026-01-24 15:20:50
量子位 incentive-icons
量子位
追蹤人工智能動(dòng)態(tài)
12056文章數(shù) 176363關(guān)注度
往期回顧 全部

科技要聞

特斯拉Cybercrab即將落地 每公里不到1塊錢(qián)

頭條要聞

專家:特朗普或在春天訪問(wèn)中國(guó) 其被認(rèn)為是"對(duì)華鴿派"

頭條要聞

專家:特朗普或在春天訪問(wèn)中國(guó) 其被認(rèn)為是"對(duì)華鴿派"

體育要聞

當(dāng)家球星打替補(bǔ),他們?cè)诠室鈹[爛?

娛樂(lè)要聞

李微漪更新:狼王格林去世,3字淚目

財(cái)經(jīng)要聞

“百年老字號(hào)”張小泉遭60億債務(wù)壓頂

汽車(chē)要聞

有增程和純電版可選 日產(chǎn)NX8或于3-4月間上市

態(tài)度原創(chuàng)

藝術(shù)
健康
家居
親子
游戲

藝術(shù)要聞

色彩之巔!法國(guó)蓬皮杜中心館藏藝術(shù)大師特展”在北京民生現(xiàn)代美術(shù)館開(kāi)幕

耳石脫落為何讓人天旋地轉(zhuǎn)+惡心?

家居要聞

在家度假 160平南洋混搭宅

親子要聞

女性骨盆持續(xù)縮小——我們正在“進(jìn)化”出更多剖宮產(chǎn)嗎?

《生化危機(jī)9》發(fā)售前DLC泄露!可玩角色曝光

無(wú)障礙瀏覽 進(jìn)入關(guān)懷版