AI 在醫(yī)學(xué)領(lǐng)域終于能做生成式任務(wù)了，而且并不是簡單的分類任務(wù)。這次，它成功將最常規(guī)的病理切片，“翻譯”成原本昂貴而稀缺的免疫檢測圖像。

“我們用更便宜易得的病理圖片，通過 AI 生成了更昂貴耗時的免疫組化圖片，這是癌癥免疫療法領(lǐng)域的里程碑工作之一，可能會極大加速癌癥的臨床檢測流程?！闭劶斑@項發(fā)表在 Cell 的論文，美國華盛頓大學(xué)王晟教授對 DeepTech 如是說。

圖丨王晟（來源：受訪者）

近期，微軟研究院潘海峰博士、華盛頓大學(xué)王晟教授團隊合作，開發(fā)了一種 AI 框架 GigaTIME，基于多模態(tài) AI 技術(shù)，實現(xiàn)了將醫(yī)院中常規(guī)的癌癥病理切片（H&E 染色）轉(zhuǎn)化為多通道免疫熒光（mIF，multiplex immunofluorescence）。

該研究不僅展示了從 H&E 生成 mIF 圖片的可能性，更重要的是，基于虛擬圖片實現(xiàn)了下游的臨床發(fā)現(xiàn)：研究人員將 GigaTIME 應(yīng)用于 1.4 萬余名病人的 H&E 圖像中，這些數(shù)據(jù)來自美國最大的醫(yī)療機構(gòu) Providence Health，共包括美國 7 個州、51 家醫(yī)院和 1,000 多家診所。

研究人員一次性生成了近 30 萬張?zhí)摂M mIF 全切片圖像，涵蓋 24 種癌癥類型和 306 種亞型。憑借這些空前規(guī)模的數(shù)據(jù)，研究人員系統(tǒng)地揭示了 1,200 多個蛋白質(zhì)和生物標(biāo)志物（如 TP53、KRAS 突變、TMB、MSI 等）、病理分期（TNM 分期）與具體癌癥及亞型的關(guān)鍵聯(lián)系。

這些數(shù)據(jù)有助于理解腫瘤免疫逃逸的機制，并首次基于此預(yù)測病人生存時間和初步評估免疫療法的藥效。目前，研究團隊已公開預(yù)訓(xùn)練的 GigaTIME 模型代碼，為腫瘤微環(huán)境大規(guī)模建模、臨床生物標(biāo)志物發(fā)現(xiàn)及精準(zhǔn)免疫治療方面提供了新的思路。

相關(guān)論文以《多模態(tài)人工智能生成腫瘤微環(huán)境建模的虛擬人群》（Multimodal AI generates virtual population for tumor microenvironment modeling）為題發(fā)表在 Cell[1]。

圖丨相關(guān)論文（來源：Cell）

當(dāng)病理圖像學(xué)會“翻譯”另一種檢測

H&E 染色作為臨床常規(guī)病理檢查的基礎(chǔ)技術(shù)之一，其優(yōu)勢是成本低且應(yīng)用范圍廣泛，即便欠發(fā)達地區(qū)也能實現(xiàn)，但它的局限性在于細胞形態(tài)和組織結(jié)構(gòu)。

相對而言，mIF 是一種多重蛋白質(zhì)空間表達信息的金標(biāo)準(zhǔn)技術(shù)，盡管其能夠準(zhǔn)確反映癌癥病人狀態(tài)，但因成本高和通量低難以大規(guī)模應(yīng)用。目前，只有極少數(shù)發(fā)達國家、頂尖醫(yī)院才配備 mIF。

從檢測技術(shù)價格來看，一個顯著對比是：病理圖片僅需要 20-50 美元，從切片、染色、封固全流程最快半天完成；由于人力與試劑成本高，免疫熒光/免疫組化相關(guān)檢測通常需要 1,500 美元，用時至少 5 天。

臨床中的一個長期的“惡性循環(huán)”是：因為不了解 mIF 圖像到底在哪類病人、哪種蛋白質(zhì)、哪種癌癥上有用，所以臨床上不會花幾千美金做 mIF 檢測；因而做 mIF 檢測的病人數(shù)量很少，更難收集大規(guī)模數(shù)據(jù)；沒有數(shù)據(jù)，又反過來不知道哪里有用。

這項研究始于 Providence Health 提出的實際臨床需求：是否有可能將低成本的 H&E 圖像生成更高價值的 mIF 圖像？

此前，病理專家基于醫(yī)學(xué)圖像推斷病人腫瘤狀態(tài)：如果只有便宜的醫(yī)學(xué)圖像，需要資深專家才能基于此進行推斷；而一旦有了高價值、更清晰的醫(yī)學(xué)圖像，普通專家甚至剛?cè)腴T的病理醫(yī)生也能做出準(zhǔn)確判斷。

（來源：Cell）

跨模態(tài)翻譯模型是 GigaTIME 的核心所在?；谏疃葘W(xué)習(xí)算法在不依賴昂貴試劑和復(fù)雜設(shè)備的條件下，將 H&E 染色切片轉(zhuǎn)化為高分辨率的虛擬的 mIF 圖像。研究人員對 4,000 萬細胞的配對 H&E 和 mIF 數(shù)據(jù)進行訓(xùn)練，涵蓋了 21 種蛋白質(zhì)通道。

多模態(tài) AI 技術(shù)的最大優(yōu)勢，是讓模型同時“吃透”不同模態(tài)的數(shù)據(jù)，實現(xiàn)數(shù)據(jù)利用效率最大化，而不是給每種模態(tài)單獨訓(xùn)一個模型。也就是說，各模態(tài)間共享的特征信息能同時被遷移。

（來源：Cell）

此外，GigaTIME 的虛擬人群可根據(jù)虛擬蛋白質(zhì)的激活狀態(tài)，支持對病理階段和病人分層的系統(tǒng)性研究，并預(yù)測病理分析與生存期。

通過整合所有 21 個虛擬蛋白質(zhì)通道，GigaTIME 能夠更有效地對病人進行分層，預(yù)測癌癥分期和生存結(jié)果。傳統(tǒng)病理指標(biāo)只能靠 H&E 圖像分層，而這項研究使用的虛擬 mIF 圖像分層是傳統(tǒng)手段無法實現(xiàn)的。

從泛癌水平角度，GigaTIME 發(fā)現(xiàn)腫瘤大?。═ 階段）與免疫檢查點標(biāo)記物（如 PD-L1 和 PD-1）以及免疫浸潤標(biāo)記物（如 CD68 和 CD138）呈正相關(guān)。

研究人員進一步在特定癌種和亞型水平進行了深入研究。即便虛擬 mIF 是從 H&E 生成，其分層效果仍優(yōu)于真實的 H&E 圖像。未來某些癌癥亞型可能繼續(xù)用便宜的真實 H&E 分層更好，但在另一些亞型上，用虛擬的 mIF 圖像分層效果更佳。

（來源：Cell）

“我們并非要全盤取代傳統(tǒng)指標(biāo)，而是為不同亞型、不同人種、不同病人提供另一種分層工具，以補充現(xiàn)有臨床分層的不足?！蓖蹶杀硎尽?/p>

此外，GigaTIME 還揭示了蛋白質(zhì)激活之間的協(xié)同作用。通過結(jié)合漿細胞標(biāo)記物 CD138 和巨噬細胞標(biāo)記物 CD68 的虛擬激活，研究人員發(fā)現(xiàn)，該組合與多個生物標(biāo)志物的關(guān)聯(lián)強于單獨的蛋白質(zhì)。這種協(xié)同作用有可能反映了抗體介導(dǎo)的免疫反應(yīng)，其中漿細胞產(chǎn)生的抗體可激活巨噬細胞攻擊腫瘤細胞。

30 萬張?zhí)摂M mIF 圖像，是如何被“算”出來的？

研究團隊在數(shù)據(jù)預(yù)處理方面投入了大量精力。由于使用的是臨床真實病人數(shù)據(jù)，而不是為研究特意新建的數(shù)據(jù)集，因此必須從醫(yī)院現(xiàn)有病歷里篩出“高質(zhì)量、多樣化、又不過于罕見”的病例。同時，圖像本身還要統(tǒng)一染色、去噪、對齊等。

研究人員發(fā)現(xiàn)，此前領(lǐng)域內(nèi)只有簡單數(shù)細胞，但這些遠遠不夠，更關(guān)鍵的圖像層面空間特征仍然空白。

為此，他們搭建了一整套科研流程，并加上了數(shù)據(jù)、模型、驗證的相關(guān)指標(biāo)?！拔覀冎苯咏栌昧藗鹘y(tǒng)圖像領(lǐng)域已被反復(fù)驗證、久經(jīng)考驗的空間指標(biāo)，首次把它們搬到免疫圖像分析里。通過大量實驗和摸索捋順了這套預(yù)處理流程，未來從事該方向的研究人員可以直接沿用。”王晟表示。

（來源：Cell）

另一方面，將訓(xùn)練好的 AI 模型應(yīng)用到 1.4 萬余名病人，并一次性生成 30 萬張?zhí)摂M mIF 圖像也帶來了不小的挑戰(zhàn)。為解決 GPU/CPU 資源大量消耗的問題，研究人員進行了大量純工程層面的并行優(yōu)化，將生成周期壓到 1-2 個月，并使用了微軟研究院提供的海量計算集群。

GigaTIME 相當(dāng)于用簡單圖像學(xué)習(xí)出復(fù)雜圖像，就像搭起了一座橋梁，通過為初級病理醫(yī)生提供高價值圖像參考，縮短其從初級到專家的學(xué)習(xí)和經(jīng)驗累積周期。

“得益于生成式 AI 近年來的發(fā)展和進步，我們把海量真實的成對數(shù)據(jù)喂給 AI 模型，再用生成式 AI 技術(shù)把模型建起來，這個全新的醫(yī)學(xué)問題才有了這種新的方案?！蓖蹶杀硎尽?/p>

數(shù)據(jù)規(guī)模帶來的直接影響是，臨床流程因此顯著降低了成本。研究團隊用 AI 虛擬手段打破了傳統(tǒng)的“惡性循環(huán)”：生物學(xué)家和醫(yī)生在得到這些關(guān)鍵信息后，相當(dāng)于可“按圖索驥”大致判斷哪些蛋白質(zhì)可能關(guān)鍵，有了突破后再針對特定的蛋白，用較低的成本補做真實的 mIF 檢測以及深入挖掘。

比如，當(dāng)醫(yī)生發(fā)現(xiàn)某些蛋白質(zhì)在肝癌中具有關(guān)鍵作用，就大規(guī)模給肝癌病人上真實 mIF，同時配合虛擬圖像，真實數(shù)據(jù)量隨之暴漲，最終讓 mIF 變成臨床常規(guī)技術(shù)。

用虛擬圖像開啟“數(shù)字試驗”新范式

王晟指出，虛擬細胞、虛擬圖片方向的 AI 技術(shù)，并不會取代醫(yī)生或取代生物學(xué)家。AI 承載的使命并不是從頭到尾地“包辦”新藥開發(fā)和科學(xué)發(fā)現(xiàn)，而是通過生成虛擬病人、虛擬樣本來驗證醫(yī)生或生物學(xué)家所開發(fā)藥物的效果。

用 AI 生成虛擬病人做療效和毒性的驗證，相當(dāng)于 AI 生成的“數(shù)字小白鼠”來做實驗，不僅可以大幅度提高開發(fā)效率，也能降低試藥對受試者帶來的損傷?！吧墒?AI 更像是一個用于驗證的高通量數(shù)字試驗平臺，這也是團隊后續(xù)持續(xù)推廣的方向?！彼f。

此前，領(lǐng)域內(nèi)只能基于真實的 mIF 數(shù)據(jù)推斷哪些蛋白質(zhì)對癌癥重要。王晟指出，盡管近 30 萬張?zhí)摂M的 mIF 圖像未必像真實圖像那樣完美，但它能清晰地看到蛋白質(zhì)和癌癥之間的顯著關(guān)系，這也是這項工作中最大的貢獻之一。

未來，研究團隊希望通過引入更多前沿 AI 技術(shù)來生成醫(yī)學(xué)圖像和病人特征，來解決更多以往難以解決的問題。

此前，研究團隊在 Nature 報道了數(shù)字病理學(xué)全切片基礎(chǔ)模型 GigaPath[2]，其中針對肺癌的一項指標(biāo)已在美國紀(jì)念斯隆凱特琳癌癥中心完成臨床驗證。本次研究是上以工作的延續(xù)，需要了解的是其并非覆蓋所有癌種，從癌癥種類來看，這項研究中核心驗證的是肺癌，其次是腦癌和胃癌。

目前，研究團隊正在開展更大規(guī)模的跨人種、跨國家的數(shù)據(jù)驗證，預(yù)計數(shù)月后會呈現(xiàn)初步結(jié)果。后續(xù)驗證若持續(xù)成功，將繼續(xù)擴展到更多國家驗證，并進入臨床審批等環(huán)節(jié)。

基于本次 H&E 到 mIF 的跨模態(tài)生成技術(shù)基礎(chǔ)，他們計劃在接下來的研究中進一步突破模態(tài)邊界，打通病理圖片與影像科圖片之間的關(guān)聯(lián)。其希望未來不僅用 H&E 圖像生成病人的 mIF，還能進一步用 CT、X 光、核磁共振成像這類影像科圖像，配合少量病理圖來更好地生成 mIF。

“即便 H&E 圖像病人也需半天時間，還要打麻藥、取切片。如果能用更簡單的 CT 或核磁圖像，能減少對病人帶來的創(chuàng)傷?！蓖蹶烧f。

現(xiàn)在，該團隊正致力于構(gòu)建一個更大的多模態(tài)模型，不僅將影像科圖像納入其中，未來還將加入 DNA、基因等更多種類數(shù)據(jù)，其終極目標(biāo)是形成能統(tǒng)一理解各種模態(tài)生物醫(yī)學(xué)臨床數(shù)據(jù)的超大模型。

這或許預(yù)示著，醫(yī)學(xué)正在從“一次檢測得到一個結(jié)果”，走向“一個模型理解整個病人”。

參考資料：

1.https://doi.org/10.1016/j.cell.2025.11.016

2.https://doi.org/10.1038/s41586-024-07441-w

排版：劉雅坤