論文第一作者為帝國理工大學(xué) BioMedIA 實(shí)驗(yàn)室博士研究生杜思逸（個(gè)人主頁：https://siyi-wind.github.io），研究方向?yàn)槎嗄B(tài)學(xué)習(xí)與醫(yī)療影像，曾在 ICLR、CVPR、ECCV、MICCAI 等學(xué)術(shù)會(huì)議上發(fā)表文章。

通訊作者為帝國理工大學(xué)電子與電氣工程系和 I-X 系 的秦宸副教授（實(shí)驗(yàn)室主頁：https://cq615.github.io）。她的研究方向涉及深度學(xué)習(xí)、醫(yī)學(xué)圖像分析、和計(jì)算機(jī)視覺。已在頂級(jí)同行評(píng)審工程和醫(yī)學(xué)成像期刊和會(huì)議論文集上發(fā)表了 70 多篇論文，并擔(dān)任 MICCAI 2022-24 的區(qū)域主席以及多個(gè)國際研討會(huì)的組織和計(jì)劃委員會(huì)成員。

多模態(tài)學(xué)習(xí)（Multimodal Learning）正在推動(dòng) AI 在醫(yī)學(xué)影像、自動(dòng)駕駛、人機(jī)交互等領(lǐng)域取得突破。通過融合圖像、文本、表格等多種模態(tài)，模型能夠獲得更全面的信息，從而顯著提升性能。

然而，在真實(shí)世界中，一個(gè)關(guān)鍵問題幾乎不可避免：「模態(tài)缺失（Missing Modality）」。例如：醫(yī)學(xué)診斷中，部分檢查未完成；自動(dòng)駕駛中，某些傳感器失效；多模態(tài)數(shù)據(jù)庫中，部分字段缺失。

現(xiàn)有的不完整多模態(tài)學(xué)習(xí)方法通常采取兩種策略，要么直接丟棄缺失模態(tài)（無恢復(fù)方法，recovery-free），從而可能損失重要的任務(wù)相關(guān)信息；要么嘗試恢復(fù)缺失模態(tài)（recovery-based，基于恢復(fù)方法），但這又可能引入無關(guān)噪聲。我們將這一矛盾稱為「丟棄 - 插補(bǔ)困境」（discarding-imputation dilemma）

為了解決這一問題，帝國理工大學(xué)的研究團(tuán)隊(duì)引入一個(gè)全新的視角：不盲目丟棄，也不盲目使用恢復(fù)模態(tài)，而是在推理時(shí)動(dòng)態(tài)識(shí)別并融合可靠的恢復(fù)模態(tài)，突破傳統(tǒng)「丟棄或插補(bǔ)」的二元限制。為此，作者設(shè)計(jì)了一種新的推理階段動(dòng)態(tài)模態(tài)選擇框架DyMo

DyMo 從信息論的角度出發(fā)，理論性地建立信息量和任務(wù)損失之間的聯(lián)系，提出用于指導(dǎo)模態(tài)選擇過程的獎(jiǎng)勵(lì)函數(shù)。此外，作者還設(shè)計(jì)了一種靈活的多模態(tài)網(wǎng)絡(luò)結(jié)構(gòu)，可兼容任意模態(tài)組合，并配套提出了專門的訓(xùn)練策略，以學(xué)習(xí)魯棒的多模態(tài)表示。在多個(gè)自然圖像與醫(yī)學(xué)影像數(shù)據(jù)集上的實(shí)驗(yàn)表明，DyMo 在各種模態(tài)缺失場(chǎng)景下均顯著優(yōu)于現(xiàn)有方法。該工作已被機(jī)器學(xué)習(xí)頂級(jí)會(huì)議 ICLR 2026 接收。

• 論文標(biāo)題：Inference-Time Dynamic Modality Selection for Incomplete Multimodal Classification
• 論文作者：Siyi Du, Xinzhe Luo, Declan P. O'Regan, Chen Qin
• 作者單位：英國帝國理工大學(xué)
• 論文鏈接：https://openreview.net/forum?id=PWhDUWRVhM
• 代碼鏈接：https://github.com//siyi-wind/DyMo

丟棄 vs 恢復(fù)的困境

針對(duì)模態(tài)缺失問題，現(xiàn)有方法主要分為兩類：

• 基于恢復(fù)的方法（recovery-based methods），這些方法先補(bǔ)全模態(tài)，再進(jìn)行模態(tài)融合。
• 無恢復(fù)方法（recovery-free methods），這類方法直接忽略缺失模態(tài)，僅使用可用模態(tài)進(jìn)行預(yù)測(cè)。

但在現(xiàn)實(shí)場(chǎng)景中，不同模態(tài)對(duì)任務(wù)的重要性往往存在顯著差異。這種差異主要來源于：（i）各模態(tài)包含的任務(wù)相關(guān)信息強(qiáng)度不同，（ii）各模態(tài)中包含的噪聲程度不同。

圖 1。(a–b) “丟棄–插補(bǔ)困境” 的直觀證據(jù)：(a-1) vs (a-2) 無恢復(fù)方法（recovery-free methods）由于直接忽略缺失但高度任務(wù)相關(guān)的模態(tài)（如 {M, T}），只能學(xué)習(xí)到判別能力較弱的特征表示；(b) 基于恢復(fù)的方法（recovery-based methods）產(chǎn)生不可靠的重建結(jié)果，例如低保真重建（橙色）或語義錯(cuò)位（黃色）。(c) DyMo 能夠通過動(dòng)態(tài)融合任務(wù)相關(guān)且可靠的恢復(fù)模態(tài)來有效解決這一困境，并在多個(gè)數(shù)據(jù)集上顯著提升性能：如在 PolyMNIST、MST 和 CelebA 數(shù)據(jù)集上，分類準(zhǔn)確率分別提高了 1.61%、1.68% 和 3.88%（見論文表 1）。

當(dāng)高度關(guān)鍵的模態(tài)缺失時(shí)，傳統(tǒng)的無需恢復(fù)方法只能依賴剩余信息較弱的模態(tài)，從而導(dǎo)致模型判別能力下降 （如圖 1（a））。雖然恢復(fù)方法試圖通過重建缺失模態(tài)來解決這一問題，但恢復(fù)質(zhì)量往往不穩(wěn)定（如圖 1（b）），可能生成低保真恢復(fù)（low-fidelity），即圖像模糊或失真，或者語義錯(cuò)位（semantic misalignment）：恢復(fù)內(nèi)容與真實(shí)標(biāo)簽不一致。將這些不可靠模態(tài)用于融合，反而會(huì)引入與任務(wù)無關(guān)的噪聲，干擾模型決策。

DyMo：推理階段動(dòng)態(tài)模態(tài)選擇框架

圍繞「丟棄–插補(bǔ)困境」，作者提出了一種全新的解決思路 —— DyMo：一種推理階段動(dòng)態(tài)模態(tài)選擇框架。其核心思想不是簡單「丟棄」或「強(qiáng)行恢復(fù)」，而是在推理階段自適應(yīng)地選擇并融合可靠的恢復(fù)模態(tài)，最大化多模態(tài)任務(wù)相關(guān)信息（圖 1（c））。文章具體貢獻(xiàn)如下：

• 首次系統(tǒng)性提出并刻畫「丟棄–插補(bǔ)困境」，引入動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)機(jī)制（dynamic neural networks）來打破這一結(jié)構(gòu)性兩難。
• 提出 DyMo，其核心創(chuàng)新包括：（1）基于多模態(tài)任務(wù)相關(guān)信息增益的動(dòng)態(tài)模態(tài)選擇算法，（2）支持任意模態(tài)組合的多模態(tài)網(wǎng)絡(luò)結(jié)構(gòu)，（3）專門的訓(xùn)練策略讓模型能夠?qū)W習(xí)魯棒的潛在表示。
• DyMo 在 5 個(gè)多樣化數(shù)據(jù)集（包括自然圖像和醫(yī)學(xué)影像）上達(dá)到 SOTA 性能。
• DyMo 易于使用（可與多種模態(tài)恢復(fù)方法結(jié)合），且動(dòng)態(tài)算法無需額外復(fù)雜結(jié)構(gòu)開銷，方便部署。

支持任意模態(tài)組合的網(wǎng)絡(luò)架構(gòu)

圖 2。用于任意模態(tài)的多模態(tài)網(wǎng)絡(luò)結(jié)構(gòu)。

DyMo 多模態(tài)網(wǎng)絡(luò)結(jié)構(gòu)的目標(biāo)是：無論輸入模態(tài)是否完整，都能生成可靠的預(yù)測(cè)結(jié)果，并為后續(xù)的動(dòng)態(tài)模態(tài)選擇提供基礎(chǔ)。整體架構(gòu)主要由三個(gè)部分組成：單模態(tài)編碼器進(jìn)行特征提取；多模態(tài) Transformer 建模跨模態(tài)關(guān)系；線性分類器使用 [CLS] token 的表示進(jìn)行預(yù)測(cè)。

方法核心：推理階段動(dòng)態(tài)模態(tài)選擇與融合

1. MTIR （multimodal task-relevant information reward）多模態(tài)任務(wù)相關(guān)信息獎(jiǎng)勵(lì): DyMo 的核心是一個(gè)獎(jiǎng)勵(lì)函數(shù)： MTIR，用于估計(jì)每一個(gè)恢復(fù)模態(tài)帶來的多模態(tài)任務(wù)相關(guān)信息增益。更直觀的說：

• reward > 0: 該模態(tài)提供了有用信息，應(yīng)當(dāng)融合
• reward = 0: 該模態(tài)可能是低保真度恢復(fù)，信息很少，價(jià)值有限
• reward < 0: 該模態(tài)可能是語義不一致恢復(fù)，反而會(huì)誤導(dǎo)模型

從該公式中，可以得到一個(gè)關(guān)鍵的結(jié)論：降低任務(wù)損失，能夠提高任務(wù)相關(guān)信息的下界，因此，DyMo 使用一個(gè)簡單但有效的 proxy：

用交叉熵?fù)p失的下降來估計(jì)任務(wù)相關(guān)信息增益

訓(xùn)練策略

輔助缺失不可知對(duì)比損失：旨在進(jìn)一步增強(qiáng)類內(nèi)聚類和類間分離。

實(shí)驗(yàn)結(jié)果

作者使用 5 個(gè)不同的數(shù)據(jù)集（包含圖像，文本，表格模態(tài)）進(jìn)行實(shí)驗(yàn)，包括三個(gè)模擬數(shù)據(jù)集：PolyMNIST, MST, CelebA，和兩個(gè)大的真實(shí)數(shù)據(jù)集：自然圖像 - 表格數(shù)據(jù)集 DVM 和醫(yī)學(xué)圖像 - 表格數(shù)據(jù)集 UK Biobank (UKBB)。

對(duì)于 DyMo 中的恢復(fù)方法，三個(gè)模擬數(shù)據(jù)集使用 VAE 類方法，兩個(gè)真實(shí)數(shù)據(jù)集使用 MAE 類方法。在消融實(shí)驗(yàn)部分作者還包含了更多的恢復(fù)方法。模型在完整的數(shù)據(jù)集上進(jìn)行訓(xùn)練，并在各種缺失場(chǎng)景下進(jìn)行評(píng)估：（i）對(duì)于 PolyMNIST，作者設(shè)置隨機(jī)缺失一定比例的模態(tài)； (ii) 對(duì)于 MST 和 CelebA，作者測(cè)試了缺失模式的不同組合； (iii) 對(duì)于 DVM 和 UKBB，作者評(píng)估了全表格和表格內(nèi)（即模態(tài)內(nèi)）缺失。

DyMo 超越過去的先進(jìn)模型

DyMo 與先進(jìn)的動(dòng)態(tài) / 靜態(tài)模態(tài)融合方法，基于恢復(fù)的方法，和無恢復(fù)方法進(jìn)行比較。實(shí)驗(yàn)結(jié)果表明，DyMo 在缺失模態(tài)場(chǎng)景下實(shí)現(xiàn)了巨大的性能飛躍，特別是在嚴(yán)重模態(tài)缺失場(chǎng)景。比如，在 PolyMNIST 數(shù)據(jù)集上，當(dāng) 80% 模態(tài)缺失時(shí)，DyMo 相比最先進(jìn)動(dòng)態(tài)融合方法，準(zhǔn)確率提升高達(dá)13.12%，展現(xiàn)出極強(qiáng)的魯棒性。

此外，實(shí)驗(yàn)還顯示了「丟棄 - 插補(bǔ)困境」的存在：（1）無恢復(fù)方法在高度任務(wù)相關(guān)模態(tài)缺失時(shí)會(huì)出現(xiàn)顯著性能下降。例如，在 MST 數(shù)據(jù)集上，當(dāng)缺失模態(tài)為 {M, T} 而非 {S, T} 時(shí)，MUSE 的分類準(zhǔn)確率下降了高達(dá) 61.18%。（2）基于恢復(fù)的方法在嚴(yán)重模態(tài)缺失場(chǎng)景下同樣面臨挑戰(zhàn)。例如，在 PolyMNIST 數(shù)據(jù)集上，當(dāng)缺失率從 η = 0 增加到 η = 0.8 時(shí)，OnlineMAE 的準(zhǔn)確率下降了 9.91%，表明恢復(fù)過程中生成了不可靠的模態(tài)。相比現(xiàn)有方法，DyMo 能夠有效突破這一困境，在各種嚴(yán)重模態(tài)缺失場(chǎng)景下均取得顯著性能優(yōu)勢(shì)。

圖 3。和靜態(tài) / 動(dòng)態(tài)模態(tài)融合方法比較。

圖 4。和無恢復(fù)方法，基于恢復(fù)方法比較。

可視化與樣例分析

作者的隱層特征表示可視化和樣例分析展示了 DyMo 能夠有效選擇可靠的恢復(fù)模態(tài)，并提升模型性能。

圖 5。DyMo 在 MST 數(shù)據(jù)集上的隱層特征表示 t-SNE 可視化，對(duì)比了不同模態(tài)使用策略的效果：(a-1) 僅使用原始可觀測(cè)模態(tài)；(a-2) 直接融合所有恢復(fù)模態(tài)（不加篩選）；(a-3) 融合由 DyMo 自動(dòng)選擇的恢復(fù)模態(tài)。

圖 6。PolyMNIST 數(shù)據(jù)集上的案例分析：黃色表示原始可觀測(cè)模態(tài)，藍(lán)色表示由 DyMo 自動(dòng)選擇用于融合的模態(tài)。

討論與總結(jié)

DyMo 提供了一個(gè)新的視角，問題不再是「如何恢復(fù)所有模態(tài)」，而是「哪些恢復(fù)模態(tài)值得信任」

通過在推理階段動(dòng)態(tài)選擇可靠模態(tài)，DyMo 成功突破了傳統(tǒng)「丟棄或插補(bǔ)」的二元限制，為不完整多模態(tài)學(xué)習(xí)提供了一種更加靈活和魯棒的解決方案。

未來方向：

• 動(dòng)態(tài)選擇是否需要擴(kuò)展到訓(xùn)練階段
• 如何擴(kuò)展到分類以外的任務(wù)
• 如何更加可靠和高效，或者與多模態(tài)大語言模型（MLLMs）進(jìn)行結(jié)合