文章來源：我愛計算機視覺（ID：aicvml）

最近，多模態(tài)大模型在圖像編輯領(lǐng)域的能力真是讓人眼前一亮，但在嚴(yán)肅的醫(yī)療領(lǐng)域，這陣風(fēng)卻刮得有些小心翼翼。原因無他，主要是因為缺少一個大規(guī)模、高質(zhì)量、而且專門為醫(yī)學(xué)圖像編輯量身打造的公開數(shù)據(jù)集。今天，就和大家聊一篇來自新加坡國立大學(xué)的新工作，他們推出了一個名為Med-Banana-50K的數(shù)據(jù)集，希望能為這個領(lǐng)域添一把火。

• 
  

  論文標(biāo)題 : Med-Banana-50K: A Cross-modality Large-Scale Dataset for Text-guided Medical Image Editing

• 作者 : Zhihui Chen, Mengling Feng

• 機構(gòu) : 新加坡國立大學(xué)

• 論文地址 : https://arxiv.org/abs/2511.00801

• 項目主頁 : https://github.com/richardChenzhihui/med-banana-50k

簡單來說，Med-Banana-50K 是一個專門用于指導(dǎo)模型進行醫(yī)學(xué)圖像編輯的大型數(shù)據(jù)集。它的名字聽起來可能有點可愛，但內(nèi)容卻非常硬核。

數(shù)據(jù)集構(gòu)成

這個數(shù)據(jù)集的規(guī)模和多樣性都相當(dāng)可觀：

• 規(guī)模 : 包含約 5萬張 圖像。

• 多樣性 : 覆蓋了 3種關(guān)鍵的醫(yī)學(xué)影像模態(tài) （胸部X光、腦部MRI、眼底攝影）和 23種不同的疾病類型 。

• 任務(wù) : 編輯任務(wù)是雙向的，包括“添加病變”和“移除病變”。

上表清晰地展示了數(shù)據(jù)集在不同模態(tài)和任務(wù)上的分布情況，以及生成這些數(shù)據(jù)時的成功率。可以看到，研究者們?yōu)榱藰?gòu)建這個數(shù)據(jù)集付出了巨大的努力。

創(chuàng)新的數(shù)據(jù)構(gòu)建流程

那么，如此高質(zhì)量的數(shù)據(jù)集是如何誕生的呢？研究者設(shè)計了一套相當(dāng)精巧的流程。

整個流程可以分為四步：

1. 指令生成 : 首先，為真實的醫(yī)學(xué)圖像生成編輯指令，比如“在左肺上葉區(qū)域添加一個結(jié)節(jié)”。

2. 單步編輯 : 利用強大的 Gemini-2.5-Flash-Image 模型，根據(jù)指令對圖像進行初步編輯。

3. LLM-as-Judge評估 : 這是最關(guān)鍵的一步。研究者讓另一個大語言模型扮演“法官”的角色，從多個維度對編輯結(jié)果進行嚴(yán)格評估。

4. 歷史感知迭代精煉 : 如果“法官”認(rèn)為編輯結(jié)果不合格，系統(tǒng)會記錄下失敗的原因，并在下一輪編輯中進行修正。這個過程最多可以迭代五輪，直到生成滿意的結(jié)果。

在醫(yī)學(xué)領(lǐng)域，圖像的準(zhǔn)確性至關(guān)重要。CV君認(rèn)為，這項工作最值得稱道的地方，就是其系統(tǒng)性的醫(yī)學(xué)質(zhì)量控制方法。

LLM-as-Judge：AI醫(yī)生來把關(guān)

“法官”模型會根據(jù)一個專門設(shè)計的、具有醫(yī)學(xué)背景的評分標(biāo)準(zhǔn)來打分，主要包括四個維度：

• 指令符合性 (Instruction Compliance) : 編輯是否嚴(yán)格遵循了文本指令？

• 結(jié)構(gòu)合理性 (Structural Plausibility) : 編輯后的解剖結(jié)構(gòu)是否還合理？有沒有出現(xiàn)反常識的錯誤？

• 真實感 (Realism) : 編輯出的病變或修復(fù)后的區(qū)域看起來真實嗎？

• 保真性 (Fidelity Preservation) : 除了編輯區(qū)域，圖像的其他部分是否保持了原樣？

從上表的評估通過率可以看出，這個標(biāo)準(zhǔn)相當(dāng)嚴(yán)苛。例如，在“結(jié)構(gòu)合理性”上，有接近10%的編輯嘗試會失敗，常見的失敗原因包括病變位置錯誤、形狀不規(guī)則等。正是這種嚴(yán)苛的篩選，保證了最終數(shù)據(jù)集的高質(zhì)量。

數(shù)據(jù)集亮點與價值 不僅僅是成功案例

除了成功的編輯案例，該數(shù)據(jù)集還有一個非常獨特的亮點：它包含了多達 3.7萬次失敗的嘗試 以及完整的對話日志。這些“反面教材”對于研究模型的偏好學(xué)習(xí)（Preference Learning）和對齊（Alignment）至關(guān)重要，能幫助我們更好地理解和控制模型的行為，避免它們在關(guān)鍵的醫(yī)療任務(wù)上“自由發(fā)揮”。

豐富的編輯實例

下面是一些數(shù)據(jù)集中跨模態(tài)和任務(wù)的代表性編輯結(jié)果，可以直觀地感受到這個數(shù)據(jù)集的質(zhì)量和多樣性。

總的來說，Med-Banana-50K不僅僅是一個數(shù)據(jù)集，它更為下一代醫(yī)學(xué)圖像編輯模型的訓(xùn)練和評估建立了一個堅實的基礎(chǔ)。作者已經(jīng)將數(shù)據(jù)集和代碼完全公開，鼓勵大家去探索和使用。

• 數(shù)據(jù)鏈接：https://github.com/richardChenzhihui/med-banana-50k