文章來源：我愛計算機(jī)視覺（ID：aicvml）

朋友們，今天想跟大家聊一篇圖像修復(fù)領(lǐng)域的有意思的新工作。如今，我們對圖片質(zhì)量的要求越來越高，但拍攝過程中總免不了各種意外，比如模糊、噪點、光線不足等等。傳統(tǒng)的圖像修復(fù)模型往往是“?？漆t(yī)生”，一個模型對應(yīng)一種問題。但我們更想要一個“全科醫(yī)生”，一個模型搞定所有圖像退化問題，這就是所謂的“通用圖像修復(fù)”。

最近，來自 北京大學(xué)、JIUTIAN Research 和國防科大 的研究者們就提出了一個名為 MaskDCPT 的通用圖像修復(fù)預(yù)訓(xùn)練方法。這個名字拆開看就是 Masked Degradation Classification Pre-Training（掩碼退化分類預(yù)訓(xùn)練），思路可以說非常巧妙。它不直接一上來就修復(fù)圖像，而是先學(xué)會“診斷”圖像壞掉的類型。

簡單來說，這個方法通過一個統(tǒng)一的框架，讓模型在預(yù)訓(xùn)練階段就見多識廣，不僅學(xué)會重建高質(zhì)量圖像，還學(xué)會了識別輸入圖像的“病癥”（即退化類型）。這種“診斷+治療”的模式，讓模型在面對各種復(fù)雜的、甚至是沒見過的圖像退化問題時，表現(xiàn)得異常出色。

• 
  

  論文標(biāo)題 : Universal Image Restoration Pre-training via Masked Degradation Classification

• 論文地址 : https://arxiv.org/abs/2510.13282

• 代碼倉庫 : https://github.com/MILab-PKU/MaskDCPT

從官方給出的效果圖就能看到，無論是“五項全能”的綜合修復(fù)任務(wù)，還是真實的現(xiàn)實世界場景，MaskDCPT 預(yù)訓(xùn)練過的模型在保真度和感知質(zhì)量上都達(dá)到了頂尖水平。

研究背景與動機(jī)

通用圖像修復(fù)的目標(biāo)是用一個模型解決多種多樣的圖像退化問題，比如去噪、去模糊、去雨、低光增強(qiáng)等等。之前的預(yù)訓(xùn)練方法，很多是借鑒自然語言處理領(lǐng)域的成功經(jīng)驗，比如掩碼自編碼器（MAE），在圖像上做類似“完形填空”的任務(wù)來學(xué)習(xí)特征。

但這些方法有個問題：它們大多只關(guān)注圖像內(nèi)容本身的重建，而忽略了一個非常重要的信息——圖像究竟是“怎么壞的”。不同類型的退化（比如高斯噪聲和JPEG壓縮），其底層特征和修復(fù)方式是截然不同的。如果模型能提前知道退化類型，無疑會對修復(fù)工作大有裨益。

作者們認(rèn)為，退化信息和圖像內(nèi)容信息在修復(fù)任務(wù)中是互補(bǔ)的。因此，他們想設(shè)計一種新的預(yù)訓(xùn)練范式，能同時利用這兩種信息，從而學(xué)習(xí)到更通用、更強(qiáng)大的圖像修復(fù)能力。

MaskDCPT：掩碼退化分類預(yù)訓(xùn)練

為了實現(xiàn)這個目標(biāo)，研究者們設(shè)計了 MaskDCPT 框架。這個框架的整體流程相當(dāng)清晰直觀。

它的核心思想可以概括為以下幾步：

1. 輸入與掩碼 ：輸入一張低質(zhì)量（退化）的圖像，并像做“完形填空”一樣，在圖像上隨機(jī)遮掉一部分小塊（patch-level masking）。

2. 編碼器提取特征 ：一個修復(fù)骨干網(wǎng)絡(luò)（比如 CNN 或 Transformer）作為編碼器，負(fù)責(zé)從被遮擋的低質(zhì)量圖像中提取特征。

3. 雙解碼器設(shè)計 ：接下來是關(guān)鍵，模型有兩個“頭”（解碼器），分頭行動：

   • 重建解碼器 ：它的任務(wù)是利用編碼器提煉的特征，把被遮擋的圖像“腦補(bǔ)”完整，重建出對應(yīng)的高質(zhì)量、無損的圖像。這是一個圖像重建任務(wù)。

   • 分類解碼器 ：它的任務(wù)同樣是基于那些特征，但目標(biāo)不是重建圖像，而是判斷輸入的低質(zhì)量圖像到底屬于哪一種退化類型（比如是模糊了，還是加了噪點）。這是一個分類任務(wù)。

通過這種方式，MaskDCPT 將退化類型作為一種“極弱監(jiān)督”信號，巧妙地融入到預(yù)訓(xùn)練中。模型為了同時完成好“重建”和“分類”這兩個任務(wù)，就必須學(xué)習(xí)到一種既懂圖像內(nèi)容、又懂退化信息的廣義特征表示。CV君覺得，這種設(shè)計有點像讓模型“知其然，亦知其所以然”，不僅要會修，還要知道修的是什么毛病，思路非常贊。

作者還通過實驗發(fā)現(xiàn)，退化分類的準(zhǔn)確率和圖像修復(fù)的性能是正相關(guān)的，這印證了他們最初的猜想。同時，合適的掩碼率（mask ratio）也很重要，太低了模型學(xué)不到上下文，太高了又會丟失關(guān)鍵信息。

上圖展示了分類準(zhǔn)確率與訓(xùn)練迭代次數(shù)、圖像掩碼率的關(guān)系，可以看到隨著訓(xùn)練進(jìn)行，分類準(zhǔn)確率穩(wěn)步提升，并且在75%的掩碼率附近達(dá)到最佳。

UIR-2.5M：一個全新的大規(guī)模修復(fù)數(shù)據(jù)集

光有好的方法還不夠，還需要足夠多、足夠好的數(shù)據(jù)來“喂養(yǎng)”模型。為此，作者們還貢獻(xiàn)了一個大規(guī)模的通用圖像修復(fù)數(shù)據(jù)集——UIR-2.5M。

這個數(shù)據(jù)集有多“壕”呢？它包含了 250萬 個圖像對，涵蓋了 19種 不同的退化類型和超過 200個 退化等級，而且同時包含了合成數(shù)據(jù)和真實的現(xiàn)實世界數(shù)據(jù)。這為訓(xùn)練更魯棒、更通用的修復(fù)模型提供了堅實的基礎(chǔ)。

實驗效果：性能顯著提升

MaskDCPT 的效果到底如何？實驗結(jié)果給出了答案：非常驚艷。

全能型修復(fù)任務(wù)（All-in-One Restoration）

在包含去雨、去雪、去模糊、去噪和去霧的“五項全能”修復(fù)任務(wù)上，使用 MaskDCPT 預(yù)訓(xùn)練的模型，無論是基于 CNN 還是 Transformer 架構(gòu)，性能都得到了巨大提升。

從上表中可以看到，與那些需要專門為“全能”任務(wù)設(shè)計的復(fù)雜模型相比，僅僅是用了 MaskDCPT 預(yù)訓(xùn)練的經(jīng)典模型（如 Uformer），就在 PSNR/SSIM 等指標(biāo)上輕松超越了它們。PSNR 指標(biāo)平均至少提升了 3.77 dB，這是一個非常顯著的進(jìn)步。

視覺效果對比也同樣證明了其優(yōu)越性，修復(fù)后的圖像細(xì)節(jié)更清晰，偽影更少。

真實世界與未見過的退化場景

更具挑戰(zhàn)性的是在真實世界和“域外”（Out-of-Domain）場景中的表現(xiàn)。

在6種真實世界的退化任務(wù)上，MaskDCPT 預(yù)訓(xùn)練的模型在感知指標(biāo) PIQE 上相比基線降低了 34.8%，這意味著修復(fù)后的圖像在人眼看起來更自然、質(zhì)量更高。

上圖的視覺對比非常直觀，經(jīng)過 MaskDCPT 預(yù)訓(xùn)練的模型能夠更好地處理真實復(fù)雜的低光和模糊問題。

當(dāng)面對訓(xùn)練時從未見過的高強(qiáng)度噪聲（σ = 75的高斯噪聲）時，MaskDCPT 展現(xiàn)了強(qiáng)大的泛化能力。

可以看到，只有經(jīng)過 MaskDCPT 預(yù)訓(xùn)練的模型能夠有效去除強(qiáng)噪聲，同時不產(chǎn)生多余的奇怪紋理。

混合退化場景

在更復(fù)雜的混合退化場景（比如低光+模糊）中，MaskDCPT 同樣表現(xiàn)出色。

無論是定量指標(biāo)還是視覺效果，都證明了該方法在處理復(fù)雜光照和結(jié)構(gòu)問題上的能力。

消融實驗

作者還進(jìn)行了一系列消融實驗，驗證了方法設(shè)計的合理性。例如，他們比較了不同的掩碼策略和掩碼率，證明了 patch-level 的掩碼和75%的掩碼率是最佳選擇。

同時，他們也驗證了退化分類這個任務(wù)的重要性，證明了它確實能幫助模型提升修復(fù)性能。

總結(jié)

總的來說，MaskDCPT 這個工作直觀、有效，通過一個巧妙的雙任務(wù)設(shè)計，為通用圖像修復(fù)的預(yù)訓(xùn)練提供了一個全新的、更強(qiáng)大的范式。作者不僅提出了新方法，還貢獻(xiàn)了寶貴的數(shù)據(jù)集和開源代碼，可以說是非常扎實和全面的工作了。

大家對這個“先診斷、后修復(fù)”的思路怎么看？歡迎在評論區(qū)留下你的看法！