文章來(lái)源：計(jì)算機(jī)書童。

你有沒(méi)有過(guò)這樣的經(jīng)歷：手機(jī)里存了張超有意義的老照片，可惜模糊不清；或者拍了張絕美風(fēng)景，卻因?yàn)槭侄蹲兂闪?抽象畫"？別急，計(jì)算機(jī)視覺(jué)領(lǐng)域又出黑科技了！

最近CVPR 2025上的一篇重磅論文《Dual Prompting Image Restoration with Diffusion Transformers》（基于擴(kuò)散變換器的雙提示圖像恢復(fù)），提出了一個(gè)叫DPIR的模型，簡(jiǎn)直是圖像修復(fù)界的"神來(lái)之筆"。今天就帶大家好好扒一扒這個(gè)能讓模糊圖片起死回生的神奇技術(shù)！

論文信息 題目：Dual Prompting Image Restoration with Diffusion Transformers 基于擴(kuò)散變換器的雙提示圖像恢復(fù) 作者：Dehong Kong, Fan Li, Zhixin Wang, Jiaqi Xu, Renjing Pei, Wenbo Li, WenQi Ren 為啥我們需要新的圖像修復(fù)方法？

現(xiàn)在主流的圖像修復(fù)方法大多依賴U-Net架構(gòu)的擴(kuò)散模型，但這些模型在處理復(fù)雜退化（比如老照片的噪點(diǎn)、壓縮失真）時(shí)總有點(diǎn)力不從心。要么修復(fù)出來(lái)的圖片像"照騙"，細(xì)節(jié)全沒(méi)了；要么就是保留了模糊感，跟沒(méi)修一樣。

而擴(kuò)散變換器（DiTs）就不一樣了！這貨憑借超強(qiáng)的長(zhǎng)距離依賴捕捉能力和可擴(kuò)展性，在圖像生成領(lǐng)域已經(jīng)嶄露頭角。就像SD3（Stable Diffusion 3）這樣的模型，生成的圖像質(zhì)量那叫一個(gè)驚艷。但問(wèn)題是：怎么把模糊圖片的信息有效融入到DiTs里，讓它既能看懂模糊圖，又能生成高清圖呢？

DPIR就是為解決這個(gè)問(wèn)題而生的！

DPIR到底牛在哪里？

先上張全家福，看看DPIR的整體架構(gòu)（圖2），是不是一眼就覺(jué)得很復(fù)雜？別怕，我們拆開來(lái)慢慢看～

DPIR整體架構(gòu)

簡(jiǎn)單說(shuō)，DPIR有兩個(gè)"秘密武器"：

1. 低質(zhì)量圖像條件分支

2. 雙提示控制分支

這兩個(gè)分支就像兩位頂級(jí)修復(fù)大師，一個(gè)負(fù)責(zé)提取模糊圖片的基礎(chǔ)特征，一個(gè)負(fù)責(zé)提供全局和局部的細(xì)節(jié)線索，聯(lián)手把模糊圖"腦補(bǔ)"成高清圖。

第一個(gè)大招：輕量級(jí)條件分支

傳統(tǒng)方法為了把模糊圖信息融入模型，往往要復(fù)制一大塊主干網(wǎng)絡(luò)，又笨又重。DPIR另辟蹊徑，設(shè)計(jì)了個(gè)超輕量的模塊（圖3），就像給模型裝了個(gè)"高清眼鏡"。

低質(zhì)量圖像條件分支結(jié)構(gòu)

這個(gè)模塊就做兩件事：

• 用幾個(gè)卷積層快速提取模糊圖的關(guān)鍵特征

• 通過(guò)自適應(yīng)對(duì)齊技術(shù)，讓這些特征和模型主分支的特征完美匹配

就像拼圖時(shí)先找到邊緣輪廓，既高效又精準(zhǔn)，還不會(huì)給模型增加太多負(fù)擔(dān)～

第二個(gè)大招：雙提示控制分支

你可能會(huì)想：用文字描述圖片內(nèi)容，讓模型照著修不行嗎？但現(xiàn)實(shí)是，"藍(lán)天白云下的紅色屋頂"這種描述，根本沒(méi)法精準(zhǔn)表達(dá)屋頂瓦片的紋理細(xì)節(jié)。

DPIR的雙提示分支（圖4）就聰明多了，它同時(shí)用兩種"語(yǔ)言"給模型下達(dá)指令：

雙提示模塊結(jié)構(gòu)

• 
  

  視覺(jué)提示 ：從模糊圖里提取局部細(xì)節(jié)（比如一片葉子的紋理）和全局信息（比如整個(gè)森林的布局）

• 文本提示 ：用文字描述圖片的整體內(nèi)容（比如"陽(yáng)光明媚的森林"）

這兩種提示結(jié)合在一起，就像給模型同時(shí)提供了高清圖紙和施工說(shuō)明，修復(fù)起來(lái)自然又準(zhǔn)又好！

小技巧：全局-局部訓(xùn)練法

修復(fù)高分辨率圖片時(shí)，光看局部細(xì)節(jié)很容易"盲人摸象"。比如只看眼睛局部，可能不知道這是人臉還是動(dòng)物臉。

DPIR的解決辦法超機(jī)智：訓(xùn)練時(shí)不僅看局部塊，還看周圍的全局區(qū)域（圖4）。這樣模型既能看清細(xì)節(jié)，又能把握整體，修復(fù)4K高清圖也不在話下～

效果到底有多驚艷？

說(shuō)再多理論不如直接看效果！我們來(lái)看看DPIR和其他方法的PK：

在合成數(shù)據(jù)集測(cè)試中（表1），DPIR在幾乎所有指標(biāo)上都霸榜了，特別是無(wú)參考指標(biāo)（不用原圖對(duì)比也能看出好），甩第二名一大截！

合成數(shù)據(jù)集定量比較

更絕的是視覺(jué)效果（圖5）：同樣一張模糊的動(dòng)物圖片，其他方法要么修得太光滑像塑料，要么細(xì)節(jié)錯(cuò)亂；而DPIR不僅把毛發(fā)紋理修得根根分明，連眼神都透著靈氣！

合成數(shù)據(jù)定性比較

在真實(shí)世界圖片測(cè)試中（圖6），面對(duì)老照片的復(fù)雜退化，DPIR依然能精準(zhǔn)還原細(xì)節(jié)，連建筑物的窗戶格都清晰可見，對(duì)比其他方法簡(jiǎn)直是降維打擊！

真實(shí)世界數(shù)據(jù)定性比較 ablation實(shí)驗(yàn)告訴你：這些設(shè)計(jì)缺一不可

作者還做了一組對(duì)比實(shí)驗(yàn)，證明每個(gè)創(chuàng)新點(diǎn)都不是多余的：

• 雙提示vs單一提示 （表5）：只用視覺(jué)提示會(huì)丟全局信息，只用文本提示會(huì)缺細(xì)節(jié)；雙提示結(jié)合才能達(dá)到最佳效果。

• 全局-局部訓(xùn)練vs僅局部訓(xùn)練 （圖9）：只看局部容易修錯(cuò)（比如把貓耳朵修成狗耳朵），加上全局信息后，細(xì)節(jié)還原準(zhǔn)確率飆升！

DPIR就像一位技藝精湛的修復(fù)師，憑借兩個(gè)"法寶"在圖像修復(fù)領(lǐng)域大殺四方：

1. 輕量級(jí)條件分支：高效捕捉模糊圖的基礎(chǔ)特征

2. 雙提示控制分支：結(jié)合視覺(jué)細(xì)節(jié)和文本語(yǔ)義，讓修復(fù)更精準(zhǔn)

不管是老照片修復(fù)、低清圖放大，還是去噪去模糊，DPIR都展現(xiàn)出了碾壓級(jí)的實(shí)力。相信用不了多久，我們手機(jī)里的"廢片"都能靠這種技術(shù)重獲新生啦！