自擴(kuò)散模型提出以來，它不僅在圖像、視頻和音頻生成方面取得了優(yōu)異效果，也正逐漸成為解決圖像復(fù)原、超分辨率、去模糊等逆問題的重要工具。

這個領(lǐng)域長期以來普遍認(rèn)為，作為先驗的擴(kuò)散模型必須足夠強(qiáng)，且其訓(xùn)練圖像分布需要與目標(biāo)圖像分布高度匹配。因此，經(jīng)典算法通常會采用在目標(biāo)領(lǐng)域上充分訓(xùn)練的擴(kuò)散模型來進(jìn)行圖像恢復(fù)，否則恢復(fù)質(zhì)量往往會明顯下降。

然而，近期來自羅格斯大學(xué)、杜克大學(xué)和密歇根大學(xué)的一項最新研究表明，即使是「弱」擴(kuò)散先驗和完全不匹配的數(shù)據(jù)分布，也可以實現(xiàn)高質(zhì)量圖像重建。

這篇題為《Weak Diffusion Priors Can Still Achieve Strong Inverse-Problem Performance》的工作不僅展示了這種反直覺的實驗現(xiàn)象，還首次從理論和實驗層面解釋了這種「弱先驗依然有效」的機(jī)制。

• 論文地址：https://arxiv.org/abs/2601.22443

一個反直覺的實驗：臥室擴(kuò)散模型重構(gòu)人臉

僅使用 3 步 DDIM 擴(kuò)散模型作為先驗進(jìn)行圖像重建：匹配先驗（上）與不匹配先驗（下）的對比。在底部左圖（或底部右圖）中，可以看到在臥室圖像（或人臉圖像）上訓(xùn)練的擴(kuò)散模型依然能夠重建人臉圖像（或臥室圖像）。從左到右展示的是優(yōu)化迭代過程中不同階段的中間重建結(jié)果。「Reference」列表示干凈的真實圖像，「Measurement」列表示帶噪聲的觀測圖像。

首先展示一組很有沖擊力的實驗。如上圖左下所示，在優(yōu)化初始噪聲（initial noise optimization）的框架下，使用只在 LSUN-bedroom 數(shù)據(jù)集上訓(xùn)練的 3 步 DDIM 擴(kuò)散模型可以重構(gòu) CelebA-HQ 數(shù)據(jù)集中的人臉圖像。

擴(kuò)散模型在初始階段只能生成模糊的臥室圖像，但隨著優(yōu)化不斷推進(jìn)，原本只能生成臥室圖像的模型逐漸擺脫了低質(zhì)量結(jié)果和「臥室結(jié)構(gòu)」偏好，最終恢復(fù)出清晰且高質(zhì)量的人臉圖像。

同樣的，用只能生成人臉的擴(kuò)散模型，也可以有效重建臥室圖像?？梢詮南旅娴膭訄D看到這個「臥室變臉」的過程。

這個現(xiàn)象在 X 上也引發(fā)了討論。有網(wǎng)友感嘆道：「一個只用臥室圖片訓(xùn)練的擴(kuò)散模型竟然能生成人臉，真的太嚇人了！」

這些現(xiàn)象進(jìn)一步引導(dǎo)團(tuán)隊思考這樣一個問題：在擴(kuò)散先驗較弱且訓(xùn)練分布與目標(biāo)分布不匹配的情況下，圖像復(fù)原成功的機(jī)制究竟是什么？

現(xiàn)實問題：強(qiáng)先驗并不總是存在

這樣的問題并不只是來自一些看起來「反直覺」的實驗結(jié)果，更有明確的實際背景。在實際應(yīng)用中，并不總是有一個高質(zhì)量和數(shù)據(jù)匹配的先驗?zāi)Ｐ停?/p>

• 內(nèi)存和計算限制使得擴(kuò)散模型步數(shù)被截斷；
• 醫(yī)學(xué)成像、遙感成像、科學(xué)成像等場景中，目標(biāo)數(shù)據(jù)往往稀缺且分布特殊，很難專門訓(xùn)練一個完全匹配的生成模型。

這項研究旨在回答三個問題：

• When（何時有效）：弱 / 不匹配先驗在什么條件下仍能實現(xiàn)高質(zhì)量重建？
• Why（內(nèi)在機(jī)制）：這種超越分布的魯棒性源自何處？
• Limitations（失效邊界）：這種能力在何時會達(dá)到極限？

核心結(jié)論：重建常是觀測主導(dǎo)的

當(dāng)觀測數(shù)據(jù)本身提供足夠充足的信息時，重建過程將由觀測驅(qū)動（observation-dominant）而非先驗驅(qū)動。因此，模型對先驗的強(qiáng)弱和匹配度表現(xiàn)出顯著的不敏感性。

簡單來說，當(dāng)觀測數(shù)據(jù)維度高、強(qiáng)可辨識性、有效像素數(shù)量多時，后驗分布會集中到真實解附近，即便先驗較弱，也不會顯著影響最終結(jié)果。

這一觀點與傳統(tǒng)「先驗決定一切」的觀點形成鮮明對比。

多任務(wù)實驗全面驗證

團(tuán)隊在圖像復(fù)原（inpainting）、高斯去模糊（Gaussian debluring）、超分辨率（super-resolution）、非線性去模糊（nonlinear debluring）等經(jīng)典圖像逆問題上進(jìn)行了大量的實驗，采用的擴(kuò)散模型和數(shù)據(jù)集包括 LSUN-bedroom、LSUN-church 和 CelebA-HQ。

實驗結(jié)果顯示：

• 在優(yōu)化初始噪聲的框架下，僅使用 3 步 DDIM 的弱先驗擴(kuò)散模型在 PSNR、SSIM、LPIPS 等各項指標(biāo)上超過使用 1000 步模型的 baseline 方法；
• 即使模型訓(xùn)練數(shù)據(jù)領(lǐng)域與圖像重建目標(biāo)領(lǐng)域完全不一樣，性能的下降也非常有限，甚至能夠超越領(lǐng)域一致和使用 1000 步模型的 baseline 方法。

跨數(shù)據(jù)領(lǐng)域的圖像修復(fù)與超分辨率結(jié)果對比?！窶odel」表示擴(kuò)散模型的訓(xùn)練數(shù)據(jù)來源（即先驗的源領(lǐng)域），「CelebA」「Bedroom」「Church」表示被重建圖像的目標(biāo)領(lǐng)域。需要說明的是，baseline 方法 DPS 始終采用與目標(biāo)數(shù)據(jù)一致的領(lǐng)域內(nèi)模型。

理論突破：從貝葉斯后驗集中 (Posterior Concentration) 解釋現(xiàn)象

為了理解這種現(xiàn)象，團(tuán)隊從貝葉斯視角出發(fā)，基于高斯混合模型建立了一個高維逆問題的分析框架，在滿足一定的假設(shè)條件時：

• 后驗分布會以維度的指數(shù)級速度集中在最匹配的重建圖像附近；
• 當(dāng)觀測數(shù)據(jù)維度足夠高、包含信息足夠充分時（例如觀測到的像素、邊緣、紋理多），即使非常不同的先驗分布，都會得到相似的重建圖像。

另外，團(tuán)隊在 LSUN-bedroom、LSUN-church 和 CelabA-HQ 等數(shù)據(jù)集上進(jìn)行了數(shù)據(jù)模擬，證明了上述理論分析的假設(shè)在實際數(shù)據(jù)和問題中的有效性。

弱先驗?zāi)Ｐ偷氖н吔?/p>

值得注意的是，弱先驗并非萬能，團(tuán)隊系統(tǒng)分析了其失敗場景。在觀測圖像信息不充分時，例如大面積連續(xù)遮擋（box inpainting）和極端超分辨率（16x super-resolution）這些低信息量任務(wù)中，重建圖像將重新變得由先驗主導(dǎo)（prior-dominant），在這種情況下強(qiáng)先驗依然重要。

例如下圖最后一列，使用人臉模型重建的教堂圖像會出現(xiàn)明顯的人臉特征。

上半部分：60% x 60% 連續(xù)遮擋；下半部分：16 倍超分辨率。

結(jié)論

團(tuán)隊系統(tǒng)地研究了弱先驗擴(kuò)散模型在逆問題中的應(yīng)用，從實驗和理論上證明了其有效性，并展示了其典型的失敗模式，指出了清晰的應(yīng)用邊界，避免誤用。

這項工作為社區(qū)帶來的啟示可能遠(yuǎn)超算法本身：

• 在觀測數(shù)據(jù)信息充分的情況下，弱先驗比傳統(tǒng)認(rèn)知中更有效。當(dāng)使用者沒有一個非常匹配的強(qiáng)先驗時，可以使用弱先驗進(jìn)行圖像重建；
• 在未來的研究中，研究者或?qū)⒏嗟仃P(guān)注弱先驗，特別是少步數(shù)擴(kuò)散模型先驗的相關(guān)算法，同時考慮將初始噪聲優(yōu)化和傳統(tǒng)算法結(jié)合。

作者介紹

本文共同第一作者為羅格斯大學(xué)計算機(jī)系博士生賈婧、統(tǒng)計系博士生袁偉。

其他作者包括杜克大學(xué)劉思繁、密歇根大學(xué)申荔月、羅格斯大學(xué)王冠揚。