一、導(dǎo)讀

近年來，基于 Stable Diffusion（穩(wěn)定擴(kuò)散模型）的方法能生成清晰、泛化能力強(qiáng)的深度圖，但它們通常需要高精度深度標(biāo)注進(jìn)行監(jiān)督訓(xùn)練，限制了在無標(biāo)注數(shù)據(jù)上的應(yīng)用。

為了解決這一難題，本文提出了首個(gè)基于 Stable Diffusion 的自監(jiān)督單目深度估計(jì)框架 Jasmine。它通過引入混合批次圖像重建任務(wù)和尺度-平移門控循環(huán)單元，在不依賴任何深度標(biāo)注的情況下，有效保留了 Stable Diffusion 的先驗(yàn)知識，顯著提升了深度估計(jì)的清晰度和跨數(shù)據(jù)集泛化能力。

實(shí)驗(yàn)表明，Jasmine 在 KITTI 數(shù)據(jù)集上達(dá)到了最先進(jìn)的性能，并在多個(gè)零樣本測試集上表現(xiàn)優(yōu)異。

二、論文基本信息

• 論文標(biāo)題：Jasmine: Harnessing Diffusion Prior for Self-Supervised Depth Estimation

• 作者姓名與單位：Jiyuan Wang, Chunyu Lin, Cheng Guan, Lang Nie, Jing He, Haodong Li, Kang Liao, Yao Zhao（分別來自北京交通大學(xué)、南洋理工大學(xué)、香港科技大學(xué)、重慶郵電大學(xué)）

• 發(fā)表日期與會(huì)議/期刊來源：NeurIPS 2025

• 論文鏈接： https://arxiv.org/abs/2503.15905v2

1. 首次將 Stable Diffusion 引入自監(jiān)督深度估計(jì)框架，無需高精度深度標(biāo)注。

2. 提出混合批次圖像重建任務(wù)，避免自監(jiān)督訓(xùn)練破壞 Stable Diffusion 的細(xì)節(jié)先驗(yàn)。

3. 設(shè)計(jì)尺度-平移 GRU 模塊，解決尺度-平移不變性與尺度不變性之間的分布差異。

4. 在 KITTI 上達(dá)到最優(yōu)性能，并在多個(gè)零樣本數(shù)據(jù)集上表現(xiàn)出卓越泛化能力。

Jasmine 的核心思路是：在自監(jiān)督訓(xùn)練中，通過圖像重建任務(wù)保護(hù) Stable Diffusion 的細(xì)節(jié)先驗(yàn)，并用尺度-平移 GRU 對齊不同深度分布，從而在不依賴標(biāo)注的情況下實(shí)現(xiàn)清晰、準(zhǔn)確的深度估計(jì)。

• 自監(jiān)督深度估計(jì)基礎(chǔ)
  自監(jiān)督方法通過相鄰幀圖像 和 之間的幾何約束來訓(xùn)練深度網(wǎng)絡(luò)。通過相機(jī)位姿 和相機(jī)內(nèi)參 ，可將 投影回當(dāng)前幀視角，得到合成圖像 ，再通過光度重建損失 約束深度預(yù)測：

• Stable Diffusion 用于深度估計(jì)
  Stable Diffusion 將深度預(yù)測視為圖像條件下的標(biāo)注生成任務(wù)。輸入圖像 和深度圖 被編碼為潛變量 和 ，通過 U-Net 進(jìn)行去噪，最終解碼為深度圖 。為加速訓(xùn)練，Jasmine 采用單步去噪策略。

• 混合批次圖像重建
  自監(jiān)督的光度損失會(huì)引入噪聲，破壞 Stable Diffusion 的細(xì)節(jié)先驗(yàn)。Jasmine 引入一個(gè)任務(wù)切換器 ，讓同一個(gè) U-Net 交替執(zhí)行深度預(yù)測和圖像重建任務(wù)。重建任務(wù)使用來自 KITTI 和 Hypersim 的混合圖像批次，并用光度損失監(jiān)督重建圖像：

  其中 是從兩個(gè)數(shù)據(jù)集中隨機(jī)選擇的圖像。

• 尺度-平移 GRU
  Stable Diffusion 輸出的是尺度-平移不變深度，而自監(jiān)督方法輸出的是尺度不變深度。Jasmine 提出 Scale-Shift GRU 模塊，通過迭代修正尺度 和平移 參數(shù)，將 對齊到 ：

  其中 由 GRU 的隱藏狀態(tài)預(yù)測。GRU 的復(fù)位門還能過濾自監(jiān)督訓(xùn)練中的異常梯度，保護(hù)細(xì)節(jié)信息。

• 自監(jiān)督微調(diào)策略
  訓(xùn)練過程中引入教師模型（如 MonoViT）提供的偽標(biāo)簽 ，用于穩(wěn)定早期訓(xùn)練：

  總損失為：

訓(xùn)練數(shù)據(jù)集：KITTI（39,810 張圖像）和 Hypersim（28,000 張合成圖像）。
零樣本測試集：CityScape、DrivingStereo（含多種天氣變體）。
評測指標(biāo)：AbsRel、SqRel、RMSE、RMSElog、 、 、 。

對比實(shí)驗(yàn)

• 表1 顯示 Jasmine 在 KITTI 數(shù)據(jù)集上所有指標(biāo)均優(yōu)于現(xiàn)有自監(jiān)督方法和零樣本 Stable Diffusion 方法，尤其在 指標(biāo)上提升顯著。

• 表2 顯示 Jasmine 在 CityScape 和 DrivingStereo 的多種天氣條件下均表現(xiàn)最優(yōu)，展現(xiàn)出強(qiáng)大的零樣本泛化能力。

• 圖1、圖5 可視化結(jié)果表明，Jasmine 在細(xì)節(jié)保留和復(fù)雜結(jié)構(gòu)處理上明顯優(yōu)于其他方法。

消融實(shí)驗(yàn)

驗(yàn)證了各模塊的有效性：

• 移除 Stable Diffusion 先驗(yàn)導(dǎo)致性能崩潰。

• 移除 MIR 或 SSG 分別導(dǎo)致 AbsRel 下降 47% 和 43%。

• 使用圖像域光度損失優(yōu)于潛空間監(jiān)督。

• 合成數(shù)據(jù)并非必需，但跨域數(shù)據(jù)有助于性能提升。

六、論文結(jié)論與評價(jià) 總結(jié)

Jasmine 是首個(gè)將 Stable Diffusion 成功應(yīng)用于自監(jiān)督深度估計(jì)的框架，通過圖像重建任務(wù)和尺度-平移 GRU，在不依賴深度標(biāo)注的情況下實(shí)現(xiàn)了清晰、泛化能力強(qiáng)的深度預(yù)測。在 KITTI 上達(dá)到最優(yōu)性能，并在多個(gè)零樣本數(shù)據(jù)集上表現(xiàn)卓越。

評價(jià)

該方法突破了傳統(tǒng)自監(jiān)督方法在細(xì)節(jié)保留上的瓶頸，也為其他無監(jiān)督密集預(yù)測任務(wù)提供了新思路。缺點(diǎn)是模型計(jì)算量較大，推理速度較慢。

未來可探索更高效的架構(gòu)設(shè)計(jì)，并將該框架推廣至深度補(bǔ)全、多視圖立體等任務(wù)中，進(jìn)一步提升實(shí)用性和擴(kuò)展性。

文章來源：CV煉丹術(shù)。