近年來，Sim2Real作為連接仿真環(huán)境和真實三維世界的主要橋梁，在越來越多的應(yīng)用（如具身智能，虛擬現(xiàn)實）中扮演著至關(guān)重要的角色。在這一背景下，一個基本問題是——如何模擬和仿真真實捕獲的三維數(shù)據(jù)。為了解決這個問題，現(xiàn)有多數(shù)方法將預(yù)定義的顯式物理先驗引入到仿真深度傳感器中，以模擬真實的深度傳感器，但這種方式難以充分捕捉真實世界的復(fù)雜性。最優(yōu)解決方案應(yīng)通過數(shù)據(jù)驅(qū)動的方式學(xué)習(xí)從合成數(shù)據(jù)到真實數(shù)據(jù)的隱式映射，遺憾的是，這一方案的研究近年來陷入了停滯。

為了重新推動這一研究方向的進展，港中大（深圳）韓曉光團隊提出了Stable-Sim2Real，探索了一種數(shù)據(jù)驅(qū)動3D模擬的新路徑——Stable-Sim2Real。其基于一種新穎的兩階段深度圖擴散模型，采用一階段穩(wěn)定生成+二階段局部增強。實驗表明，使用該方法生成的三維模擬數(shù)據(jù)訓(xùn)練模型，能顯著提升在真實世界下三維視覺任務(wù)的性能。目前論文和代碼已經(jīng)在項目主頁公開，歡迎大家一起探索！

論文標(biāo)題： Stable-Sim2Real: Exploring Simulation of Real-Captured 3D Data with Two-Stage Depth Diffusion 論文地址： https://arxiv.org/abs/2507.23483 項目代碼： https://github.com/GAP-LAB-CUHK-SZ/stable-sim2real 項目主頁： https://mutianxu.github.io/stable-sim2real/

圖1. Stable-Sim2Real概念圖 一、背景介紹

近年來，真實世界三維數(shù)據(jù)集在解決三維視覺與機器人學(xué)領(lǐng)域的廣泛任務(wù)中發(fā)揮著至關(guān)重要的作用。然而，真實三維數(shù)據(jù)的采集往往需要耗費大量人力與時間，且近年來日益凸顯的數(shù)據(jù)隱私問題進一步增加了數(shù)據(jù)收集的復(fù)雜性。在此背景下，合成數(shù)據(jù)（即通過模擬生成的數(shù)據(jù)）作為一種替代性數(shù)據(jù)資源應(yīng)運而生，其具有成本效益高、生成速度快且可規(guī)?；a(chǎn)的優(yōu)勢。盡管如此，基于合成數(shù)據(jù)訓(xùn)練的模型在真實世界中的表現(xiàn)缺乏魯棒性。

這一問題催生了三維數(shù)據(jù)仿真技術(shù)的發(fā)展，旨在縮小仿真數(shù)據(jù)與真實采集三維數(shù)據(jù)之間的差距。盡管已有研究嘗試通過引入物理先驗知識來模擬深度傳感器，但由于依賴預(yù)定義的顯式物理建模，這些方法難以捕捉真實世界的全部復(fù)雜性。更優(yōu)的解決方案是以數(shù)據(jù)驅(qū)動的方式學(xué)習(xí)從合成數(shù)據(jù)到真實數(shù)據(jù)的隱式映射，從而更好地適應(yīng)現(xiàn)實世界的多樣性。然而，受限于數(shù)據(jù)的匱乏和早期模型的能力，僅有少數(shù)現(xiàn)有工作探索這一路徑，相關(guān)的進展陷入了停滯狀態(tài)（圖2）。

圖 2. 三維數(shù)據(jù)仿真研究現(xiàn)狀

本工作旨在探索數(shù)據(jù)驅(qū)動的三維仿真到真實（Sim2Real）轉(zhuǎn)換方法，并推動學(xué)術(shù)界重新關(guān)注這一關(guān)鍵問題。本工作選用最新的合成-真實配對數(shù)據(jù)集LASA（圖3），該數(shù)據(jù)集包含10,412個與真實物體掃描數(shù)據(jù)精確配準(zhǔn)的高質(zhì)量三維形狀CAD標(biāo)注。以LASA數(shù)據(jù)集為驅(qū)動，本工作的研究重點在于設(shè)計一種高效的數(shù)據(jù)驅(qū)動三維Sim2Real算法。鑒于真實采集數(shù)據(jù)模式固有的不確定性和多樣性，本工作選用擴散模型進行生成。然而，由于三維數(shù)據(jù)的匱乏，訓(xùn)練三維擴散模型以獲得強三維先驗知識用于三維仿真仍存在困難。因此，本工作選擇利用二維擴散基礎(chǔ)模型（如SD——Stable Diffusion）的強泛化先驗來模擬真實二維深度圖，繼而通過融合生成三維數(shù)據(jù)。這一策略與真實三維數(shù)據(jù)采集過程相似，即通過采集二維深度信息并融合成三維數(shù)據(jù)。

圖 3. LASA數(shù)據(jù)集與Stable-Sim2Real 二、核心挑戰(zhàn)與方法

為了實現(xiàn)這一方案，一個直觀的baseline方法是從LASA數(shù)據(jù)集中獲取CAD（即合成）深度圖及其配對的真實深度圖像，然后對Stable Diffusion（SD）模型進行微調(diào)，以學(xué)習(xí)二者之間的隱式映射。然而，本工作面臨特殊挑戰(zhàn)（圖4）：傳統(tǒng)圖像轉(zhuǎn)換通常通過去除噪聲來生成清晰圖像，而本工作的任務(wù)目標(biāo)卻是輸出具有高度不確定性的含噪聲深度數(shù)據(jù)，這使得需要學(xué)習(xí)的分布規(guī)律變得更為復(fù)雜。

圖4. 核心挑戰(zhàn)

圖5. Stable-Sim2Real方法流程圖

為應(yīng)對這些挑戰(zhàn)，本工作提出Stable-Sim2Real（如圖5所示）。在第一階段擴散過程中，模型并非直接生成對應(yīng)的真實世界深度圖，而是生成真實深度圖與CAD深度圖之間的殘差（即差異值）。隨后通過將生成的殘差與CAD深度圖相加，得到模擬的深度圖。與直接生成含噪聲的真實深度相比，向本身干凈且視角一致的CAD深度添加噪聲，能夠產(chǎn)生更穩(wěn)定的深度數(shù)據(jù)——其視角變化更小，且能更好地保持原始幾何結(jié)構(gòu)（詳細(xì)討論與概率分析見原文）。

盡管第一階段生成的深度圖中某些區(qū)域成功擬合了真實的pattern，但部分局部區(qū)域仍存在生成結(jié)果與真實采集數(shù)據(jù)間顯著的幾何差異。為解決該問題，模型在第二階段訓(xùn)練了一個三維感知判別器（3D-Aware Discriminator，僅在訓(xùn)練時使用），在局部幾何層面區(qū)分第一階段生成結(jié)果與真實采集數(shù)據(jù)，隨后通過調(diào)整擴散損失函數(shù)，對第一階段生成結(jié)果進行局部增強。最終，將生成的深度圖融合以得到模擬三維數(shù)據(jù)。

三、實驗與驗證

首先，本工作提供了三維數(shù)據(jù)仿真的直觀效果對比，其中Stable-Sim2Real更貼近真實世界掃描的三維數(shù)據(jù)，并且在out-of-domain (e.g. ShapeNet, ABO, 3D-Future)的合成數(shù)據(jù)上也展現(xiàn)出了極佳的泛化性（圖6，7）。

圖6. 使用LASA數(shù)據(jù)測試三維數(shù)據(jù)仿真效果對比

圖7. 使用ShapeNet數(shù)據(jù)（out-of-domain generalization）測試三維數(shù)據(jù)仿真效果對比

此外，針對于下游應(yīng)用，本工作提出了一套針對三維數(shù)據(jù)仿真的綜合基準(zhǔn)測試方案：若使用生成的仿真數(shù)據(jù)訓(xùn)練模型后能在真實世界中的性能得到提升，則驗證了仿真方法的有效性。聚焦于兩個基礎(chǔ)性真實世界三維任務(wù)：三維形狀重建與三維物體/場景理解（圖8）。

圖8. 下游任務(wù)驗證

對于三維形狀重建任務(wù)，預(yù)訓(xùn)練一個以生成的仿真三維數(shù)據(jù)為輸入、輸出干凈三維表面的重建網(wǎng)絡(luò)。對于三維物體/場景理解任務(wù)，生成的三維仿真數(shù)據(jù)被用于預(yù)訓(xùn)練自監(jiān)督點云學(xué)習(xí)框架。為更純粹地評估生成的仿真數(shù)據(jù)帶來的性能增益，本工作對預(yù)訓(xùn)練網(wǎng)絡(luò)進行少樣本評估，有效剝離其他干擾因素，直接衡量生成的仿真數(shù)據(jù)對模型性能的提升貢獻。

表1. 使用來自不同方法獲得的三維仿真數(shù)據(jù)預(yù)訓(xùn)練模型，并用少樣本真實數(shù)據(jù)微調(diào)后，在真實三維形狀重建任務(wù)的數(shù)值結(jié)果

圖9. 使用來自不同方法獲得的三維仿真數(shù)據(jù)預(yù)訓(xùn)練模型，并用少樣本真實數(shù)據(jù)微調(diào)后，在真實三維形狀重建任務(wù)的可視化結(jié)果

表2. 使用來自不同方法獲得的三維仿真數(shù)據(jù)預(yù)訓(xùn)練模型，直接在真實三維形狀重建任務(wù)中測試的數(shù)值結(jié)果 四、思考與展望

圖10. 解決Real2Sim2Real問題的數(shù)據(jù)閉環(huán)

本研究所提出的"clean-to-noisy"的方法，本質(zhì)上將服務(wù)于提升"noisy-to-clean"這一逆問題的求解效果。其背后的主要原因是：訓(xùn)練"noisy-to-clean"模型仍需大規(guī)模clean-noisy配對數(shù)據(jù)。而獲取/擴增此類配對數(shù)據(jù)時，本方法恰好提供了合理的解決方案：通過易于獲得的合成數(shù)據(jù)生成難以采集的真實noisy數(shù)據(jù)。最終，該方法填補并完善了"clean-noisy-clean"的閉環(huán)流程。從更宏觀的角度來看，這實則構(gòu)成了"真實→仿真→真實"（Real2Sim2Real）的完整技術(shù)閉環(huán)（圖10）。更多實驗細(xì)節(jié)請參閱原論文。

llustration From IconScout By IconScout Store

-The End-

掃碼觀看！

本周上新！

“AI技術(shù)流”原創(chuàng)投稿計劃

TechBeat是由將門創(chuàng)投建立的AI學(xué)習(xí)社區(qū)（www.techbeat.net）。社區(qū)上線700+期talk視頻，3000+篇技術(shù)干貨文章，方向覆蓋CV/NLP/ML/Robotis等；每月定期舉辦頂會及其他線上交流活動，不定期舉辦技術(shù)人線下聚會交流活動。我們正在努力成為AI人才喜愛的高質(zhì)量、知識型交流平臺，希望為AI人才打造更專業(yè)的服務(wù)和體驗，加速并陪伴其成長。

投稿內(nèi)容

// 最新技術(shù)解讀/系統(tǒng)性知識分享 //

// 前沿資訊解說/心得經(jīng)歷講述 //

投稿須知

稿件需要為原創(chuàng)文章，并標(biāo)明作者信息。

我們會選擇部分在深度技術(shù)解析及科研心得方向，對用戶啟發(fā)更大的文章，做原創(chuàng)性內(nèi)容獎勵

投稿方式

發(fā)送郵件到

michellechang@thejiangmen.com

或添加工作人員微信（michelle333_）投稿，溝通投稿詳情

關(guān)于我“門”

將門是一家以專注于數(shù)智核心科技領(lǐng)域的新型創(chuàng)投機構(gòu)，也是北京市標(biāo)桿型孵化器。 公司致力于通過連接技術(shù)與商業(yè)，發(fā)掘和培育具有全球影響力的科技創(chuàng)新企業(yè)，推動企業(yè)創(chuàng)新發(fā)展與產(chǎn)業(yè)升級。

將門成立于2015年底，創(chuàng)始團隊由微軟創(chuàng)投在中國的創(chuàng)始團隊原班人馬構(gòu)建而成，曾為微軟優(yōu)選和深度孵化了126家創(chuàng)新的技術(shù)型創(chuàng)業(yè)公司。

如果您是技術(shù)領(lǐng)域的初創(chuàng)企業(yè)，不僅想獲得投資，還希望獲得一系列持續(xù)性、有價值的投后服務(wù)，歡迎發(fā)送或者推薦項目給我“門”:

bp@thejiangmen.com

點擊右上角，把文章分享到朋友圈