清華大學(xué)智能產(chǎn)業(yè)研究院（AIR）青年教師趙昊課題組聯(lián)合小米汽車等單位，推出了首個面向大型動態(tài)駕駛場景的無姿態(tài)（pose-free) 前饋三維重建框架——DGGT（Driving Gaussian Grounded Transformer）。該方法擺脫了傳統(tǒng)依賴逐場景優(yōu)化、相機標定以及短幀窗口的限制，能夠直接從稀疏、無標定圖像中重建長序列三維場景，使自動駕駛仿真邁向高速、可擴展的新階段。

論文標題： DGGT: Feedforward 4D Reconstruction of Dynamic Driving Scenes using Unposed Images 論文鏈接： https://arxiv.org/abs/2512.03004 代碼鏈接： https://github.com/xiaomi-research/dggt 項目主頁： https://xiaomi-research.github.io/dggt/

DGGT 只需未標定的稀疏圖像，單次前向即可同時輸出相機位姿、深度、動態(tài)實例與基于 3D Gaussian 的可編輯場景表示。模型在 Waymo 上訓(xùn)練，卻能在 nuScenes 與 Argoverse2 上實現(xiàn)強勁的零樣本泛化——在關(guān)鍵感知指標上相比STORM提升超過 50%。此外，系統(tǒng)通過lifespan head建模場景隨時間的外觀演變，并配合單步擴散精修，有效抑制運動插值偽影，提升時空一致性與渲染自然度。

圖1.左：從未標定稀疏圖像在0.4 s內(nèi)重建動態(tài)場景，并輸出相機姿態(tài)、深度、動態(tài)圖、3D Gaussian追蹤等可編輯資產(chǎn)；右：在速度與精度上相較前向/優(yōu)化方法處于更優(yōu)位置 一、亮點速覽

• 無需外參（Pose-Free）： 將相機位姿從輸入轉(zhuǎn)為模型輸出，端到端預(yù)測內(nèi)外參并融入場景表示，打破跨數(shù)據(jù)集部署的校準壁壘。

• Feed-forward 4D表示： 采用多頭聯(lián)合預(yù)測結(jié)構(gòu)（相機、4D Gaussian、lifespan、動態(tài)/運動、天空等），一次前向即可得到時空一致的可編輯表示。

• 跨數(shù)據(jù)集零樣本泛化： 僅在 Waymo 訓(xùn)練，無需在目標數(shù)據(jù)集上微調(diào)即可在 nuScenes 與 Argoverse2 上獲得優(yōu)于SOTA的定量與定性結(jié)果（LPIPS 降幅 52%–61%）。

• 可編輯性強： 支持直接在 Gaussian 層面添加/刪除/移動車輛、行人等實例，擴散精修自動補洞，輸出可用于仿真與數(shù)據(jù)合成。

• 速度與質(zhì)量兼顧：在Waymo上20 幀/視角，單場景約 0.39 s；PSNR 27.41 / SSIM 0.846，與優(yōu)化類方法相比顯著加速，與前向方法相比更高保真。

DGGT 的核心思想是：一次前向就預(yù)測出“完整的4D場景狀態(tài)”，并把相機位姿從前提變成結(jié)果。這使得系統(tǒng)無需外參標定即可從稀疏、未標定圖像里恢復(fù)動態(tài)場景，而且能自然跨數(shù)據(jù)集部署。圖1展示了DGGT 的整體能力與速度-精度位置：在0.4 秒量級完成重建的同時，DGGT 在重建質(zhì)量上超越一系列前向與優(yōu)化方法，并將相機姿態(tài)、深度、動態(tài)分割、3D Gaussian、追蹤等輸出一并給出，便于后續(xù)實例級場景編輯。

圖2.DGGT 框架結(jié)構(gòu)圖 ViT 編碼融合DINO先驗，聯(lián)合相機/高斯/壽命/動態(tài)/運動/天空六個預(yù)測頭；渲染后接單步擴散精修，一次前向完成時空一致重建。

在系統(tǒng)結(jié)構(gòu)上（圖2），DGGT 采用 ViT 編碼器融合 DINO 先驗，通過交替注意力得到共享特征，再由多個預(yù)測頭并行輸出：

（1）相機頭估計各幀內(nèi)外參；

（2）Gaussian 頭給出逐像素 Gaussian 參數(shù)（顏色/位置/旋轉(zhuǎn)/尺度/不透明度）；

（3）lifespan 頭用壽命參數(shù)調(diào)制時間維度可見性，精確刻畫靜態(tài)區(qū)域在不同時間的外觀變化；

（4）動態(tài)頭+運動頭顯式估計動態(tài)區(qū)域與 3D 運動軌跡，支持任意時間點的運動插值；

（5）天空頭穩(wěn)定建模遠景背景。渲染后，再通過單步擴散精修抑制遮擋/插值產(chǎn)生的偽影與細節(jié)缺失。

表1. Waymo定量結(jié)果 DGGT無需相機位姿輸入的同時，對場景中動靜態(tài)進行判斷，在Waymo數(shù)據(jù)集上獲得更高PSNR/SSIM與更低深度誤差，單場景推理僅約0.4s

表2. 其他消融實驗和指標測試 擴散模型雖然在性能上提升較小，但是生成的結(jié)果視覺效果更好，更適配于下游任務(wù)；同時DGGT在Waymo上EPE3D達0.183 m

在Waymo數(shù)據(jù)集上的定性與定量評估（見表1）表明：以往的前饋式靜態(tài)重建方法（如 MVSplat、NoPoSplat、DepthSplat）在存在大范圍運動目標的場景中難以維持時間一致性，且會產(chǎn)生明顯的錯配與偽影；而STORM雖然通過前饋式建模緩解了對逐場景優(yōu)化的依賴，但在處理更長的時序跨度或更復(fù)雜的動態(tài)行為時仍可能出現(xiàn)性能退化。

相比之下，DGGT能夠在渲染級別上實現(xiàn)對靜態(tài)與動態(tài)成分的有效分離，保持幀間外觀與幾何的一致性，從而顯著提升整體視覺質(zhì)量與重建穩(wěn)定性。在定量指標上（表2），DGGT 在場景流估計上的EPE_3D為0.183 m，明顯優(yōu)于多種既有方法，證明了通過渲染監(jiān)督學(xué)得的稠密三維對應(yīng)具有良好的可靠性與精度。

表3. 零樣本跨庫泛化 僅用Waymo訓(xùn)練，DGGT在nuScenes/Argoverse2上無需微調(diào)即顯著優(yōu)于STORM：LPIPS分別下降 61.4% 與 52.5%

跨數(shù)據(jù)集的零樣本泛化能力是 DGGT 的另一項核心優(yōu)勢。模型僅在Waymo上訓(xùn)練，但在未做任何微調(diào)的情況下，在nuScenes與Argoverse2上均取得超越現(xiàn)有SOTA的結(jié)果（見表3）：如在nuScenes上 LPIPS從0.394 降至0.152（下降 61.4%）；在 Argoverse2上從0.326降至 0.155（下降52.5%）。這種跨域魯棒性主要得益于DGGT 的pose-free 設(shè)計：將位姿從輸入轉(zhuǎn)為模型輸出，減少了對固定拍攝軌跡與相機配置的依賴，從而降低了對特定數(shù)據(jù)采集設(shè)置的過擬合風(fēng)險，使模型在不同傳感器布置與行駛路徑下仍能維持良好性能。

表4. 輸入視角數(shù)消融 當視角數(shù)從 4→8→16 增加時，DGGT的重建/NVS指標保持穩(wěn)定；STORM出現(xiàn)明顯下滑，DGGT更適合大規(guī)模日志處理

在可擴展性方面，DGGT 能自然支持任意數(shù)量的輸入視角與長序列。從表4可以看到，當輸入視角從 4 → 8 → 16 擴增時，DGGT 的重建與新視角插值（NVS）指標基本不變，而對比方法會明顯下滑。這意味著DGGT 不僅適合研究場景，更適合在大規(guī)模輸入中做工程級預(yù)處理與批量重建，視角變多時不需要額外改模型或調(diào)參數(shù)。

圖3. Lifespan head 價值 去除lifespan后PSNR下降3.2 dB，靜態(tài)區(qū)域的光照/反射時間變化難以刻畫，時空一致性受損

Lifespan head 的作用在圖3中的消融對比非常直接：去掉 lifespan 后，PSNR 從 27.41 降至 24.21，原因在于系統(tǒng)失去了對靜態(tài)區(qū)域在時間維度上的細微變化（如亮度、反射、陰影過渡等）的建模能力。世界坐標靜態(tài)的地方一旦無法隨時間正確更新，就會破壞渲染的時空一致性與真實感，從而顯著拉低最終畫面質(zhì)量。

圖4. 3D追蹤可視化 相鄰時刻等色點一一對應(yīng)，展現(xiàn)可靠的稠密時空關(guān)聯(lián)

Motion head負責把動態(tài)像素在時間上對齊（圖4）：它直接預(yù)測像素級的 3D 位移，用于將同一物體在相鄰幀中對齊并做插值。也就是說，模型不只是預(yù)測靜態(tài)形狀，而是學(xué)會了像素到像素的時序?qū)?yīng)，從而在生成中間幀或執(zhí)行編輯時顯著減少錯配與拖影，保證運動物體在時間上的連續(xù)性與視覺自然度。

圖5. 實例級編輯：加/刪/移動車輛、跨場景插入新車與騎行者 在Gaussian層面對目標進行加、刪、平移操作；擴散精修自動補洞與平滑邊界，合成結(jié)果自然可信，提升可用性與觀感。

在場景編輯與擴散精修方面（圖5），DGGT 直接在 3D Gaussian 表示層面支持實例級操作——可以對單個高斯體執(zhí)行“新增/刪除/平移/替換”等編輯；隨后引入的擴散精修模塊會自動填補因遮擋產(chǎn)生的空洞、弱化邊緣鋸齒并修復(fù)紋理縫隙。經(jīng)過這兩步處理，合成結(jié)果在幾何與外觀上都保持高度一致且自然可信。

這意味著 DGGT 不只是“重建器”，更是“可編輯的 4D 場景資產(chǎn)生成器”，非常契合自動駕駛仿真、評測與數(shù)據(jù)合成等下游需求。

來源：公眾號【清華大學(xué)智能產(chǎn)業(yè)研究院】

llustration From IconScout By IconScout Store

-The End-

本周上新！

掃碼觀看！

“AI技術(shù)流”原創(chuàng)投稿計劃

TechBeat是由將門創(chuàng)投建立的AI學(xué)習(xí)社區(qū)（www.techbeat.net）。社區(qū)上線700+期talk視頻，3000+篇技術(shù)干貨文章，方向覆蓋CV/NLP/ML/Robotis等；每月定期舉辦頂會及其他線上交流活動，不定期舉辦技術(shù)人線下聚會交流活動。我們正在努力成為AI人才喜愛的高質(zhì)量、知識型交流平臺，希望為AI人才打造更專業(yè)的服務(wù)和體驗，加速并陪伴其成長。

投稿內(nèi)容

// 最新技術(shù)解讀/系統(tǒng)性知識分享 //

// 前沿資訊解說/心得經(jīng)歷講述 //

投稿須知

稿件需要為原創(chuàng)文章，并標明作者信息。

我們會選擇部分在深度技術(shù)解析及科研心得方向，對用戶啟發(fā)更大的文章，做原創(chuàng)性內(nèi)容獎勵

投稿方式

發(fā)送郵件到

michellechang@thejiangmen.com

或添加工作人員微信（michelle333_）投稿，溝通投稿詳情

關(guān)于我“門”

將門是一家以專注于數(shù)智核心科技領(lǐng)域的新型創(chuàng)投機構(gòu)，也是北京市標桿型孵化器。 公司致力于通過連接技術(shù)與商業(yè)，發(fā)掘和培育具有全球影響力的科技創(chuàng)新企業(yè)，推動企業(yè)創(chuàng)新發(fā)展與產(chǎn)業(yè)升級。

將門成立于2015年底，創(chuàng)始團隊由微軟創(chuàng)投在中國的創(chuàng)始團隊原班人馬構(gòu)建而成，曾為微軟優(yōu)選和深度孵化了126家創(chuàng)新的技術(shù)型創(chuàng)業(yè)公司。

如果您是技術(shù)領(lǐng)域的初創(chuàng)企業(yè)，不僅想獲得投資，還希望獲得一系列持續(xù)性、有價值的投后服務(wù)，歡迎發(fā)送或者推薦項目給我“門”:

bp@thejiangmen.com

點擊右上角，把文章分享到朋友圈