雷峰網(wǎng)訊 從工廠、礦區(qū)的封閉路段到更加開放的世界，自動(dòng)駕駛技術(shù)面臨著來自真實(shí)交通環(huán)境的多重挑戰(zhàn)。變道超車的車輛、突然打開的車門、橫穿馬路的行人……當(dāng)自動(dòng)駕駛系統(tǒng)學(xué)著給這些動(dòng)態(tài)對(duì)象進(jìn)行4D建模、重建和再仿真時(shí)，大多數(shù)解決方案仍然依賴于每場(chǎng)景優(yōu)化、已知的相機(jī)校準(zhǔn)或短幀窗口，這使得它們變得緩慢且不實(shí)用。

能否快速、低成本獲得動(dòng)態(tài)駕駛場(chǎng)景下的仿真數(shù)據(jù)，決定了自動(dòng)駕駛系統(tǒng)在開放世界中的進(jìn)化速度。在這一背景下，長(zhǎng)期深耕神經(jīng)渲染與仿真技術(shù)的趙昊老師團(tuán)隊(duì)，提出了首個(gè)面向大型動(dòng)態(tài)駕駛場(chǎng)景的無姿態(tài)（pose-free) 前饋三維重建框架——DGGT（Driving Gaussian Grounded Transformer）。

趙昊現(xiàn)任清華大學(xué)智能產(chǎn)業(yè)研究院（AIR）助理教授，智源學(xué)者（BAAI Scholar）。他的研究聚焦計(jì)算機(jī)視覺領(lǐng)域，在三維場(chǎng)景理解、生成式仿真與神經(jīng)渲染等方向深耕多年，研究成果對(duì)于自動(dòng)駕駛及具身智能仿真具有重要意義。

值得關(guān)注的是，趙昊老師將以組委會(huì)主席的身份，出席2025年GAIR全球人工智能與機(jī)器人大會(huì)，并主持世界模型分論壇，分享他在世界模型方面的最新探索。

GAIR大會(huì)聚焦人工智能的核心技術(shù)、前沿趨勢(shì)與產(chǎn)業(yè)落地，長(zhǎng)期吸引來自全球的技術(shù)領(lǐng)袖和科研人士。本屆大會(huì)將于2025年12月12-13日在深圳·博林天瑞喜來登酒店舉行，與產(chǎn)業(yè)界和學(xué)術(shù)界的嘉賓共同研討人工智能的下一步發(fā)展。

論文地址：https://arxiv.org/abs/2512.03004

01自動(dòng)駕駛仿真新 SOTA

DGGT最大的突破，是擺脫了傳統(tǒng)方案對(duì)逐場(chǎng)景優(yōu)化、相機(jī)標(biāo)定以及短幀窗口的依賴。通過多頭聯(lián)合預(yù)測(cè)結(jié)構(gòu)，DGGT只需稀疏、無標(biāo)定圖像，單次前向即可同時(shí)輸出相機(jī)位姿、深度、動(dòng)態(tài)實(shí)例與場(chǎng)景表示，重建長(zhǎng)序列三維場(chǎng)景。

且該場(chǎng)景表示可直接在Gaussian層面進(jìn)行編輯，如移除或移動(dòng)車輛，插入其他場(chǎng)景的新汽車或騎行者等實(shí)例。DGGT的高度可編輯性支持?jǐn)U散精修自動(dòng)補(bǔ)洞，輸出可用于仿真與數(shù)據(jù)合成。

實(shí)驗(yàn)結(jié)果表明，DGGT在Waymo上達(dá)到了 27.41 PSNR，每場(chǎng)景推斷 0.39 秒（3 個(gè)視角，20 幀），超過了作為優(yōu)化基線的EmerNeRF、DeformableGS方案和前饋方法，同時(shí)保持了速度競(jìng)爭(zhēng)力。換言之，DGGT比優(yōu)化類方案更迅速，比前饋方案更保真。

同樣令人驚喜的還有泛化性。DGGT將相機(jī)位姿從輸入轉(zhuǎn)為模型輸出，通過端到端預(yù)測(cè)內(nèi)外參并融入場(chǎng)景表示的方法，打破了跨數(shù)據(jù)集部署的校準(zhǔn)壁壘。DGGT模型在 Waymo 上訓(xùn)練，卻能在 nuScenes 與 Argoverse2 上實(shí)現(xiàn)強(qiáng)勁的零樣本泛化，在關(guān)鍵感知指標(biāo)上相比STORM提升超過50%。如在nuScenes上LPIPS從0.394降至0.152（下降 61.4%），在 Argoverse2上從0.326降至0.155（下降52.5%）。

值得注意的是，研究團(tuán)隊(duì)在nuScenes 和 Argoverse2 數(shù)據(jù)集上分別進(jìn)行了零樣本和從頭訓(xùn)練兩種設(shè)置的實(shí)驗(yàn)評(píng)估。在這兩種情況下，DGGT均表現(xiàn)出了SOTA級(jí)性能。

此外，系統(tǒng)通過lifespan head建模場(chǎng)景隨時(shí)間的外觀演變，并配合單步擴(kuò)散精修，可有效抑制運(yùn)動(dòng)插值偽影，提升時(shí)空一致性與渲染自然度。在保證仿真質(zhì)量的前提下，DGGT為自動(dòng)駕駛仿真推開了一扇邁向高速、可擴(kuò)展新階段的大門。

02一次前向，完整 4D 場(chǎng)景

DGGT的核心設(shè)計(jì)理念，是一次性預(yù)測(cè)完整的4D場(chǎng)景狀態(tài)，同時(shí)清晰地將靜態(tài)背景與動(dòng)態(tài)實(shí)體分離，并保持時(shí)間上的連貫性。

具體來說，研究團(tuán)隊(duì)將相機(jī)位姿從輸入轉(zhuǎn)為模型輸出，每幀生成像素對(duì)齊的高斯映射，并添加一個(gè)壽命參數(shù)，隨時(shí)間調(diào)制可見性以捕捉變化的外觀，隨后使用動(dòng)態(tài)頭生成密集動(dòng)態(tài)映射，使用運(yùn)動(dòng)頭估計(jì)三維運(yùn)動(dòng)，用于稀疏時(shí)間戳間插值，同時(shí)插入單步擴(kuò)散細(xì)化，抑制重影/遮蔽偽影并恢復(fù)細(xì)節(jié)。

這產(chǎn)生了單遍、無姿態(tài)的算法，能夠從未擺拍圖像重建動(dòng)態(tài)驅(qū)動(dòng)場(chǎng)景，自然支持高斯層級(jí)的實(shí)例級(jí)編輯。

在系統(tǒng)結(jié)構(gòu)上，DGGT 采用 ViT 編碼器融合 DINO 先驗(yàn)，通過交替注意力得到共享特征，再由多個(gè)預(yù)測(cè)頭并行輸出：

相機(jī)頭估計(jì)每一幀內(nèi)外參數(shù)；

Gaussian 頭給出逐像素顏色/位置/旋轉(zhuǎn)/尺度/不透明度參數(shù)；

lifespan 頭控制時(shí)間可見度；

動(dòng)態(tài)頭輸出運(yùn)動(dòng)遮罩；

運(yùn)動(dòng)頭顯式估計(jì)動(dòng)態(tài)物體的三維位移；

天空頭穩(wěn)定建模遠(yuǎn)景背景。

03動(dòng)態(tài)駕駛場(chǎng)景仿真新路徑

長(zhǎng)期以來，高精度標(biāo)定設(shè)備和固定路線采集方案，一直限制著動(dòng)態(tài)駕駛場(chǎng)景訓(xùn)練數(shù)據(jù)的成本和采集效率，DGGT則提出了一種規(guī)避上述限制的全新方案。

將相機(jī)位姿轉(zhuǎn)為模型輸出的設(shè)計(jì)使DGGT具有了在真實(shí)、開放世界中的高度靈活性，同時(shí)其多頭聯(lián)合預(yù)測(cè)結(jié)構(gòu)支持任意數(shù)量的輸入視圖和長(zhǎng)序列處理，克服了現(xiàn)有前饋方法在時(shí)序擴(kuò)展性上的瓶頸，為處理大規(guī)模自動(dòng)駕駛?cè)罩咎峁┝丝尚新窂健?/p>

更可貴的是，DGGT能在Waymo、nuScenes等大規(guī)模數(shù)據(jù)集上實(shí)現(xiàn)SOTA級(jí)重建質(zhì)量的同時(shí)，仍然保持亞秒級(jí)的推理速度。這種既快又好的特性，平衡滿足了工業(yè)界對(duì)速度與質(zhì)量的雙重需求，使其具有作為實(shí)時(shí)的預(yù)處理模塊，集成到自動(dòng)駕駛系統(tǒng)的訓(xùn)練、仿真與評(píng)估流程中的潛力。

總體來看，0.4秒即可完成支持實(shí)例級(jí)編輯的4D重建，速度與質(zhì)量兼顧的動(dòng)態(tài)場(chǎng)景建模，以及對(duì)跨數(shù)據(jù)集泛化瓶頸的突破，無一不意味著低成本生成動(dòng)態(tài)駕駛場(chǎng)景訓(xùn)練數(shù)據(jù)的新范式，已經(jīng)距離我們更近一步。

雷峰網(wǎng)文章