研究團(tuán)隊(duì)： 本工作由華中科技大學(xué)（Huazhong University of Science and Technology）與百度（Baidu Inc.）聯(lián)合完成。

作者列表：Xianjin Wu, Dingkang Liang, Tianrui Feng, Kui Xia, Yumeng Zhang, Xiaofan Li, Xiao Tan, Xiang Bai。

• 論文標(biāo)題：Generation Models Know Space: Unleashing Implicit 3D Priors for Scene Understanding
• 論文鏈接：https://arxiv.org/abs/2603.19235
• 倉(cāng)庫(kù)鏈接：https://github.com/H-EmbodVis/VEGA-3D

核心問(wèn)題：視頻生成模型真的理解世界嗎？

生成模型，到底能不能理解世界，或者說(shuō)，它們能否促進(jìn)對(duì)世界的理解？這是我們?cè)谕七M(jìn) Generation Models Know Space 這項(xiàng)研究時(shí)，最核心的出發(fā)點(diǎn)。

過(guò)去在 3D 場(chǎng)景理解這個(gè)領(lǐng)域，我們往往習(xí)慣于一種思維定勢(shì)：如果要讓模型懂空間，就必須給它顯式的 3D 數(shù)據(jù)，比如點(diǎn)云，或者在系統(tǒng)里硬塞進(jìn)復(fù)雜的幾何重建模塊。這就導(dǎo)致整個(gè)理解鏈路非常沉重，而且嚴(yán)重受限于高質(zhì)量的三維標(biāo)注數(shù)據(jù)。

但當(dāng)我們觀察這兩年飛速發(fā)展的視頻生成模型時(shí)，我們意識(shí)到了一個(gè)常常被忽視的事實(shí)。當(dāng)一個(gè)模型能夠自然地生成一段視角切換、包含復(fù)雜遮擋關(guān)系的視頻時(shí)，它其實(shí)已經(jīng)在內(nèi)部默默處理了深度、透視和物理距離。如果它不懂三維幾何，生成的畫(huà)面早就崩塌成了一堆混亂的像素。

所以Motivation變得非常清晰且直接：既然這些在大規(guī)模無(wú)標(biāo)注視頻上訓(xùn)練出的生成模型，為了造出逼真的畫(huà)面，已經(jīng)偷偷掌握了物理世界的空間邏輯，我們?yōu)槭裁催€要舍近求遠(yuǎn)，去重新教理解模型學(xué)幾何？

這篇論文提出了VEGA-3D，旨在釋放深藏于生成大模型內(nèi)部的 3D 先驗(yàn)知識(shí)。研究表明，生成模型不僅是一個(gè)高超的“畫(huà)師”，更像是一個(gè)開(kāi)箱即用的“空間知識(shí)庫(kù)”。它將物理規(guī)律與幾何結(jié)構(gòu)壓縮進(jìn)參數(shù)之中，由生成任務(wù)催生出的隱式空間表征，具有很強(qiáng)的遷移能力，并能夠直接服務(wù)于理解任務(wù)。

這不僅是一次技術(shù)路線的替換，更是一種研究范式的轉(zhuǎn)變。我們不再將“生成”和“理解”視作彼此平行的兩條軌道。尤其在具身智能場(chǎng)景下，當(dāng)機(jī)器人需要在復(fù)雜物理空間中完成感知、推理與交互時(shí)，模型對(duì)三維環(huán)境的尺度感、幾何直覺(jué)和空間一致性的把握，往往正是關(guān)鍵瓶頸。而借助生成模型反哺理解，則為突破這一瓶頸提供了一條極具潛力的新路徑。

基于這一思路，來(lái)自華中科技大學(xué)與百度的聯(lián)合團(tuán)隊(duì)設(shè)計(jì)了VEGA-3D框架，用于系統(tǒng)挖掘并利用生成模型中的空間先驗(yàn)，從而提升模型在場(chǎng)景理解、空間推理與具身任務(wù)中的表現(xiàn)。

它把物理法則壓縮在了自己的參數(shù)里，這種為了生成而被迫建立的隱式空間表征極其強(qiáng)大，且可以直接遷移到理解任務(wù)中。在具體實(shí)現(xiàn)上，VEGA-3D將視頻生成模型（如 Wan2.1）作為 “潛在世界模擬器”，通過(guò)自適應(yīng)門(mén)控機(jī)制，將生成模型在中間去噪階段展現(xiàn)出的純粹 3D 結(jié)構(gòu)先驗(yàn)，與原有的語(yǔ)義特征進(jìn)行優(yōu)雅融合。

Figure 1 摒棄復(fù)雜的 3D 依賴(lài)和幾何監(jiān)督，VEGA-3D 開(kāi)創(chuàng)了生成先驗(yàn)增強(qiáng)的新范式。

為什么視頻生成模型能懂 3D？因?yàn)橐梢欢畏铣＠怼r(shí)間連貫的視頻，生成模型在內(nèi)部必然學(xué)會(huì)了物體遮擋、相機(jī)運(yùn)動(dòng)帶來(lái)的視差以及交互物理法則。VEGA-3D 的核心創(chuàng)新就在于如何 “榨干” 這股隱式力量：

1. 將視頻生成模型作為 “潛在世界模擬器”

摒棄了只用生成模型 “畫(huà)圖” 的常規(guī)思路，VEGA-3D 將凍結(jié)的視頻擴(kuò)散模型引入視覺(jué)流。為了徹底激活其內(nèi)部的幾何結(jié)構(gòu)認(rèn)知，研究團(tuán)隊(duì)通過(guò)在其前向過(guò)程中注入特定水平的噪聲（Noise Injection），提取其在中間去噪階段和中間網(wǎng)絡(luò)層（如 DiT layer 20）的時(shí)空特征。此時(shí)的特征，完美平衡了底層紋理與高層抽象，蘊(yùn)含著最純粹的 3D 結(jié)構(gòu)先驗(yàn)。

Figure 2 可視化證明，Wan2.1 在不同視角下展現(xiàn)出驚人的多視角幾何一致性。結(jié)合 VEGA-3D，大模型的注意力圖瞬間精準(zhǔn)鎖定了目標(biāo)物體，徹底告別 “空間盲區(qū)”。

2. Token 級(jí)自適應(yīng)門(mén)控融合

連續(xù)的物理生成特征與離散的語(yǔ)義特征天然存在 “語(yǔ)義 - 幾何鴻溝”。如果簡(jiǎn)單粗暴地相加，只會(huì)導(dǎo)致信號(hào)沖突。 VEGA-3D 獨(dú)創(chuàng)了自適應(yīng)門(mén)控融合機(jī)制：對(duì)于每一個(gè)空間 Token，網(wǎng)絡(luò)會(huì)動(dòng)態(tài)計(jì)算一個(gè)權(quán)重門(mén)控，讓模型在回答 “這是什么”（依賴(lài)語(yǔ)義先驗(yàn)）和 “它在哪里”（依賴(lài)生成空間先驗(yàn)）時(shí)，自適應(yīng)地調(diào)節(jié)兩股特征的比例，實(shí)現(xiàn)真正的優(yōu)勢(shì)互補(bǔ)。

Figure 3VEGA-3D 極簡(jiǎn)而優(yōu)雅的架構(gòu)設(shè)計(jì)，即插即用，雙流視覺(jué)編碼。

深度剖析：為什么 “多視角一致性”

是解鎖空間認(rèn)知的密鑰？

評(píng)價(jià)一個(gè)模型是否真正理解真實(shí)物理世界，關(guān)鍵在于其能否在不同視角下保持幾何結(jié)構(gòu)的一致性。為了揭示這一底層邏輯，我們對(duì)特征域進(jìn)行了深入分析。

實(shí)驗(yàn)表明，多視角一致性得分與下游 3D 理解任務(wù)的歸一化綜合得分（NOS）呈現(xiàn)出極其顯著的正相關(guān)。傳統(tǒng)的判別式模型在應(yīng)對(duì) 3D 任務(wù)時(shí)往往會(huì)遇到瓶頸：例如 DINOv3-Large 和 V-JEPA v2 的一致性得分分別為 61.90% 和 72.00%。即便是專(zhuān)門(mén)針對(duì) 3D 提取的判別模型 VGGT，其一致性得分也僅達(dá)到 77.21%。這說(shuō)明傳統(tǒng)的降維壓縮過(guò)程不可逆地丟失了密集的物理與幾何細(xì)節(jié)。

相反，以 Wan2.1 為代表的視頻生成大模型展現(xiàn)出了降維打擊般的空間理解力。Wan2.1-VACE 和 Wan2.1-T2V 的多視角一致性得分分別飆升至驚人的 97.04% 和 96.88%。這意味著，為了 “不穿幫” 地生成連貫視頻，DiT 架構(gòu)被迫在腦海中構(gòu)建了極其魯棒的 3D 物體結(jié)構(gòu)。當(dāng) VEGA-3D 將這股強(qiáng)大的隱式先驗(yàn)釋放出來(lái)時(shí)，它為多模態(tài)大模型提供了一個(gè)堅(jiān)實(shí)的 “空間錨點(diǎn)”，直接驅(qū)動(dòng)了下游性能的暴漲。

Figure 4 多視角一致性得分與下游 3D 理解性能呈強(qiáng)正相關(guān)，DiT 架構(gòu)的生成模型完勝傳統(tǒng)判別式模型

實(shí)驗(yàn)結(jié)果：

依靠這套機(jī)制，VEGA-3D 展現(xiàn)出了出色下游任務(wù)統(tǒng)治力，并且這一切提升都不需要任何額外的 3D 標(biāo)注數(shù)據(jù)：

• 3D 場(chǎng)景理解全面領(lǐng)先：在 ScanRefer（視覺(jué)定位）、ScanQA（空間問(wèn)答）等 5 個(gè)基準(zhǔn)測(cè)試中，VEGA-3D 將原有基線模型（Video-3D LLM）的定位精度和準(zhǔn)確率拉升至全新高度，ScanRefer Acc@0.5 從 51.7 大幅提升至 56.2。
• 空間推理無(wú)死角：在專(zhuān)門(mén)診斷模型視覺(jué) - 空間技能的 VSI-Bench 上，引入 VEGA-3D 后的 Qwen2.5VL-7B 在相對(duì)距離、相對(duì)方向和路線規(guī)劃等子任務(wù)上獲得一致性暴漲。
• 賦能具身智能 (Embodied AI)：更硬核的是，在 LIBERO 機(jī)器人仿真操作基準(zhǔn)中，將生成先驗(yàn)注入到 OpenVLA 視覺(jué)流后，機(jī)器人在復(fù)雜物體交互和長(zhǎng)視野（Long-horizon）任務(wù)上的成功率突破原有瓶頸，平均成功率達(dá)到 97.3%。

Figure 5 3D 場(chǎng)景理解中， ScanRefer 和 ScanQA 數(shù)據(jù)集等空間定位與問(wèn)答任務(wù)全面領(lǐng)先

總結(jié)與展望：探索 3D 推理的下一個(gè)前沿

VEGA-3D 不僅僅是一個(gè)性能卓越的系統(tǒng)，它更向整個(gè)社區(qū)傳遞了一個(gè)重要的設(shè)計(jì)思路：大模型 3D 空間推理的下一個(gè)突破口，也許不在于繼續(xù)堆疊海量且昂貴的 3D 數(shù)據(jù)，而在于如何釋放生成式基礎(chǔ)模型體內(nèi)早已沉睡的 “物理先驗(yàn)”。作為一種高擴(kuò)展性、數(shù)據(jù)高效的基礎(chǔ)設(shè)施，隨著未來(lái)視頻生成模型（如 Sora、Wan 等）的進(jìn)一步進(jìn)化，VEGA-3D 的上限將被無(wú)限拉高。