新智元報(bào)道

編輯：KingHZ

【新智元導(dǎo)讀】谷歌還在閉源守寶，NVIDIA已把Lyra 2.0全開源：35步去噪變4步，2D圖片直出3D高斯?jié)姙R+網(wǎng)格。社交狂歡背后，是對(duì)具身AI仿真的巨大潛力——以后造世界，不用再去真實(shí)世界采數(shù)據(jù)了。

AI閉源時(shí)代，快要結(jié)束了！

你有沒有過這樣的幻想：盯著一張多年前的老照片——也許是你童年住過的老屋，也許是一次難忘旅行中的街角——

在心里默念：「如果能再走進(jìn)去看一眼就好了。」

在過去，這叫《盜夢空間》。但在2026年的今天，它變成了現(xiàn)實(shí)。

就在剛剛，AI圈發(fā)生了一場「核爆」：NVIDIA正式發(fā)布并100%開源了Lyra 2.0。

你只需要上傳一張普通的2D圖片，鼠標(biāo)一點(diǎn)，它就能瞬間將其「吹脹」成一個(gè)深邃的、可以四處走動(dòng)、可以回頭張望的3D交互世界。

當(dāng)谷歌還在把類似的技術(shù)（Genie 3）像傳家寶一樣鎖在閉源的保險(xiǎn)箱里時(shí)，NVIDIA卻把這把「造物主的畫筆」免費(fèi)扔到了大街上。

項(xiàng)目地址：https://research.nvidia.com/labs/sil/projects/lyra2/

開源代碼：https://github.com/nv-tlabs/lyra

預(yù)印本：https://arxiv.org/abs/2604.13036

這不僅讓社交媒體陷入狂歡，更讓無數(shù)開發(fā)者在Reddit上驚呼：「這是終結(jié)AI視頻環(huán)境連續(xù)性問題的一大步！」

但這絕不僅僅是一個(gè)讓老照片變立體的炫酷玩具。

在這場看似慷慨的「技術(shù)開源」背后，藏著NVIDIA對(duì)未來十年物理世界最冷酷的收割邏輯。

到底怎么做到的？

一場優(yōu)雅的技術(shù)暴力

讓我們從頭捋一遍Lyra 2.0的核心邏輯。

輸入：一張圖片。輸出：一個(gè)持久的、可探索的3D世界。

聽起來像魔法，但NVIDIA的工程師們把這個(gè)過程拆解成了一條極其精密的流水線：

第一步：圖片變視頻。

Lyra 2.0以Wan 2.1-14B（一個(gè)140億參數(shù)的擴(kuò)散Transformer）作為視頻生成的底座。

給它一張圖片和一條攝像機(jī)軌跡，它就能生成一段「漫游視頻」——就像你拿著攝像機(jī)在場景里走了一圈。

分辨率832×480，標(biāo)準(zhǔn)流程需要35步去噪，蒸餾版本只需4步就能出結(jié)果。

第二步：視頻變3D。

生成的視頻幀被送入前饋3D重建模型，直接輸出3D高斯?jié)姙R（3D Gaussian Splatting）和表面網(wǎng)格。

不需要多視角真實(shí)數(shù)據(jù)，不需要漫長的優(yōu)化迭代——前饋一步到位，高斯點(diǎn)云直接可用。

第三步：3D可交互。

NVIDIA提供了一個(gè)交互式GUI，你可以在累積的點(diǎn)云中規(guī)劃攝像機(jī)路徑，重訪已經(jīng)探索過的區(qū)域，或者勇闖未知之地。

當(dāng)你移動(dòng)時(shí)，Lyra 2.0實(shí)時(shí)生成新的場景內(nèi)容。

最終的3D高斯?jié)姙R和網(wǎng)格模型可以直接導(dǎo)出到物理引擎——包括NVIDIA自家的Isaac Sim——用于機(jī)器人導(dǎo)航、物理仿真、具身AI訓(xùn)練。

一張照片到一個(gè)能跑機(jī)器人的仿真世界，就這么簡單。

但真正讓Lyra 2.0封神的，不是這條流水線本身——而是它解決了兩個(gè)讓所有前輩都頭疼到禿頂?shù)闹旅鼏栴}。

AI 3D世界的兩大噩夢

「空間遺忘」和「時(shí)間漂移」

想象你在用AI生成一個(gè)大型3D場景。

你從客廳出發(fā)，穿過走廊，走進(jìn)臥室，再回頭看客廳——完蛋了�？蛷d變了。

沙發(fā)換了位置，墻上的畫消失了，窗戶的形狀都不一樣了。

AI「忘記」了它之前生成的東西。這就是空間遺忘（Spatial Forgetting）。

為什么會(huì)這樣？因?yàn)楫?dāng)前的視頻模型是自回歸生成的，有一個(gè)有限的時(shí)間上下文窗口。

當(dāng)攝像機(jī)走遠(yuǎn)了，早期的幀就從上下文中掉了出去。等你回頭看，模型只能憑空「幻覺」出新的結(jié)構(gòu)，和原來的完全對(duì)不上。

還有一個(gè)更陰險(xiǎn)的問題：時(shí)間漂移（Temporal Drifting）。

每一幀的生成都會(huì)引入一點(diǎn)點(diǎn)微小的誤差——顏色偏一點(diǎn)，幾何歪一點(diǎn)。

一幀看不出來，十幀看不出來，但幾百幀累積下來，整個(gè)場景就像被放進(jìn)了哈哈鏡，面目全非。

這兩個(gè)問題是所有「長時(shí)程3D生成」方法的阿喀琉斯之踵。

之前的方法用3D幾何做條件約束，但生成瑕疵會(huì)污染3D幾何，3D幾何又反過來帶偏后續(xù)生成，惡性循環(huán)；用長上下文窗口硬扛，但攝像機(jī)一走遠(yuǎn)，錨定幀就失效了。

Lyra 2.0的解法，堪稱教科書級(jí)別的工程智慧：

對(duì)付空間遺忘：幾何只做「路由」，不做「渲染」。

Lyra 2.0維護(hù)了每一幀的3D幾何信息，但關(guān)鍵在于——

這些幾何信息只用來檢索相關(guān)的歷史幀并建立密集的空間對(duì)應(yīng)關(guān)系，而不是直接拿去渲染或做像素級(jí)條件約束。

換句話說，幾何負(fù)責(zé)「告訴模型應(yīng)該參考哪些老畫面，以及新畫面和老畫面在空間上怎么對(duì)應(yīng)」，而實(shí)際的像素合成還是交給擴(kuò)散模型的生成先驗(yàn)來完成。

這就像給模型裝了一個(gè)「空間記憶GPS」，它永遠(yuǎn)知道自己走過哪里、看過什么，但不會(huì)被歷史殘留的渲染錯(cuò)誤帶偏。

對(duì)付時(shí)間漂移：讓模型「吃自己的苦果」學(xué)會(huì)糾錯(cuò)。

NVIDIA提出了一種「自增強(qiáng)訓(xùn)練」策略。

在訓(xùn)練時(shí)，不總是給模型完美的真實(shí)幀作為歷史條件，而是故意用模型自己一步去噪后的（帶退化的）輸出來替代。

這樣在訓(xùn)練中，模型就已經(jīng)見識(shí)過了「自己犯的錯(cuò)」，學(xué)會(huì)了「看到漂移就糾正」而不是「看到漂移就繼續(xù)漂」。

這種以毒攻毒的策略，直接縮小了訓(xùn)練和推理之間的分布差距。

兩招組合拳打下來，Lyra 2.0實(shí)現(xiàn)了遠(yuǎn)超前輩的長時(shí)程3D一致性——場景可以無限延展、自由回訪，而且不會(huì)「轉(zhuǎn)身就忘」。

實(shí)測數(shù)據(jù)：全面碾壓

說得再好聽不如看數(shù)據(jù)。

在DL3DV和Tanks and Temples兩個(gè)經(jīng)典基準(zhǔn)上，Lyra 2.0的表現(xiàn)用「降維打擊」來形容毫不過分。

更關(guān)鍵的是和基線方法的對(duì)比。

Lyra 2.0的兩個(gè)變體——搭配DAv3重建模型和完整版——在LPIPS-G、FID和主觀質(zhì)量評(píng)分上全面超越所有基線方法。

和Lyra 1.0相比，2.0的進(jìn)化是質(zhì)的飛躍：

• 1.0的局限：2025年9月發(fā)布的Lyra 1.0已經(jīng)很強(qiáng)了——它首創(chuàng)了「視頻擴(kuò)散模型自蒸餾」的范式，用單張圖片生成3D高斯場景，發(fā)表在ICLR 2026上。但它只能處理短視頻、小范圍場景，做不了長時(shí)程探索。

• 2.0的突破：從「短視頻3D重建」躍升到「大規(guī)模持久世界生成」。抗遺忘、抗漂移兩大機(jī)制，讓它能處理包含大幅視角變化和位置重訪的長攝像機(jī)軌跡——這在1.0時(shí)代是不可能的任務(wù)。

• 底座升級(jí)：視頻生成底座從1.0的Cosmos換到了2.0的Wan 2.1-14B，視覺保真度和生成能力都上了一個(gè)臺(tái)階。重建模型也做了針對(duì)生成數(shù)據(jù)的微調(diào)，對(duì)AI生成內(nèi)容中常見的小型幾何不一致具有更強(qiáng)的魯棒性。

消融實(shí)驗(yàn)進(jìn)一步驗(yàn)證了每項(xiàng)技術(shù)的貢獻(xiàn)：

去掉抗遺忘機(jī)制，回訪區(qū)域出現(xiàn)嚴(yán)重幻覺；

去掉自增強(qiáng)訓(xùn)練，長軌跡上的漂移肉眼可見；

兩項(xiàng)聯(lián)合使用才能得到最佳結(jié)果。

高維視角

3D世界模型的「智能困境」

我們也需要冷靜地看到，無論是Lyra 2.0還是Genie 3，AI生成3D世界這件事目前都還面臨一個(gè)深層困境——前沿智能的天花板。

什么意思？

當(dāng)前的3D世界生成，本質(zhì)上是在「視覺保真度」這個(gè)維度上瘋狂內(nèi)卷。

場景越來越逼真，幾何越來越精確，一致性越來越好。

但這些生成出來的世界，本質(zhì)上還是「死」的——它們沒有物理規(guī)律的深層理解，沒有因果推理，沒有對(duì)「這個(gè)世界為什么是這樣」的認(rèn)知。

Genie 3號(hào)稱有「涌現(xiàn)物理」，但它的物理一致性只能維持幾分鐘，復(fù)雜場景下很快就會(huì)出現(xiàn)違反常識(shí)的行為。

Lyra 2.0生成的3D資產(chǎn)非常精美，但它本質(zhì)上是「記憶+補(bǔ)全」——用空間記憶防止遺忘，用自增強(qiáng)防止漂移，但并不真正「理解」場景的物理結(jié)構(gòu)。

真正的3D世界模型，應(yīng)該能夠：

• 理解因果關(guān)系：推倒一面墻，隔壁房間會(huì)暴露出來；

• 遵循物理定律：水往低處流，球會(huì)彈跳；

• 保持語義一致性：廚房里不會(huì)突然冒出一架鋼琴。

這需要的不僅僅是更大的模型、更多的訓(xùn)練數(shù)據(jù)，而是AI在世界建模能力上的根本性突破——從「統(tǒng)計(jì)模式匹配」走向「因果世界理解」。

目前來看，視頻擴(kuò)散模型作為3D世界生成的底座，已經(jīng)展現(xiàn)出了驚人的視覺想象力和局部3D一致性。

但要從「好看的3D場景」跨越到「真正可信的世界模擬」，還有一段很長的路要走。

這可能也是為什么NVIDIA選擇開源的原因之一——單打獨(dú)斗到不了那個(gè)未來，但全世界的開發(fā)者一起搞，也許可以。

最后，NVIDIA還展示了交互式GUI、Isaac Sim仿真導(dǎo)出、表面網(wǎng)格提取等一系列實(shí)用功能。

翻譯成人話就是：以后AI造世界，人不用去世界里采數(shù)據(jù)了。

AI不再只是畫畫、寫詩、編代碼的工具。它正在成為一個(gè)世界建造者。

而NVIDIA剛剛把造世界的鑰匙，交給了所有人。

參考資料：

https://research.nvidia.com/labs/sil/projects/lyra2/