還記得電影《頭號(hào)玩家》里的“綠洲”嗎？主角韋德·沃茲戴上VR設(shè)備就能在虛擬游戲宇宙里享受科幻級(jí)的沉浸式體驗(yàn)。如果想要?jiǎng)?chuàng)建這樣一個(gè)能持久探索的虛擬世界，不僅需要百人團(tuán)隊(duì)手工建模，還得投入百萬(wàn)算力，達(dá)到實(shí)時(shí)交互更是難上加難，但如今的空間智能技術(shù)，正把這種有記憶的虛擬空間從銀幕搬進(jìn)現(xiàn)實(shí)。

電影《頭號(hào)玩家》劇照

近日，被譽(yù)為“AI教母”的華人科學(xué)家、斯坦福大學(xué)教授李飛飛的創(chuàng)業(yè)公司W(wǎng)orld Labs推出一款生成式世界模型RTFM（Real-Time Frame Model），該模型支持單圖像生成3D場(chǎng)景并能與用戶交互實(shí)時(shí)生成視頻，最關(guān)鍵的亮點(diǎn)是它可以在單個(gè)H100 GPU上運(yùn)行，通俗理解就是“用一張顯卡運(yùn)行一個(gè)世界”。

01

《頭號(hào)玩家》照進(jìn)現(xiàn)實(shí)

對(duì)比傳統(tǒng)3D建模，RTFM像是一個(gè)能記住整個(gè)世界的大腦，根據(jù)輸入的素材就可以直接“想象”出一個(gè)永久存在的3D空間，并且能實(shí)時(shí)生成任何角度的畫面。

李飛飛轉(zhuǎn)發(fā)World Labs官方推文

其亮點(diǎn)在于持久化建模能力，傳統(tǒng)AI生成的畫面一旦視角切換就會(huì)重置，但RTFM規(guī)避了這一弊端，為模型施加了“空間記憶”，即為每個(gè)生成的畫面賦予三維坐標(biāo)和方向，即使鏡頭轉(zhuǎn)向別處，模型也能通過這些坐標(biāo)記住物體的位置。當(dāng)你需要探索新區(qū)域時(shí)，系統(tǒng)也不會(huì)將整個(gè)世界的所有細(xì)節(jié)都重新計(jì)算一遍，而是只調(diào)取附近區(qū)域的畫面作為參考，既節(jié)省算力又保證了場(chǎng)景的一致性。

與此同時(shí)，模型還會(huì)確保時(shí)間連續(xù)性，生成的3D虛擬世界就像現(xiàn)實(shí)世界一樣，離開后再回來，不僅景觀、物品等場(chǎng)景元素仍在原地，光影變化也符合時(shí)間流逝的規(guī)律，能精準(zhǔn)呈現(xiàn)反射、陰影等復(fù)雜視覺效果。

總結(jié)一點(diǎn)就是系統(tǒng)的自適應(yīng)能力變強(qiáng)了，而這源于模型對(duì)動(dòng)態(tài)環(huán)境的理解，也就是AI借助海量視頻對(duì)空間規(guī)律的學(xué)習(xí)。例如通過觀察人類走路的視頻，去理解“地面是平的”“物體之間存在遮擋關(guān)系”“行進(jìn)時(shí)需要繞開阻礙物”等常識(shí)。

這樣就告別了傳統(tǒng)的手工建模，從“先造3D世界，再拍2D照片”轉(zhuǎn)變?yōu)椤跋瓤?D照片，再猜3D世界”，讓模型得以舉一反三來存儲(chǔ)整個(gè)世界的信息，需要拓展畫面時(shí)，在原本基礎(chǔ)上通過“回憶”補(bǔ)充新的視角就能滿足建模需求。也就是說當(dāng)輸入的視頻和照片素材足夠多，模型就能精準(zhǔn)還原真實(shí)場(chǎng)景，即使輸入信息不足，它也可以基于已有建模根據(jù)空間規(guī)律“腦補(bǔ)”出合理的畫面。

RTFM另一個(gè)亮點(diǎn)在于算力革命，堪稱重新定義了實(shí)時(shí)3D的門檻。

眾所周知，視頻生成所面臨的算力壓力相當(dāng)重，這一點(diǎn)可從目前AI視頻生成有限的時(shí)長(zhǎng)和遲緩的響應(yīng)速度中體現(xiàn)，而生成式世界模型的算力需求，遠(yuǎn)比普通實(shí)時(shí)視頻生成更苛刻。若沿用現(xiàn)有視頻架構(gòu)，其支撐場(chǎng)景連續(xù)性的核心——上下文token處理量，會(huì)直接飆升至上億級(jí)別。這不僅意味著單塊消費(fèi)級(jí)GPU完全無法承載，即便動(dòng)用專業(yè)算力集群，也需持續(xù)調(diào)用大量硬件資源才能勉強(qiáng)運(yùn)行。

拋開硬件采購(gòu)、電力消耗等成本不談，單是當(dāng)前算力基礎(chǔ)設(shè)施的響應(yīng)效率其實(shí)就難以達(dá)標(biāo)。上億token的實(shí)時(shí)計(jì)算耗時(shí)，遠(yuǎn)超虛擬世界實(shí)時(shí)交互所需的毫秒級(jí)延遲要求，最終會(huì)導(dǎo)致場(chǎng)景卡頓、視角切換時(shí)物體“消失”，根本無法實(shí)現(xiàn)持久化探索的需求。

想要同時(shí)支撐場(chǎng)景記憶、實(shí)時(shí)渲染、細(xì)節(jié)還原三重需求，還得保證響應(yīng)速度，兼顧對(duì)投入成本的控制，絕非易事。正因如此，實(shí)現(xiàn)在單塊H100 GPU上生成3D世界的革新意義才尤為重大。

02

空間智能潛力開掘

如果這種空間智能技術(shù)得以普及，會(huì)對(duì)哪些行業(yè)帶來影響？

首要的是內(nèi)容生成領(lǐng)域爆發(fā)的生產(chǎn)力革命，例如，傳統(tǒng)游戲開發(fā)需要長(zhǎng)達(dá)數(shù)月的時(shí)間和高昂的投入成本來構(gòu)建場(chǎng)景，在RTFM中只需開發(fā)者上傳草圖即可實(shí)時(shí)生成3D開放世界，游戲創(chuàng)作的門檻進(jìn)一步降低，中小團(tuán)隊(duì)甚至個(gè)人開發(fā)者也能參與優(yōu)質(zhì)內(nèi)容制作。

影視與廣告方面同樣如此，導(dǎo)演可通過RTFM快速搭建虛擬片場(chǎng)，實(shí)時(shí)調(diào)整鏡頭角度和場(chǎng)景細(xì)節(jié)，替代傳統(tǒng)綠幕和后期合成，節(jié)省制作成本。品牌商也可利用該技術(shù)創(chuàng)建沉浸式虛擬展廳，讓用戶體驗(yàn)產(chǎn)品的360度交互。

建筑設(shè)計(jì)方面的方案調(diào)整也會(huì)便利得多，從CAD平面圖直接轉(zhuǎn)化為3D模型，既節(jié)省制作成本，又能大幅壓縮設(shè)計(jì)周期。

自動(dòng)駕駛、無人機(jī)訓(xùn)練、機(jī)器人訓(xùn)練、數(shù)字孿生工廠等需要高精度環(huán)境模擬的智能體學(xué)習(xí)場(chǎng)景也會(huì)獲益，因?yàn)檫@意味著模型能通過單目攝像頭實(shí)時(shí)重建周邊環(huán)境的三維結(jié)構(gòu)，預(yù)測(cè)被遮擋行人的位置、飛行路徑上的障礙物、抓取工件時(shí)的姿態(tài)偏差、車間裝配過程中的空間干涉等，從而優(yōu)化感知魯棒性（系統(tǒng)在面對(duì)環(huán)境變化和干擾時(shí)，能夠維持其核心功能和結(jié)構(gòu)的能力）。

數(shù)字孿生工廠的環(huán)境模擬

空間智能的發(fā)展很大程度上影響著具身智能系統(tǒng)的水平，因?yàn)闃I(yè)界堅(jiān)持具身設(shè)計(jì)，就是為了完全模擬人類的生活，以便機(jī)器在真實(shí)世界里的場(chǎng)景中發(fā)揮作用，甚至實(shí)現(xiàn)替代，那么“理解空間”就是繞不開的能力挑戰(zhàn)。

正如李飛飛在演講中所言：“僅僅看是不夠的，看，是為了行動(dòng)和學(xué)習(xí)?！?/p>

從“看得到”到“看得懂”，再到“能行動(dòng)”，作為具身智能的關(guān)鍵拼圖，空間智能的核心價(jià)值在于打通數(shù)字世界與物理世界的壁壘。當(dāng)AI能像人類一樣理解空間規(guī)律，它便不再是孤立的算法，而是真正融入生產(chǎn)、生活的協(xié)作伙伴，推動(dòng)智能體走出實(shí)驗(yàn)室加快落地。

微信訂閱

歡迎郵局訂閱2026年《電腦報(bào)》

訂閱代號(hào)：77-19

全年訂價(jià)：400.00元 零售單價(jià)：8元

郵局服務(wù)熱線：11185

編輯｜張毅

主編｜黎坤

總編輯｜吳新

爆料聯(lián)系：cpcfan1874（微信）

壹零社：用圖文、視頻記錄科技互聯(lián)網(wǎng)新鮮事、電商生活、云計(jì)算、ICT領(lǐng)域、消費(fèi)電子，商業(yè)故事。《中國(guó)知網(wǎng)》每周全文收錄；中國(guó)科技報(bào)刊100強(qiáng)；2021年微博百萬(wàn)粉絲俱樂部成員；2022年抖音優(yōu)質(zhì)科技內(nèi)容創(chuàng)作者