“轉(zhuǎn)身，世界依然在那里?！?/p>

這聽起來很哲學(xué)。

但它成了AI科學(xué)家，送給我們不可思議的禮物。

就在前幾天，AI教母李飛飛教授的創(chuàng)業(yè)公司W(wǎng)orld Labs，完成名為RTFM（實(shí)時(shí)幀模型）的生成式世界模型。

它的核心魔力卻非常簡單。

給它一張靜態(tài)圖片，它能瞬間構(gòu)筑一個(gè)完整的3D世界。

而你，還可以在這個(gè)世界里自由漫步。

當(dāng)你轉(zhuǎn)身離開，這個(gè)世界不會(huì)消失，它靜靜地、永恒地等待你的歸來。

這一切，只需要一張H100 GPU來驅(qū)動(dòng)。

過去，我們對(duì)元宇宙的所有想象，或許都錯(cuò)在了起點(diǎn)。

數(shù)字世界，不是用代碼一磚一瓦堆砌的，而應(yīng)該像這樣“生長”出來。

“創(chuàng)世”體驗(yàn)

想象一下這個(gè)場景。

你手機(jī)里存著一張老家的書房照片，書桌、書架、窗外的樹影，都定格在那一瞬。

現(xiàn)在，你把這張照片喂給RTFM。

下一秒，你不再是一個(gè)旁觀者，你“走”進(jìn)了這個(gè)書房。

你可以向前走，湊近書桌，看清上面攤開的書本字跡。

你可以向左轉(zhuǎn)，端詳書架上的每一本書的書脊。

你甚至可以抬頭，看到天花板上的吊燈，以及它投下的柔和光影。

這不是簡單的“360度全景圖”，而是真正的三維空間。

你可以進(jìn)行“推拉變焦”，感受鏡頭的真實(shí)感。

你甚至能模擬出魚眼鏡頭的夸張失真效果，就像真的攝像機(jī)在拍攝。

關(guān)鍵在于，這個(gè)世界是“活”的。

它遵循物理規(guī)則，光滑的地板會(huì)映出倒影，陽光會(huì)投下動(dòng)態(tài)的陰影。

鏡頭劃過，光源會(huì)產(chǎn)生逼真的光暈。

所有這些復(fù)雜的效果，都不是程序員預(yù)設(shè)的。

而是RTFM通過觀察海量視頻數(shù)據(jù)后，自己“學(xué)會(huì)”的。

有網(wǎng)友體驗(yàn)后驚嘆道：“或許我們身處的世界，也是運(yùn)行在‘單張’H100 GPU上的?！?/p>

這雖是玩笑，卻達(dá)出了那種震撼。

我們第一次擁有了在微觀尺度上模仿“造物”的能力。

RTFM的選擇充滿智慧

創(chuàng)造世界，其實(shí)是吞噬算力的無底洞。

事實(shí)也的確如此。

李飛飛團(tuán)隊(duì)在博客中算了一筆賬，這筆賬讓人倒吸一口涼氣。

如果直接用現(xiàn)有AI視頻技術(shù)，生成60幀的4K交互視頻流。

每秒需要生成超過10萬個(gè)token（文本單元）。

這是什么概念？

相當(dāng)于每秒就要“寫”出一本《哈利·波特與魔法石》的文本量！

而要維持一小時(shí)以上的持續(xù)交互，需要處理的上下文將超過1億token。

用現(xiàn)在的技術(shù)硬剛，既不可行，也絕不經(jīng)濟(jì)。

就像在蒸汽機(jī)時(shí)代，非要造一架航天飛機(jī)，材料和技術(shù)都支撐不起這個(gè)藍(lán)圖。

但李飛飛和她的World Labs，走了一條更聰明、更智慧的路。

他們洞察到一個(gè)趨勢，在AI領(lǐng)域，能隨著計(jì)算能力提升而平滑擴(kuò)展的簡單方法，往往會(huì)成為主流。

換句話說，他們不追求在今天就造出“完全體”的終極模型。

而是設(shè)計(jì)一個(gè)能優(yōu)雅地“騎”在摩爾定律肩膀上的模型。

他們的目標(biāo)非常務(wù)實(shí)。

單張H100 GPU上，實(shí)現(xiàn)交互級(jí)的幀率和無限持久的世界。

它讓高高在上的“世界模型”技術(shù)，在今天就能被觸摸、被體驗(yàn)。

它不是一個(gè)實(shí)驗(yàn)室里的龐然大物，而是一個(gè)已經(jīng)可以預(yù)覽的未來。

三大原則鑄就“永不消逝”

RTFM究竟是如何實(shí)現(xiàn)的呢？

它的設(shè)計(jì)圍繞三個(gè)核心原則，這三大原則也是它成功的基石。

第一，效率。

這是硬指標(biāo)，也是一切的起點(diǎn)。

單張H100就能跑，意味著極高的可部署性，它讓實(shí)時(shí)交互成為可能。

第二，可擴(kuò)展性。

這是RTFM最聰明的地方。

它徹底拋棄了傳統(tǒng)3D圖形學(xué)那套復(fù)雜，人工設(shè)計(jì)的“顯式3D表征”。

比如三角網(wǎng)格、高斯?jié)姙R。

相反，它采用了一種“端到端”的神經(jīng)網(wǎng)絡(luò)。

直接從視頻數(shù)據(jù)里，學(xué)習(xí)世界的規(guī)律。

你可以把它理解成一個(gè)天生的“學(xué)習(xí)者”。

我們教孩子什么是貓，給他看無數(shù)張貓的圖片。

而不是給他講解貓的骨骼肌肉結(jié)構(gòu)。

RTFM也是如此，它通過“觀看”海量視頻，自己總結(jié)出了光影、透視、材質(zhì)的規(guī)律。

這意味著，給它更多、更好的數(shù)據(jù)，它的世界就會(huì)變得更逼真、更豐富。

第三，持久性。

這是最迷人的一點(diǎn)，也是“永不消逝”這個(gè)詞的由來。

早期的類似模型有個(gè)致命問題。

你探索過的地方，生成的畫面，如果你轉(zhuǎn)身離開再回來，系統(tǒng)可能需要重新生成，而且很可能生成得不一樣。

RTFM用了一個(gè)巧妙的辦法，來解決這個(gè)問題。

“位姿幀”， 它為生成的每一幀畫面，打上一個(gè)三維空間的坐標(biāo)和朝向標(biāo)簽。

所有這些帶位姿的幀，就構(gòu)成了一個(gè)世界的“空間記憶系統(tǒng)”。

當(dāng)你需要從一個(gè)新角度生成畫面時(shí)，RTFM不會(huì)傻傻地去回憶全部的歷史。

而是像我們?nèi)祟愐粯?，只“檢索”你身邊最近的、最相關(guān)的畫面作為參考。

這個(gè)過程叫“上下文調(diào)度”。

正是這個(gè)機(jī)制，保證了這個(gè)世界擁有“永久記憶”。

你留下的每一個(gè)腳印，看過的每一處風(fēng)景，都被妥善地安放在時(shí)空的某個(gè)坐標(biāo)上，等待你的再次探訪。

AI學(xué)會(huì)了“腦補(bǔ)”真實(shí)

RTFM的突破，還在于它模糊了一個(gè)傳統(tǒng)界限，重建與生成。

過去，在計(jì)算機(jī)視覺里，“重建”是在已有視角間插值，填補(bǔ)空白，這相對(duì)精確。

然而“生成”卻是無中生有，創(chuàng)造從未見過的內(nèi)容，但也更容易“胡編亂造”。

RTFM把這兩者融為了一體。

當(dāng)輸入的信息很充分，它就傾向于精確地“重建”，忠實(shí)還原。

當(dāng)輸入的信息很稀疏，它就會(huì)被“逼”著去進(jìn)行合理的推測和“生成”。

像一個(gè)充滿想象力的畫家，幫你把畫面補(bǔ)充完整。

它是更快的渲染器，更是“學(xué)習(xí)型的渲染器”。

反射、陰影這些讓圖形學(xué)程序員頭疼不已的效果，RTFM不需任何人工指導(dǎo)。

僅通過觀察學(xué)習(xí)，就能自主掌握。

它學(xué)會(huì)的，是世界的底層語法。

當(dāng)人們理解了RTFM的技術(shù)內(nèi)涵，再回頭看它的創(chuàng)造者。

李飛飛教授的World Labs，其宏大的野心就清晰可見。

這家公司在今年4月成立，短短幾個(gè)月內(nèi)就融資約2.3億美元。

估值突破10億美元，吸引了a16z、英偉達(dá)、AMD等頂級(jí)資本。

李飛飛一直強(qiáng)調(diào)，AI領(lǐng)域真正難的問題是“空間智能”。

RTFM和它前身的模型Marble，正是攻克這一難題的利劍。

短期內(nèi)，這項(xiàng)技術(shù)將顛覆內(nèi)容創(chuàng)作行業(yè)。

游戲和電影的制作方式將被徹底改變。

如今，設(shè)計(jì)師提供一個(gè)概念圖，一個(gè)完整的、可探索的虛擬場景就生成了。

這能節(jié)省的成本和時(shí)間是天文數(shù)字。

在游戲和電影之外，World Labs的規(guī)劃非常明確。

構(gòu)建理解空間、物理的模型；賦能增強(qiáng)現(xiàn)實(shí)（AR）和機(jī)器人技術(shù)。

AR是一個(gè)能理解真實(shí)世界三維幾何，并能持久記憶的AI。

是數(shù)字信息穩(wěn)定、逼真地融入現(xiàn)實(shí)的基礎(chǔ)。

機(jī)器人需要在模擬世界中進(jìn)行海量訓(xùn)練。

一個(gè)能夠自動(dòng)生成無限逼真、可交互訓(xùn)練環(huán)境的“世界模型”，是機(jī)器人普及的關(guān)鍵加速器。

RTFM的發(fā)布，像一個(gè)信號(hào)。

數(shù)字世界的基石，已經(jīng)開始鋪設(shè)。

它或許還不夠完美，但已經(jīng)在我們腳下展開。

在數(shù)字空間中，RTF創(chuàng)造一個(gè)永不消逝、遵守物理法則。

并能與我們實(shí)時(shí)交互的世界。

素材來源

1.《智東西》李飛飛造了個(gè)「永不消逝的世界」！單張GPU就能跑

2.《第一財(cái)經(jīng)》“AI教母”李飛飛發(fā)布實(shí)時(shí)生成式世界模型！一張H100就能運(yùn)行

3.《澎湃新聞》李飛飛發(fā)布全新世界模型，可在單張H100GPU上流暢運(yùn)行

本文作者 | 檸檬雪
責(zé)任編輯 | 淡淡翠
策劃 | 淡淡翠