世界模型終于來了！

今天凌晨，被稱為 “AI 教母” 的斯坦福教授李飛飛宣布，她的創(chuàng)業(yè)公司W(wǎng)orld Labs正式推出首款產(chǎn)品Marble。這是世界模型方向第一次以可用產(chǎn)品的形式出現(xiàn)在公眾面前。

Marble的核心能力可以概括為三點：

第一，多模態(tài)生成。它可以根據(jù)一張圖片、一段視頻，甚至一句文字提示，重建出結(jié)構(gòu)完整、細節(jié)豐富的 3D 世界。

第二，AI 原生的世界編輯能力。Marble 允許用戶像調(diào)整真實場景一樣對世界進行局部替換、材質(zhì)變化、光照調(diào)整或布局重構(gòu)。

第三，真正可落地的制作流程。Marble支持將生成的世界導出為高斯濺射、三角網(wǎng)格或視頻格式，可直接進入Unreal、Unity、Blender 等常見創(chuàng)作工具，融入游戲、影視等行業(yè)的工作流。

李飛飛認為，Marble的意義遠不止“讓3D創(chuàng)作更方便”。正如其在《從語言到世界：空間智能是AI的下一個前沿》長文里所說，Marble只是其創(chuàng)造一個真正具有空間智能的世界模型的第一步。

從這個視角看，Marble 不只是第一次以“可用產(chǎn)品”的形式把世界模型帶到公眾面前，更象征著空間智能時代的正式開場：

從最開始給創(chuàng)作者做3D世界的工具，到未來有可能幫助機器人理解現(xiàn)實環(huán)境，再到在科學研究里用來做虛擬實驗、提前預測結(jié)果。

更重要的是，它讓外界第一次清晰地感受到：

AI 有可能從理解圖像和語言，邁向理解并操控一個由結(jié)構(gòu)、物理與動態(tài)規(guī)律構(gòu)成的完整世界。

目前，Marble 已經(jīng)正式開放使用，地址如下：https://marble.worldlabs.ai/

一句話、一張圖，就能造出一個世界了

Marble 最讓人感到“魔法”的地方，其實就一句話：

不管你給它什么，一句話、一張圖、幾段視頻、甚至幾個立方體搭出的草稿，它都能變成一個完整的3D世界。

這聽起來像夸張宣傳，但我們不妨從最簡單的輸入方式開始看起。

先來看文本生成。假設(shè)你給 Marble 這樣一句提示詞：

“一個融合了世紀中期餐廳美學和軌道技術(shù)的開放式廚房，以方格地板和不銹鋼配件為特色，并配以柔和的淺藍色燈光�！�

看似冗長，但Marble會自動提取關(guān)鍵元素，方格地板、不銹鋼、淺藍燈光、開放式廚房，然后在幾秒鐘內(nèi)生成一個“你能走進去”的三維空間。

就像下面這樣：

除了文本外，Marble還支持更復雜的創(chuàng)作方式：

單圖生成：給一張照片，它能生成一個可漫游的3D 世界；

比如給Marble一張照片，它能根據(jù)照片的透視關(guān)系、光線方向和物體擺放方式，把場景自動補齊成一個可漫游的3D世界。

結(jié)果大概是這樣：

更進一步，如果你提供多視角圖片或者視頻，它也能捕捉關(guān)鍵元素，還原出一個更完整、更準確的三維空間。

▲第一張為正面，第二張為側(cè)面

例如，你可以給 Marble 兩張照片：一張拍正面、一張拍側(cè)面。系統(tǒng)會把兩張圖的信息拼在一起，還原成一個更加完整、立體的空間，效果如下所示：

除了文字、圖片和視頻外，對于更專業(yè)的創(chuàng)作者，Marble還提供了 Chisel 工具。

這是Marble面向進階創(chuàng)作者推出的一種實驗性編輯方式。在使用 Chisel 時，創(chuàng)作者可以先在三維空間中搭一個非常粗略的框架。

這個框架可以簡單到只由幾個盒子、平面或墻體組成，也可以復雜到包含多個房間、走廊甚至多層結(jié)構(gòu)。此外，用戶也能導入已有的 3D 資源，把它們當作世界的一部分嵌入到場景里。

當這樣的“骨架”搭好之后，AI 會進入第二個階段。創(chuàng)作者只需要用一句話描述希望呈現(xiàn)的風格，無論是現(xiàn)代藝術(shù)博物館、北歐風民宿，還是科幻實驗艙，系統(tǒng)就會在已有結(jié)構(gòu)的基礎(chǔ)上補全材質(zhì)、燈光和細節(jié)，讓整個世界呈現(xiàn)出統(tǒng)一的視覺語言。

例如，基于3D幾何的原圖，再配上這段文字提示：一座美麗的現(xiàn)代藝術(shù)博物館，鋪著木地板，里面擺滿了色彩繽紛的繪畫和曲線優(yōu)美的雕塑，會得到如下效果：

這種方式的關(guān)鍵在于，它將空間邏輯與視覺風格明確區(qū)分開來。粗略的三維布局決定了場景的基本結(jié)構(gòu)，而文本提示負責控制最終呈現(xiàn)的風格與氛圍。兩者之間可以自由組合，因而同一個框架可以衍生出完全不同的世界。

Marble的真正顛覆，一個可以持續(xù)進化的世界

生成只是起點。Marble的另一項重要突破，是把“世界編輯”變成了 AI 的原生能力。

它允許用戶像處理真實場景一樣對生成的三維世界進行調(diào)整：刪除一個物體、替換材質(zhì)、改變光線、擴展某個區(qū)域，甚至重構(gòu)整個空間布局。

以下是Marble的演示案例：

▲修改：將地板更換為深色紅木人字形地板

這種“可編輯性”讓三維生成第一次擺脫了“一次出圖”的限制，轉(zhuǎn)而變成一個持續(xù)打磨的創(chuàng)作過程，更接近真實的三維制作工作流。

不僅如此，Marble 還為世界的“擴展”提供了新的方法。

在傳統(tǒng) 3D 創(chuàng)作中，場景越大，表達力越強，但擴展場景往往意味著更高的成本。在這一點上，Marble 給了創(chuàng)作者極大的自由度。

當初始世界生成后，用戶可以對其中的任意區(qū)域進行擴展。只需要選定一塊區(qū)域，系統(tǒng)便會根據(jù)已有的場景邏輯推演出新的環(huán)境，將原本模糊或未展開的部分補全。

例如，一個房間的邊角可能在第一版生成中不夠細致，或者家具背面的信息沒有完全呈現(xiàn)，通過擴展，這些薄弱之處就能補足，變得更加統(tǒng)一和完整。

更大的區(qū)域則可以被延展成庭院、街道，甚至是整片景觀，讓最初的小場景自然發(fā)展成一個具有沉浸感的空間。

以下是Marble的演示案例：

除了向單個世界內(nèi)部延伸外，Marble 還提供了一種構(gòu)建大型場景的另一種方式：通過“組合模式”，將多個獨立生成的世界組合在一起。

這個“組合模式”允許創(chuàng)作者像拼接地圖一樣安排不同世界之間的關(guān)系，無論是并列、連接還是嵌套，都可以根據(jù)需要自由布局。

這意味著，用戶可以先生成若干風格各異的空間，再通過組合構(gòu)成一個規(guī)模龐大、層次豐富的虛擬環(huán)境。

這兩種方式使Marble不再是一個一次性生成場景的工具，而更像是一個可以持續(xù)擴展的世界構(gòu)建平臺。

生成即素材，AI世界能被用到游戲、影視了

在世界生成之后，如何將其帶入真實的制作流程，是三維創(chuàng)作工具能否真正發(fā)揮價值的關(guān)鍵。

Marble 在這一點上做得相當充分，它允許用戶將場景導出為多種格式，以便在后續(xù)的游戲開發(fā)、影視制作、建筑可視化或機器人模擬中繼續(xù)使用。

其中一種導出方式是高斯粒子渲染。高斯粒子可以理解為一種“由無數(shù)微小點組成的三維畫面”。Marble 在生成世界時，會把場景拆成成千上萬個帶有顏色、透明度和深度信息的小粒子，再把它們疊加在一起，形成逼真的三維圖像。

這種方式特別適合表現(xiàn)柔和的光影、復雜的材質(zhì)和細膩的空間層次，因此被用于展示 Marble 世界的最高精度效果。

為了讓這些粒子世界能夠直接在網(wǎng)頁里查看，Marble 還推出了一個叫Spark的開源渲染器。它基于常見的 THREE.js（一個幫助用戶在網(wǎng)頁里顯示3D內(nèi)容的工具庫），可以讓用戶直接在瀏覽器中加載和展示這些高斯粒子世界。

如果你需要的是更傳統(tǒng)的三維資產(chǎn)，Marble 也支持將世界導出成“三角網(wǎng)格”。這是游戲、影視和設(shè)計行業(yè)的通用格式，幾乎所有專業(yè)軟件都能直接打開。

Marble 提供了兩種不同精度的網(wǎng)格：

一種是“碰撞網(wǎng)格”，結(jié)構(gòu)比較粗糙，用于物理模擬，例如角色碰撞檢測、機器人路徑規(guī)劃等。

另一種是“高質(zhì)量網(wǎng)格”，盡可能保留原始世界的細節(jié)和光影，適合正式用于游戲關(guān)卡、動畫鏡頭或建筑展示。

導出成網(wǎng)格后，這些場景可以無縫進入 Blender、Maya、Unity、Unreal 等主流制作工具，完全融入現(xiàn)有的創(chuàng)作管線，不需要額外轉(zhuǎn)換。這意味著，Marble生成的素材，有機會被直接用到游戲、影視等行業(yè)的工作流中。

當然，如果你的目標只是展示，Marble 也支持把整個世界直接渲染成視頻。官方示例視頻幾乎都是用 Marble 直接生成的。

此外，Marble還支持對導出的視頻進行增強處理。它會自動補上更細膩的細節(jié)，消除畫面中不自然的地方，甚至加入一些動態(tài)效果，比如火焰的跳動、煙霧的飄散或水流的波動。整個增強過程仍然基于原始三維結(jié)構(gòu)，所以鏡頭、光影和透視都能保持一致。

通過這些導出方式，Marble 不再只是一個“能生成世界的 AI”，而是真正能融入各種行業(yè)工作流的三維創(chuàng)作平臺。

/ 04 /

當AI開始“生成世界”，到底意味著什么？

在看到 Marble 的這些能力后，一個問題幾乎會自然而然冒出來：

當 AI 真的開始“生成世界”了，這意味著什么？

其實，在 Marble 發(fā)布前，李飛飛就發(fā)了一篇名為《從語言到世界：空間智能是 AI 的下一個前沿》的長文，幾乎像是對Marble這類世界模型的理論鋪墊。

文章討論了一個更底層的問題：空間智能與世界模型之間的關(guān)系，以及為什么它們會成為下一代 AI 的關(guān)鍵。

李飛飛認為，空間智能決定了人類如何與物理世界互動，是幾乎所有認知能力的腳手架。從紡紗機的改進，到發(fā)現(xiàn)DNA雙螺旋，文明的突破多來自對“空間問題”的理解，而這些問題無法單靠語言描述解決。

因此，如果AI想真正理解世界、進入現(xiàn)實場景、與物理環(huán)境交互，就必須擁有這種“面向空間的智能”，而這又離不開更基礎(chǔ)的能力：世界模型。

在李飛飛看來，一個成熟的世界模型至少要具備三種核心能力：

第一，生成性。它能創(chuàng)造結(jié)構(gòu)完整、物理合理的三維世界，不是生成一張圖，而是一個能“運行”的世界，并且不同輸入方式（文字、圖像、結(jié)構(gòu)）都能生成連續(xù)、連貫的場景。

第二，多模態(tài)性。它能從各種感官輸入中推斷世界狀態(tài)——圖片、視頻、文本、動作甚至手勢——這讓人類和智能體都能在同一個世界里交流。

第三，交互性。當你向前走一步、推開門或移動一個物體，世界模型必須能預測世界的下一幀，并保持內(nèi)部邏輯一致。

要實現(xiàn)這些能力，世界模型要跨越的技術(shù)門檻遠比語言模型高：

缺少像“預測下一個詞”那樣統(tǒng)一的訓練任務。世界模型的輸入遠比文本復雜。

需要巨量且高度復雜的數(shù)據(jù)，不僅是視頻，還包括深度、光照、材質(zhì)、物理行為等信息。

需要全新的模型架構(gòu)來表示 3D/4D 空間，而不是像 LLM 一樣把所有信息“扁平化”。

Marble的發(fā)布，是世界模型的第一次“產(chǎn)品化亮相”，其根據(jù)多模態(tài)輸入生成一致3D環(huán)境的能力，也只是世界模型的基礎(chǔ)能力之一。

未來，當這類模型真正掌握“看、想、動”的完整鏈條時，機器人將成為最直接的應用方向，而更深層的科學應用，如自動化實驗、材料設(shè)計、仿真研究，可能需要更長時間才能成熟。

但Marble的出現(xiàn)說明，這條道路已經(jīng)開始變得清晰：

從語言智能，走向空間智能；從文本世界，走向三維世界。

文/林白

PS：如果你對AI大模型領(lǐng)域有獨特的看法，歡迎掃碼加入我們的大模型交流群。