剛剛，李飛飛的創(chuàng)業(yè)公司 World Labs 正式宣布，他們的世界模型 Marble 正式向所有人開(kāi)放使用。

兩天前，李飛飛發(fā)布了，闡釋自己對(duì)世界模型和空間智能的看法。果然，她的正式"作品"緊接著就公開(kāi)上線了。

*Marble介紹視頻

一句話總結(jié)，Marble 是 World Labs 的第一款產(chǎn)品，基于多模態(tài)世界模型打造。

這個(gè)模型現(xiàn)在允許任何人通過(guò)圖片/文字/視頻/3D素材，創(chuàng)建高保真、持久的3D世界，讓每個(gè)人腦海中的個(gè)性化場(chǎng)景精準(zhǔn)地呈現(xiàn)在現(xiàn)實(shí)中。

世界模型被期待為下一個(gè) AI 重大突破的機(jī)遇，也是近期全球科技圈的焦點(diǎn)。李飛飛發(fā)布 Marble 自然引起各路大佬圍觀，YC、a16z 的合伙人都第一時(shí)間轉(zhuǎn)發(fā)or體驗(yàn)。

*YC的Garry Tan稱李飛飛的這次發(fā)布非常重要

*a16z 的 Justine Moore 試用完稱非常有趣

與 Marble 模型開(kāi)放使用的消息一起公開(kāi)的，還有 World Labs 的一篇產(chǎn)品解讀長(zhǎng)文。這篇文章里，團(tuán)隊(duì)不僅介紹了 Marble 的特點(diǎn)，還花式展示了不少效果案例和使用Tips。

我們第一時(shí)間對(duì)它進(jìn)行評(píng)測(cè)（附在文末），并根據(jù)官方介紹整理出 Marble 的功能亮點(diǎn)：

全面多模態(tài)化

這是 Marble 最本質(zhì)的特點(diǎn)。它已實(shí)現(xiàn)大規(guī)模多模態(tài)融合，可以根據(jù)文本、圖像、視頻或粗略的 3D 素材生成三維世界。

*圖片提示案例

*文本提示案例

多圖像提示

在使用中，用戶輸入多個(gè)圖像的提示，往往能以更高的精度創(chuàng)建 3D 世界。

原因在于，僅僅輸入文本或單圖像作為提示詞時(shí)，Marble 必須自行創(chuàng)造提示詞中未提供的世界部分。而如果使用多圖像，模型就可以根據(jù)這些圖像生成"世界"從不同角度看起來(lái)的樣子。

官方認(rèn)為，這個(gè)功能事實(shí)上帶來(lái)了一個(gè)全新的世界生成工作流：用戶可以使用自己喜歡的圖像生成工具，生成并輸入?yún)⒖紙D，而 Marble 會(huì)將這些圖生成為完整的 3D 世界，同時(shí)還能在各個(gè)輸入圖之間無(wú)縫過(guò)渡。

多圖像提示還可以用來(lái)創(chuàng)建受現(xiàn)實(shí)世界空間啟發(fā)的"世界"。

Marble 可以輸入幾張從不同角度拍攝的現(xiàn)實(shí)場(chǎng)景照片，或一段短視頻，并將它們組合生成一個(gè)基于現(xiàn)實(shí)空間的世界。

編輯功能，讓生成更符合心意

對(duì)許多人而言，創(chuàng)作是一個(gè)需要迭代的過(guò)程，所以 Marble 還內(nèi)置了原生 AI 世界編輯工具，方便用戶調(diào)整。

用戶可以通過(guò)它做微調(diào)，例如刪除一個(gè)物體，或修飾某個(gè)區(qū)域；也能用它做更大幅度的改動(dòng)，例如替換物體、改變視覺(jué)風(fēng)格，或重新構(gòu)建世界中的大片區(qū)域。

*編輯案例

*編輯案例

*編輯案例

Marble 的多模態(tài)輸入與編輯功能，為生成的三維世界提供了高度控制能力。

但有時(shí)若要讓世界完全符合用戶腦海中的構(gòu)想，還需對(duì)場(chǎng)景布局、物體尺寸與位置等方面進(jìn)行更精細(xì)的控制。針對(duì)這種需求，他們推出了 Chisel ——一款能夠在 3D 空間中直接編輯 Marble 世界的原生 AI 工具。

*Chisel 編輯效果

*Chisel 編輯效果

*Chisel 編輯效果

*3D 編輯效果

構(gòu)建更大世界

World Labs認(rèn)為，有時(shí)候更大的確意味著更好。因?yàn)楦鼜V闊的"世界"帶來(lái)更多可能性、更多空間，也更能展示用戶的創(chuàng)造力。

所以他們提供了兩種方式，讓用戶構(gòu)建比之前更宏大的 3D 世界。

第一種，在"世界"生成完成后，Marble 支持一鍵擴(kuò)展，讓世界變得更大。

在這個(gè)過(guò)程中，用戶擁有完全的控制權(quán)：

可以選擇對(duì)"世界"中的某個(gè)區(qū)域進(jìn)行擴(kuò)展，Marble 會(huì)自動(dòng)生成更多內(nèi)容來(lái)填充所選區(qū)域。而且，擴(kuò)展功能不僅可以讓"世界"變得更大，還可以修復(fù)或優(yōu)化原本存在瑕疵的部分——那些在初始生成時(shí)出現(xiàn)偽影或細(xì)節(jié)模糊的區(qū)域，在擴(kuò)展后可以變得更加清晰干凈。

另外，擴(kuò)展還可用于針對(duì)性地增強(qiáng)局部細(xì)節(jié)。比如有時(shí)，一張桌子的背面或房間的遠(yuǎn)角可能不像房間中心那樣清晰，此時(shí)對(duì)該區(qū)域進(jìn)行擴(kuò)展，就能顯著改善畫(huà)面效果。

豐富的導(dǎo)出模式

在使用 Marble 創(chuàng)建"世界"之后，用戶可以通過(guò)多種方式將其導(dǎo)出，整合到接下來(lái)的操作中。

Gaussian splats（高斯點(diǎn)云）是 Marble 中最高保真度的表示形式。它將 3D 場(chǎng)景表示為一組半透明粒子的集合。用戶可以使用 Spark —— World Lab 基于 THREE.js 的開(kāi)源跨平臺(tái)渲染器 ——在瀏覽器中直接渲染這些高斯點(diǎn)云。

另外 Marble 還可以導(dǎo)出為三角網(wǎng)格（triangle meshes），以便與眾多業(yè)界標(biāo)準(zhǔn)的三維工具兼容與互操作。

它現(xiàn)在支持生成兩種類(lèi)型的網(wǎng)格：

• 碰撞網(wǎng)格（collider meshes）：低保真度網(wǎng)格，用于粗略的物理模擬；

• 高質(zhì)量網(wǎng)格（high-quality meshes）：盡可能貼近高斯點(diǎn)云的視覺(jué)效果。

將世界導(dǎo)出為網(wǎng)格格式，能夠讓它與眾多業(yè)界標(biāo)準(zhǔn)的三維工具進(jìn)行兼容與互操作。

用戶還可以 Marble 將生成的"世界"渲染為視頻，采用像素級(jí)精度的相機(jī)控制，能夠精準(zhǔn)構(gòu)圖每一個(gè)鏡頭。

Marble 還可以對(duì)導(dǎo)出的視頻進(jìn)行增強(qiáng)。增強(qiáng)后的視頻能夠：

• 添加更多細(xì)節(jié)；

• 去除偽影與瑕疵；

• 為場(chǎng)景增添動(dòng)態(tài)元素，同時(shí)仍保持像素級(jí)的相機(jī)控制精度，并嚴(yán)格遵循已生成三維世界的結(jié)構(gòu)。

在 Marble 正式開(kāi)放后，我第一時(shí)間進(jìn)行了體驗(yàn)。

地址：marble.worldlabs.ai

目前，Marble 分為免費(fèi)版和會(huì)員賬號(hào)，區(qū)別在于生成數(shù)量、編輯功能豐富度、商用授權(quán)等。

該說(shuō)不說(shuō)，這個(gè)產(chǎn)品的操作非常容易上手——用戶只用點(diǎn)擊頂部對(duì)話框，就能選擇需要上傳的素材，目前可以上傳 2D 圖片或者 3D 模型，也可以通過(guò)文字生成。

我測(cè)試了四個(gè)案例，整體效果在交互性和邏輯性上都還不錯(cuò)，但是細(xì)節(jié)精細(xì)程度有時(shí)還需提升。

先看免費(fèi)賬號(hào)的效果。我讓 Marble 通過(guò)一張霍格沃茲圣誕節(jié)時(shí)的圖片，生成一個(gè)中世紀(jì)城堡內(nèi)部樣子的世界。

*提示圖片

耗時(shí)約10分鐘后，我的第一個(gè) Marble 世界出現(xiàn)了。這個(gè)"世界"的交互性和物理一致性都挺好，空間感也不錯(cuò)，但或許由于圖片清晰度不夠，生成的效果有點(diǎn)粗糙——不是很清晰，細(xì)節(jié)也不夠精致。

接下來(lái)，看看我氪金后用Pro賬號(hào)多圖生成的效果。

讓模型生成火星表面的世界

*采用多圖提示

通過(guò)倫敦的街景圖，生成的世界

*采用多圖提示

整體感覺(jué)畫(huà)面比較細(xì)膩，效果比免費(fèi)賬號(hào)更清晰。

BTW，官方這次還一起推出了 Marble Labs。

在Marble Labs里，官方希望藝術(shù)家、工程師與設(shè)計(jì)師們共同探索世界模型，展示創(chuàng)意和真實(shí)工作流程，以及游戲、視覺(jué)特效（VFX）、設(shè)計(jì)、機(jī)器人等領(lǐng)域中的可能性。

這里也是 Marble 的案例研究、教程與文檔的集合地，感興趣的朋友可以嘗試訪問(wèn) marble.worldlabs.ai。