具備初步的世界狀態(tài)跟蹤能力，但不適合強(qiáng)約束、高可預(yù)測(cè)性的系統(tǒng)任務(wù)。

作者丨馮逸飛

編輯丨馬曉寧 梁丙鑒

4 月 16 日，阿里發(fā)布了主打?qū)崟r(shí)構(gòu)建和交互的開放式世界模型產(chǎn)品 Happy Oyster。基于原生多模態(tài)架構(gòu)，Happy Oyster 支持多模態(tài)輸入與音視頻聯(lián)合生成，且生成過程中能夠持續(xù)接收用戶指令，實(shí)現(xiàn)畫面實(shí)時(shí)響應(yīng)、持續(xù)演繹。

如果說 AGI 是終極愿景，具身智能是物質(zhì)載體，那么世界模型就是這一切的認(rèn)知基礎(chǔ)。它在技術(shù)脈絡(luò)中占據(jù)了一個(gè)極其特殊的位置，那就是從大模型的“預(yù)測(cè)下一個(gè)詞“，向”預(yù)測(cè)下一個(gè)物理狀態(tài)“的演進(jìn)節(jié)點(diǎn)。

這也讓世界模型成為了一條炙手可熱的賽道。16 日當(dāng)天，騰訊開源了 HY-World 2.0，次日群核科技在港交所上市，成為“全球空間智能第一股“。視角拉得更遠(yuǎn)，谷歌、英偉達(dá)、Meta，以及李飛飛坐鎮(zhèn)的 World Labs 都早就對(duì)這一賽道有所布局。

競(jìng)爭(zhēng)逐漸升溫之際，我們不禁要問，在最宏偉的愿景實(shí)現(xiàn)之前，有哪些先期落地場(chǎng)景可以為日后的爭(zhēng)奪輸血？

在諸多可能的應(yīng)用方向中，游戲開發(fā)是一個(gè)被各大廠商頻頻提及的選擇。原因不難理解。視頻模型證明了 AI 已經(jīng)很擅于交付畫面，交互式的世界模型又向前邁了一步，嘗試給用戶一個(gè)可以進(jìn)入、修改，并支持對(duì)用戶的交互做出反應(yīng)的場(chǎng)景。

當(dāng)模型生成的不僅是鏡頭，而是某種可以被操縱的世界狀態(tài)，它就觸及了一度屬于游戲引擎的工作，Happy Oyster 顯然也在此列。

今天的世界模型，足以在游戲工業(yè)中落地了嗎？它會(huì)如何改造游戲開發(fā)的流程，或是被游戲工業(yè)的需求反向影響？從構(gòu)建場(chǎng)景的基礎(chǔ)功能開始，我們模擬游戲開發(fā)的真實(shí)需求，測(cè)試了一下 Happy Oyster 的表現(xiàn)。

01

實(shí)測(cè)一：構(gòu)建場(chǎng)景，渲染光線，接替引擎的世界模型

Happy Oyster 一個(gè)很明顯的特點(diǎn)是，它的交互體驗(yàn)已經(jīng)不是我們熟悉的“用戶說一句，模型生成一段”，而更像是允許用戶在一個(gè)松散、概率化的實(shí)時(shí)系統(tǒng)里不斷推著它往前走。

在官方給出的示例中，我試著做了幾次很直白的修改，比如直接下達(dá)“增加角色數(shù)量”、“添加說話行為”等指令。有意思的是，新增角色并不會(huì)憑空出現(xiàn)在畫面中，而是看起來(lái)更合理地從畫面邊緣進(jìn)入，這說明 Happy Oyster 不是把整個(gè)場(chǎng)景推倒重來(lái)，而是在已有基礎(chǔ)上進(jìn)行增補(bǔ)。

類似的例子是，畫面風(fēng)格的變化會(huì)連帶影響畫面中物品呈現(xiàn)的材質(zhì)和環(huán)境光，角色發(fā)出的聲音和其原本的動(dòng)作之間，也有著初步的同步感。在體驗(yàn)上，這更像是在維護(hù)一個(gè)比較脆弱，但確實(shí)已經(jīng)存在的“當(dāng)前狀態(tài)”。

為了驗(yàn)證這個(gè)想法，我又要求在畫面中加入賽博朋克元素。Happy Oyster 并沒有用一層濾鏡敷衍了事，霓虹燈這一賽博朋克經(jīng)典元素出現(xiàn)之后，畫面的色調(diào)被重新校準(zhǔn)了，很多不同的物品也表現(xiàn)出更多的反射感，這些細(xì)節(jié)的同步變化重塑了場(chǎng)景的氣氛。

Happy Oyster 只有真正理解了“賽博朋克”是什么，才能根據(jù)短短一句指令，就在原本的輸出結(jié)果上修改出盡可能貼近《賽博朋克 2077》質(zhì)感的畫面。傳統(tǒng)的游戲引擎是通過有限的資源組合加位置擺放完成場(chǎng)景構(gòu)建，而 Happy Oyster 顯然已經(jīng)到了隱式的語(yǔ)義生成階段。

對(duì)開發(fā)者而言，變化就發(fā)生在那些原本靠“搭”和“調(diào)”手工完成的環(huán)節(jié)，正在慢慢被“描述”取代。尤其是在燈光、氛圍、視覺預(yù)研這些更前置的工作里，Happy Oyster 已經(jīng)表現(xiàn)出了生產(chǎn)級(jí)的能力。你可以用它很敏捷地嘗試創(chuàng)作方向和畫面風(fēng)格，而每一次試錯(cuò)中，來(lái)回調(diào)參數(shù)的成本都會(huì)被壓到最小。

不只是前期視覺工具，從賽博朋克這個(gè)測(cè)試案例，可以看出 Happy Oyster 對(duì)于繞開現(xiàn)有的渲染流程，也有著不可小覷的價(jià)值。

傳統(tǒng)游戲引擎的渲染方案是追求在有限算力下，把光照計(jì)算得盡可能逼真。這方面的技術(shù)包括：

? BRDF / BSDF 材質(zhì)建模

? 光源采樣（Direct / Indirect）

? 陰影（Shadow Map / Ray Tracing）

? 全局光照（Lightmap / SSGI / Lumen）

? 各種屏幕空間近似（SSR、SSAO 等）

雖然實(shí)現(xiàn)方法各不相同，但本質(zhì)上都在試圖用更可解釋、可復(fù)現(xiàn)的計(jì)算，把畫面的光影推向“視覺上正確”。但世界模型的解決方案完全不同，它不是在把這條計(jì)算鏈路算得更快，而是直接去猜一個(gè)合理的結(jié)果。

事實(shí)上，渲染管線本身在過去幾年里也發(fā)生著類似的變化。以 DLSS 3.5、Ray Reconstruction，以及最近被反復(fù)提到的 DLSS 5 為例，它們會(huì)生成中間幀、替代部分去噪過程，還會(huì)在最終圖像層補(bǔ)全光照和細(xì)節(jié)。Ray Reconstruction 是用一個(gè)訓(xùn)練過的模型，補(bǔ)全有限采樣下的光照信息。而一些對(duì) DLSS 5 的介紹，也開始提到它在材質(zhì)和光照觀感層面對(duì)渲染畫面的進(jìn)一步重建。

這種變化真正有意思的地方在于，最終畫面早就不是引擎算出來(lái)什么，就顯示什么。而以 Happy Oyster 為代表的世界模型，正在更深入地介入這個(gè)最后環(huán)節(jié)。

如果說傳統(tǒng)渲染是在解方程，神經(jīng)渲染是在弱約束條件下做推斷，那么世界模型則更進(jìn)一步，在弱約束條件下直接生成，一句“賽博朋克風(fēng)格”的指令就是例子。

三種方案都試圖在有限條件下，給出一個(gè)“看上去沒問題”的畫面，根本差別在于約束的強(qiáng)弱。神經(jīng)渲染仍然站在引擎的肩膀上，使用幾何、深度、運(yùn)動(dòng)向量這些信息，在一個(gè)邊界清晰的空間里幫開發(fā)者優(yōu)化結(jié)果，而世界模型則拿出了最激進(jìn)的方案。它要用最少的約束、最少的信息，直接補(bǔ)全到空間、光照、物體齊備、匹配的程度，生成這件事由此從像素層，躍升到了世界層。

不可否認(rèn)，這條路相當(dāng)迷人，但代價(jià)也很明顯。

傳統(tǒng)渲染的優(yōu)點(diǎn)在于可解釋、可復(fù)現(xiàn)，一道光為什么如此照下來(lái)，你大體知道結(jié)果是怎么計(jì)算的，出了問題，很多時(shí)候可以順著管線倒查。可一旦輸出換成模型推斷的結(jié)果，情況就會(huì)開始不同。

最直接的影響就是，當(dāng)輸出帶有概率性，你就很難進(jìn)行精確約束，同一個(gè)問題不一定穩(wěn)定復(fù)現(xiàn)，debug 成本也會(huì)顯著上升。在可控性問題真正解決之前，所謂的生成式渲染更接近于一種強(qiáng)大的視覺表達(dá)工具。

更現(xiàn)實(shí)的可能是，未來(lái)的游戲開發(fā)中傳統(tǒng)引擎會(huì)繼續(xù)負(fù)責(zé)空間結(jié)構(gòu)、物理規(guī)則、游戲邏輯和同步狀態(tài)，模型逐步接管高頻視覺細(xì)節(jié)、材質(zhì)表現(xiàn)、局部補(bǔ)全和觀感優(yōu)化，Happy Oyster 這類世界模型則會(huì)加速這一協(xié)同模式的成熟。

世界需要先被定義，但越來(lái)越大比例的畫面會(huì)被模型“猜”出來(lái)。這個(gè)比例增長(zhǎng)的速度，可能比我們想象中快得多。

02

實(shí)測(cè)二：“連續(xù)幻覺”，還是完整世界？

在前面的試水之后，我又開始嘗試讓 Happy Oyster 接管更完整的游戲開發(fā)，比如做一段玩家第一視角的游戲demo。

我給了 Happy Oyster 一張《天國(guó)：拯救 2》的截圖，讓模型據(jù)此生成一個(gè)完整的中世紀(jì)城鎮(zhèn)，同時(shí)用比較精確的提示詞控制了畫面氛圍和視角。測(cè)試所用截圖和提示詞如下，提示詞由 GPT-5.4 輔助生成：

大致的意思是，陰沉的天空下，一座中世紀(jì)波西米亞的防御小鎮(zhèn)靜靜佇立，煙囪里飄著縷縷青煙。潮濕泥濘的道路蜿蜒而上，通往高聳城墻內(nèi)一座狹窄的石門。城墻兩側(cè)聳立著瞭望塔、木屋和木制腳手架，整體色調(diào)沉穩(wěn)而質(zhì)樸，空氣寒冷潮濕，營(yíng)造出真實(shí)的歷史氛圍。玩家將以第一人稱視角騎馬緩緩駛向城門，沉浸于濃郁的中世紀(jì)氛圍之中。

模型輸出的初始畫面如下：

第一眼看上去，效果其實(shí)很驚艷。初始畫面對(duì)原始截圖的還原度非常高，在我嘗試移動(dòng)視角時(shí)，周圍的建筑物結(jié)構(gòu)也沒有明顯不合理之處，就連畫面前方的 NPC 也有著相對(duì)可信的表現(xiàn)，很有代入感。

但在我讓人物轉(zhuǎn)了一圈之后，回到原點(diǎn)時(shí)，初始畫面里的城門沒有了。

一致性長(zhǎng)期作為世界模型的關(guān)鍵瓶頸存在，無(wú)論從技術(shù)攻關(guān)還是落地應(yīng)用的角度而言都是如此。Happy Oyster 內(nèi)置導(dǎo)演模式和漫游模式兩個(gè)版本，前者最長(zhǎng)持續(xù)時(shí)長(zhǎng) 3 分鐘，官方介紹稱該模式支持光照、重力、角色動(dòng)作、場(chǎng)景因果關(guān)系保持連續(xù)一致，且允許用戶實(shí)時(shí)干預(yù)，后者可以做到物體位置穩(wěn)定、環(huán)境持續(xù)存在、視角與光照連續(xù)響應(yīng)，最長(zhǎng)持續(xù)時(shí)間則限制為 1 分鐘，且只支持角色位置移動(dòng)和鏡頭視角調(diào)整的交互。

論絕對(duì)一致性時(shí)長(zhǎng)，騰訊 HY-World 2.0 理論上甚至沒有上限。但是其并非生成視頻，而是直接生成 3D 資產(chǎn)，一致性由傳統(tǒng) 3D 渲染引擎保障。技術(shù)路線更一致的比較對(duì)象是谷歌此前發(fā)布的 Genie 3，官方技術(shù)文檔介紹其已經(jīng)可以達(dá)到數(shù)分鐘級(jí)的視覺一致性和約 1 分鐘的視覺記憶窗口。也就是當(dāng)用戶在 Genie 3 生成的世界中離開某個(gè)區(qū)域后，如果要求返回時(shí)，之前觀察到的物體布局、涂鴉、建筑結(jié)構(gòu)等視覺特征仍能保持穩(wěn)定，那么這個(gè)時(shí)間窗口是 1 分鐘之內(nèi)。因此 Happy Oyster 漫游模式的 1 分鐘成績(jī)，在像素級(jí)實(shí)時(shí)渲染世界模型這一細(xì)分賽道，已經(jīng)屬于第一梯隊(duì)水平。

但落在生產(chǎn)場(chǎng)景，狀態(tài)難以持久導(dǎo)致的場(chǎng)景細(xì)節(jié)逐漸破碎、同一個(gè)對(duì)象反復(fù)變形，讓今天的頭部水平未必足以承擔(dān)起系統(tǒng)級(jí)的交互任務(wù)。至少在現(xiàn)階段，世界模型更接近一種帶有時(shí)間連續(xù)性的可交互視頻系統(tǒng)，而非成熟的新一代游戲引擎。

也正因此，世界模型最先帶來(lái)的改變不會(huì)發(fā)生在游戲形態(tài)本身，而是從改造開發(fā)流程開始。

一個(gè)比較現(xiàn)實(shí)的演進(jìn)順序是，世界模型首先會(huì)被用于快速生成世界設(shè)定，用來(lái)替代一部分概念原型工作，然后會(huì)作為低成本的試錯(cuò)工具，供給給鏡頭、環(huán)境氛圍、游戲節(jié)奏這類原本需要通過引擎反復(fù)微調(diào)的內(nèi)容生產(chǎn)。再往后，才會(huì)是內(nèi)容輔助生成。

Photoshop 沒取代相機(jī)，Houdini （一款三維計(jì)算機(jī)圖形軟件，在影視特效和游戲開發(fā)等行業(yè)被廣泛使用）也沒取代引擎，但它們都實(shí)實(shí)在在地改變了很多人的工作流。或許對(duì)于傳統(tǒng)游戲引擎來(lái)說，世界模型也是一樣。

03

世界模型初體驗(yàn)之最終感想

游戲從來(lái)不是連續(xù)的畫面那么簡(jiǎn)單。開發(fā)者們真正的心血，很多時(shí)候花在關(guān)卡節(jié)奏、數(shù)值反饋、機(jī)制組合、玩家路徑控制這些結(jié)構(gòu)設(shè)計(jì)上。這些任務(wù)兼具強(qiáng)約束和高可預(yù)測(cè)性的特征，而這正是今天的世界模型最薄弱的地方。

此外，一個(gè)能真正商業(yè)化、長(zhǎng)期留住玩家的游戲，往往意味著數(shù)十小時(shí)的內(nèi)容、穩(wěn)定的系統(tǒng)循環(huán)，甚至是多人同步的大型世界。至少今天的世界模型，還遠(yuǎn)遠(yuǎn)沒有走到這一步，這也是為什么它們更像是一次性體驗(yàn)的生成器，而沒有展現(xiàn)出更成熟的產(chǎn)品形態(tài)。

但對(duì)邁向游戲行業(yè)的世界模型而言，真正重要的問題從來(lái)不是能不能干掉傳統(tǒng)引擎，而是如何塑造一種全新的游戲體驗(yàn)。

過去更常見的路徑是玩家下載游戲，進(jìn)入預(yù)先設(shè)計(jì)好的世界，按照開發(fā)者設(shè)定的規(guī)則行事。而世界模型帶來(lái)的另一種可能是，玩家可以依據(jù)興趣自由描述，然后直接進(jìn)入系統(tǒng)即時(shí)生成的世界中。

當(dāng)這個(gè)入口成立，世界模型對(duì)游戲行業(yè)的顛覆就不再局限于開發(fā)管線，而會(huì)是整個(gè)內(nèi)容生產(chǎn)范式的轉(zhuǎn)變。如果“世界生成”的變成一種廉價(jià)的能力，“玩家為什么愿意留下”就會(huì)成為更昂貴的洞察，游戲工業(yè)將重新向著游戲體驗(yàn)設(shè)計(jì)的本質(zhì)回溯。

今天的 Happy Oyster 只能維持一分鐘的視覺記憶，卻是短暫但寶貴的第一分鐘。

未經(jīng)「AI科技評(píng)論」授權(quán)，嚴(yán)禁以任何方式在網(wǎng)頁(yè)、論壇、社區(qū)進(jìn)行轉(zhuǎn)載！

公眾號(hào)轉(zhuǎn)載請(qǐng)先在「AI科技評(píng)論」后臺(tái)留言取得授權(quán)，轉(zhuǎn)載時(shí)需標(biāo)注來(lái)源并插入本公眾號(hào)名片。