編輯｜楊文

近來，一匹來路不明的「歡樂馬」殺到了 Artificial Analysis 排行榜的榜首。

AI 圈頓時猜測聲四起，直到阿里跳出來認(rèn)領(lǐng)。

沒想到短短幾天，阿里「Happy」家族又來了個新成員 ——HappyOyster（快樂生蠔）

二者「師出同門」，均來自阿里今年 3 月剛成立的 Alibaba Token Hub（ATH）創(chuàng)新事業(yè)群。

不過，與歡樂馬「寫 prompt、等渲染、收成片」的一次性流程不同，HappyOyster 是一款可實時構(gòu)建和交互的開放式世界模型產(chǎn)品

它基于原生多模態(tài)架構(gòu)，背后是支持多模態(tài)輸入與音視頻聯(lián)合生成的流式生成世界模型，在生成過程中能夠持續(xù)接收用戶指令，畫面實時響應(yīng)、持續(xù)演繹。

HappyOyster 主打漫游（Wander）導(dǎo)演（Direct）兩大核心功能。

其中漫游功能是首個支持任意風(fēng)格、無限互動的通用世界模型，只需輸入文本或圖像，即可生成無邊探索的世界場景，支持 1 分鐘以上的實時位移控制和鏡頭控制。

導(dǎo)演功能則是基于世界模型的實時 AI 視頻導(dǎo)演引擎，可連續(xù)生成長達(dá) 3 分鐘的 720p 實時視頻，我們可以通過文字指令實時操控鏡頭、調(diào)度角色、改變劇情走向。

說起這個名字，還有些講究，它借用莎翁那句經(jīng)典名言「The world is your oyster.」（世界是你的牡蠣，等你親手打開）。

目前，HappyOyster 已上線，我們也在第一時間拿到邀請碼，接下來就上手實測一番。

體驗鏈接：https://www.happyoyster.cn/

一手實測：

阿里這個世界模型有點(diǎn)意思

先來試試主打的漫游（Wander）功能

該功能支持文字或圖片生成世界。

我們既可以直接輸入提示詞，也可以分開設(shè)定「角色（Character）」和「場景（Scene）」做精細(xì)化控制，還能在第一人稱和第三人稱之間切換視角。

比如，我們使用「定制模式」分開輸入：角色設(shè)定為「A stylish blonde female model」，場景設(shè)定為「On the streets of Paris in the 1980s」。(一個穿著時髦的金發(fā)女模特，在 80 年代的巴黎街頭。)

HappyOyster 并沒有直接輸出一段固定視頻，而是用短短十幾秒，構(gòu)建出一個完整的夜晚雨后巴黎街頭，路面積水倒映著昏黃路燈，馬路上汽車疾馳而過，兩邊店鋪林立，細(xì)節(jié)都符合物理規(guī)律。

接下來，我們可以用 WASD 鍵控制角色前進(jìn)方向，或者用上下左右方向鍵推動鏡頭移動，角色就在這個空間里自由游走，最終生成視頻。

整個畫面實時響應(yīng)，全程流暢無卡頓。

系統(tǒng)還自動配上了契合場景氛圍的 BGM，音畫同步自然。

我們又上傳了一張動漫風(fēng)格第一視角騎行圖片，HappyOyster 基于這張靜態(tài)畫面，生成一個具有空間結(jié)構(gòu)和運(yùn)動邏輯的完整場景。

視角向前推進(jìn)時，道路延展、花海分布以及遠(yuǎn)處景物的層次變化是連貫的，沒有明顯的拼接感或跳變。

吉卜力風(fēng)格的視覺語言和櫻花飄落的氛圍，在整個運(yùn)動過程中也保持一致。

漫游功能可以對各種風(fēng)格適配，我們甚至直接走進(jìn)了梵高的畫作。

再來試試導(dǎo)演功能（Direct），它最大的亮點(diǎn)是可以在視頻的任意節(jié)點(diǎn)實時改變內(nèi)容。

我們丟給它一張吉卜力風(fēng)格的圖片，HappyOyster 立馬造出了一個宮崎駿式的動漫世界：一位小女孩撐著紅色雨傘，走在雨后坑坑洼洼的鄉(xiāng)間小路上。

此時輸入提示詞「一只可愛的吉卜力風(fēng)格的小貓突然跑到女孩身邊」，模型沒有重新渲染，直接在當(dāng)前畫面里生成了一只小貓跑來，與小女孩并排同行。

我們繼續(xù)追加指令：「女孩蹲下?lián)崦∝垺！巩嬅嬖俅渭磿r響應(yīng)，小女孩蹲身、伸手，動作自然流暢。

總之，模型能夠根據(jù)我們輸入的提示詞精確地調(diào)整場景和人物動作，畫面流暢且自然，每個變化都與故事情節(jié)無縫銜接。

技術(shù)解讀：

世界模型和文生視頻，差在哪里？

看完實測，我們可能會有一個直覺上的感受，就是這東西和 Sora、可靈這些文生視頻模型好像不太一樣。確實不一樣，而且是從底層邏輯上就走了一條不同的路。

Sora 也好、可靈也好，文生視頻模型本質(zhì)上是個一次性系統(tǒng)。給定文本或圖像條件后，模型在一個預(yù)先限定好的時間窗口內(nèi)組織內(nèi)容、運(yùn)動和節(jié)奏，然后交付結(jié)果。用戶給一次輸入，得到一段輸出，流程就此結(jié)束。這個過程是封閉的、一次性的，中間沒有任何插手的空間。

這種模式對于生成一段精美的短片很夠用，但如果想在畫面中途介入，改變?nèi)魏我呀?jīng)發(fā)生的事情，它就無能為力了。

世界模型的思路則完全不同。它學(xué)習(xí)的是世界接下來會如何演化，當(dāng)前的狀態(tài)是什么，施加一個動作之后會發(fā)生什么，再下一步又會怎樣。它沒有預(yù)設(shè)的終點(diǎn)，當(dāng)我們沒有新輸入時，模型基于已有狀態(tài)自主延續(xù)世界的發(fā)展；若我們中途注入新指令，模型就會結(jié)合當(dāng)前狀態(tài)重新推斷后續(xù)走向，它可以隨時被打斷、被干預(yù)、被重寫。

也正因如此，世界模型的訓(xùn)練難度遠(yuǎn)高于文生視頻。

最直接的挑戰(zhàn)是速度。世界模型需要在用戶給出指令的瞬間就做出響應(yīng)，任何明顯的延遲都會打破沉浸感。HappyOyster 為此采用流式生成框架，將高維視頻與多模態(tài)信息壓縮為緊湊的動態(tài) latent state，大幅降低單步生成的計算開銷，使生成得以低延遲持續(xù)推進(jìn)。文本、圖像和漫游指令等控制信號被設(shè)計為可在線注入的條件變量，模型無需重置生成過程就能在任意節(jié)點(diǎn)即時響應(yīng)外部交互。

更棘手的問題在于，如何讓這個世界在長時間演化中保持一致性。生成時間越長，場景越容易出現(xiàn)內(nèi)容漂移和結(jié)構(gòu)退化，物理規(guī)律和空間結(jié)構(gòu)慢慢失去約束，世界逐漸變得不像它原來的樣子。為了對抗這種「失憶」，HappyOyster 引入持續(xù)狀態(tài)復(fù)用機(jī)制，通過歷史注意力狀態(tài)的連續(xù)傳遞，讓模型高效繼承已生成信息并漸進(jìn)更新，在更長的時間跨度上維持穩(wěn)定的場景結(jié)構(gòu)與動態(tài)連貫性。

在音畫協(xié)同方面，不同于將音頻作為視頻的后期附加物單獨(dú)建模，HappyOyster 采用統(tǒng)一的音視頻生成框架，在同一世界狀態(tài)下同步生成視覺與聽覺信號。音頻作為世界動態(tài)的一部分參與聯(lián)合生成，自然建立跨模態(tài)的時間對齊關(guān)系。

目前世界模型領(lǐng)域已有幾個代表性方向。Google 的 Genie 專注于實時交互式世界建模，但在多模態(tài)輸入的統(tǒng)一表達(dá)和音視頻聯(lián)合生成上尚有局限；李飛飛團(tuán)隊的 World Labs 走的是 3D 空間結(jié)構(gòu)化重建路線，側(cè)重幾何一致性而非像素空間的長時序動態(tài)生成。

HappyOyster 選擇的是在像素空間內(nèi)進(jìn)行長時序、實時可交互的動態(tài)世界模擬，并在此基礎(chǔ)上加入了音視頻聯(lián)合生成能力，這是一條此前鮮有人走通的路徑，沒有太多現(xiàn)成的答案可以參考。

結(jié)語

AIGC 走到今天，內(nèi)容生成工具已經(jīng)相當(dāng)成熟。寫文章、生圖、做視頻，這些需求都有了不錯的解決方案。但這條賽道正在悄悄逼近一個新的拐點(diǎn)，即從「生成內(nèi)容」到「構(gòu)建世界」。

HappyOyster 的出現(xiàn)，讓我們看到了這個方向的輪廓。它給每人一個可以隨時走進(jìn)去、隨時修改、實時反饋的「自定義數(shù)字世界」。我們可以在里面漫游，可以在里面導(dǎo)演，可以把它分享給別人，讓別人在我們構(gòu)建的世界里繼續(xù)演繹。

應(yīng)用場景上，它的邊界也遠(yuǎn)不止屏幕內(nèi)的娛樂體驗。文旅展陳、互動短劇、影視概念驗證、品牌營銷、直播共創(chuàng)…… 凡是需要實時感知、實時生成、實時反饋閉環(huán)的場景，它都天然適配。

更長遠(yuǎn)來看，一旦與攝像頭、傳感器、空間設(shè)備等硬件結(jié)合，HappyOyster 承載的就是一個可以被現(xiàn)實信號持續(xù)驅(qū)動的生成式環(huán)境系統(tǒng)。

但坦率地說，世界模型整體仍處于早期階段。長時序下的物理一致性、復(fù)雜場景中的因果推理、對現(xiàn)實世界規(guī)律的深度理解，這些都是懸而未決的硬核挑戰(zhàn)。HappyOyster 是這個方向上目前最接近「可用產(chǎn)品」形態(tài)的探索之一，但探索就意味著邊界尚未確定。

這既是局限，也是想象力存在的理由。

文中視頻鏈接：https://mp.weixin.qq.com/s/rnExzdeYegSiEKy4zuJpTw