《星月夜》是梵高在圣雷米精神病院療養(yǎng)期間畫下的一幅名畫。你有沒有想過，有一天能直接“走”進(jìn)這幅畫里，在奇幻的星空與柏樹間自由穿行與漫步？

這個(gè)愿望已經(jīng)實(shí)現(xiàn)了！

4月16日，阿里巴巴正式推出了世界模型HappyOyster（快樂生蠔），一款可以實(shí)時(shí)構(gòu)建、自由交互的世界模型產(chǎn)品。

HappyOyster來自阿里ATH創(chuàng)新事業(yè)部，和此前爆火的“快樂馬”（HappyHorse）同屬一個(gè)團(tuán)隊(duì)。如果說之前的AI視頻工具是幫你“生成一段視頻”，那么HappyOyster想做的，是直接為你生成一個(gè)可以玩、可以改的數(shù)字世界。

什么是“世界模型”？

HappyOyster基于原生多模態(tài)架構(gòu)建立，支持多模態(tài)理解與音視頻聯(lián)合生成，目前可以實(shí)現(xiàn)漫游（Wander）和導(dǎo)演（Direct）兩個(gè)核心能力。也就是說，用戶可以實(shí)時(shí)構(gòu)建可互動(dòng)、可演繹、可探索的 AI 數(shù)字世界。同時(shí)，生成的數(shù)字世界，不僅能被完整保存，還能開放給其他人進(jìn)行二次創(chuàng)作。

本質(zhì)上來說，阿里的HappyOyster和谷歌的Genie3做的是同一類東西，叫“世界模擬器”。那么，什么是“世界模型”？

你可能用過一些文生視頻工具。通常情況下，先輸入一段描述，再等上幾十秒渲染，生成一段固定畫面的視頻。這段視頻，你只能看也不能改。HappyOyster不是簡(jiǎn)單地渲染畫面，而是它學(xué)會(huì)了理解這個(gè)世界的空間、物理和因果規(guī)律。因?yàn)檫@一流派采用長(zhǎng)時(shí)間跨度上的世界演化建模方式。通過學(xué)習(xí)海量長(zhǎng)視頻數(shù)據(jù)，以及文本、動(dòng)作指令、圖像參考等多樣控制信號(hào)，模型能夠主動(dòng)理解空間、物理與因果規(guī)律，預(yù)測(cè)情節(jié)和畫面的演變。

比如，它知道物體掉下來會(huì)受重力影響，知道人轉(zhuǎn)身時(shí)光影會(huì)變化。也就是說，AI不僅能生成視頻，而且可以實(shí)時(shí)模擬世界的演化。你可以像玩游戲一樣，在里面自由走動(dòng)，或者隨時(shí)開口改變劇情走向。從而把“被動(dòng)生成內(nèi)容”轉(zhuǎn)變?yōu)椤爸鲃?dòng)模擬世界演化”，為構(gòu)建可交互的通用世界模擬器提供了關(guān)鍵技術(shù)路徑。

相比谷歌，HappyOyster采用了時(shí)間跨度更長(zhǎng)的世界演化建模方式，使得模型能夠保持高保真、長(zhǎng)時(shí)序的動(dòng)態(tài)場(chǎng)景生成。簡(jiǎn)單地說，就是畫面一直保持清晰真實(shí)，時(shí)間長(zhǎng)了也不會(huì)亂。

另外，設(shè)計(jì)之初模型就設(shè)計(jì)了多樣的控制信號(hào)，在同一個(gè)時(shí)間框架下，畫質(zhì)、時(shí)長(zhǎng)和實(shí)時(shí)可控性這三件事可以一起優(yōu)化，不用犧牲哪個(gè)來換另一個(gè)。

同時(shí)在產(chǎn)品能力上，HappyOyster有自己的差異化優(yōu)勢(shì)。除了支持漫游探索，它還獨(dú)家提供實(shí)時(shí)導(dǎo)演功能。你可以隨時(shí)用自然語言發(fā)指令，比如“讓主角左轉(zhuǎn)”“突然下雨”，直接介入世界的演化，調(diào)度角色和事件。實(shí)現(xiàn)從被動(dòng)探索到主動(dòng)創(chuàng)作的跨越。

漫游模式暢游梵高作品《星月夜》

漫游模式控制人物運(yùn)動(dòng)

通過漫游和導(dǎo)演的雙模式，HappyOyster能讓你沉浸在一個(gè)可以自由互動(dòng)的數(shù)字世界里。

比如在漫游模式中，只需要一句話或一張圖，就可以生成具備物理一致性的完整空間，物體位置穩(wěn)定、場(chǎng)景持久存在，視角與光照也能跟隨第一人稱視角持續(xù)移動(dòng)。當(dāng)你在《星月夜》里閑逛時(shí)，你看到一間房子，走近或離開房子不會(huì)消失或者變形。場(chǎng)景也是一直存在的，即使你轉(zhuǎn)個(gè)身回來，房子和樹還在那兒。另外，你還可以在畫里自由地切換方向，想去哪兒就去哪兒。目前Happy Oyster支持長(zhǎng)達(dá)1分鐘的連續(xù)實(shí)時(shí)位移與鏡頭控制，并支持多樣化的風(fēng)格切換。

在導(dǎo)演模式下，用戶能夠在視頻的任意節(jié)點(diǎn)，通過文字、語音或圖像等多模態(tài)輸入，隨時(shí)實(shí)現(xiàn)鏡頭切換、劇情改寫、角色調(diào)度，在充分的交互中生成一個(gè)光照、重力、角色動(dòng)作與場(chǎng)景因果持續(xù)演化的世界，并能選擇不同的題材風(fēng)格。

也就是說，你可以在視頻播放的任意時(shí)刻，通過打字、說話甚至發(fā)一張圖，隨時(shí)指揮AI。比如“讓主角往右轉(zhuǎn)身”“揮揮手”等，AI就會(huì)根據(jù)你的命令實(shí)時(shí)生成新的畫面。在這個(gè)模式下，你創(chuàng)造的世界是活的：光照會(huì)變化、物體會(huì)受重力影響、角色的動(dòng)作和場(chǎng)景的因果邏輯也會(huì)持續(xù)演化。

導(dǎo)演模式可在任意節(jié)點(diǎn)改變劇情走向

目前，HappyOyster的導(dǎo)演模式支持連續(xù)生成3分鐘以上的480p或720p實(shí)時(shí)畫面。

不過當(dāng)前漫游與導(dǎo)演兩大模式還沒完全打通，不過未來你可以在世界里一邊逛一邊改，邊玩邊創(chuàng)作。

全球頂尖玩家

紛紛押注“會(huì)模擬世界的AI”

除了阿里的HappyOyster和谷歌的Genie 3，世界模型已經(jīng)成為全球科技巨頭們押注的下一個(gè)風(fēng)口。

英偉達(dá)推出的Cosmos系列，專門為機(jī)器人和自動(dòng)駕駛訓(xùn)練“物理AI”；Meta也在秘密研發(fā)代號(hào)“Avocado”的模型，試圖讓AI通過視覺理解環(huán)境。由“AI教母”李飛飛創(chuàng)立的World Labs，則拿出了Marble模型：只要上傳一張圖或一段話，就能生成可自由漫游、可導(dǎo)出的3D世界，還開源了渲染器Spark 2.0；明天即將在港股完成敲鐘儀式的“杭州六小龍”之一的群核科技，廣義上來說也屬于“世界模型”玩家，只不過它走的是一條截然不同的技術(shù)路線。

英偉達(dá)推出的Cosmos世界模型

雖然這場(chǎng)吸引了全球頂尖玩家的前沿競(jìng)賽才剛剛開始，但有些行業(yè)的內(nèi)容創(chuàng)作和互動(dòng)體驗(yàn)，已經(jīng)被悄悄改寫了。

比如游戲領(lǐng)域，開發(fā)者可以快速生成可玩原型，玩家能實(shí)時(shí)驅(qū)動(dòng)世界演化，不需要預(yù)設(shè)腳本就可以實(shí)現(xiàn)動(dòng)態(tài)劇情分支與開放世界探索，大幅降低內(nèi)容生產(chǎn)成本并提升沉浸感。

也就是說，以前開發(fā)一個(gè)新游戲要做策劃、搭場(chǎng)景、寫腳本，花幾個(gè)月才能玩上第一個(gè)測(cè)試版。現(xiàn)在開發(fā)者只要說一句話，HappyOyster就能快速生成一個(gè)可以玩的游戲原型。玩家也不再是被動(dòng)跟著預(yù)設(shè)劇情走，而是能實(shí)時(shí)影響世界的演化。你往左走還是往右走，AI都會(huì)現(xiàn)場(chǎng)給你編出新劇情，每次玩都是不一樣的體驗(yàn)。這樣一來，游戲內(nèi)容的生產(chǎn)成本大大降低，沉浸感卻直線上升。

影視創(chuàng)作時(shí)，導(dǎo)演不需要等待漫長(zhǎng)的渲染周期，只要用自然語言描述創(chuàng)意，系統(tǒng)就可以實(shí)時(shí)生成分鏡畫面，并支持在視頻的任意節(jié)點(diǎn)改變鏡頭、角色和劇情，讓創(chuàng)意驗(yàn)證時(shí)間大大縮短；在文旅與教育領(lǐng)域，用戶不再被動(dòng)地觀看歷史復(fù)原視頻，而是能以第一視角走進(jìn)名畫現(xiàn)場(chǎng)或過往文明，在交互中探索因果、改寫走向，實(shí)現(xiàn)從知識(shí)傳遞到沉浸體驗(yàn)的躍遷。

在未來，HappyOyster還能應(yīng)用于線下智能空間或娛樂場(chǎng)景，例如與穿戴設(shè)備等智能硬件結(jié)合，根據(jù)人的位置、動(dòng)作與語言動(dòng)態(tài)，實(shí)時(shí)生成沉浸式內(nèi)容，讓數(shù)字世界與現(xiàn)實(shí)共振。

文 | 沈積慧

阿里突然殺出一匹開源“快樂馬”？

修車學(xué)徒掀翻雅馬哈和杜卡迪

招股書顯示：宇樹強(qiáng)到可怕

點(diǎn)喜歡