新智元報(bào)道

編輯：LRST

【新智元導(dǎo)讀】2023年斯坦?！窤I小鎮(zhèn)」火了，后續(xù)也誕生了大量類似的熱門項(xiàng)目，但所有這類項(xiàng)目都有一個(gè)共同瓶頸——世界是人工搭建的，固定的。最近，一位獨(dú)立開發(fā)者用10天婚假爆肝了一個(gè)項(xiàng)目WorldX：輸入一句話、5分鐘，一個(gè)完整的AI世界就誕生了——地圖、角色、動(dòng)畫、人設(shè)全部自動(dòng)生成，AI角色們自主在其中生活、對(duì)話、形成記憶、產(chǎn)生戲劇性的涌現(xiàn)行為。

輸入這樣一句話：「夜晚的宋朝繁華夜市，有當(dāng)鋪掌柜、算命先生、捕快、小偷、酒鬼，還有一個(gè)剛從現(xiàn)代穿越來(lái)的網(wǎng)紅?！?/strong>

5分鐘后，一張工筆畫風(fēng)格的宋朝夜市地圖出現(xiàn)在你面前。當(dāng)鋪、算命攤、菩薩像各居其位。

然后6個(gè)角色自己開始活動(dòng)——

當(dāng)鋪掌柜守著柜臺(tái)念叨被偷的事，算命先生等客上門，捕快四處巡邏打聽(tīng)線索，小偷裝作普通路人混在人群里，酒鬼醉醺醺地從街頭晃到街尾。而那個(gè)穿越來(lái)的網(wǎng)紅——飄逸長(zhǎng)發(fā)、衣著和旁人格格不入——正被所有人好奇地打量著。

沒(méi)人寫過(guò)劇本。

接下來(lái)發(fā)生的一切，完全由AI角色自主決定。捕快可能會(huì)找上每一個(gè)人盤問(wèn)；小偷可能會(huì)主動(dòng)接近捕快試探，又會(huì)突然覺(jué)得自己暴露了想找借口溜走；算命先生會(huì)拉住穿越來(lái)的網(wǎng)紅說(shuō)「姑娘印堂發(fā)暗」；酒鬼可能會(huì)撞翻當(dāng)鋪掌柜的招牌，引來(lái)一場(chǎng)爭(zhēng)吵。

這是一個(gè)真正「活著」的AI世界。

項(xiàng)目地址：https://github.com/YGYOOO/WorldX

技術(shù)解析：https://zhuanlan.zhihu.com/p/2032410449854068566

AI小鎮(zhèn)火了3年

還沒(méi)解決「造世界」

故事得從2023年說(shuō)起。

那一年，斯坦福發(fā)布了著名的Generative Agents論文——25個(gè)AI角色在一個(gè)虛擬小鎮(zhèn)里自主生活、社交、形成記憶，展現(xiàn)出令人驚嘆的「 涌現(xiàn)行為」。「AI小鎮(zhèn)」這個(gè)概念瞬間出圈，引爆了整個(gè)Agent研究領(lǐng)域。

之后3年里，類似的熱門項(xiàng)目層出不窮，ai-town、Microverse、AgentSims、TinyTroupe……都在試圖復(fù)現(xiàn)并擴(kuò)展這件事。

但所有這些項(xiàng)目，都有一個(gè)共同的瓶頸：

世界是寫死的。

地圖需要人工繪制。角色需要逐個(gè)手動(dòng)配置。場(chǎng)景交互需要逐條編排。你想換一個(gè)「賽博朋克拉面館」或者「末日便利店」的設(shè)定？對(duì)不起，從頭來(lái)過(guò)。

學(xué)術(shù)界也意識(shí)到了這個(gè)問(wèn)題。盛大AI研究院、上海AI Lab等機(jī)構(gòu)聯(lián)合發(fā)表了「World Craft」（arXiv 2601.09150）嘗試解決這件事——但論文中也明確寫道：當(dāng)前系統(tǒng)只支持室內(nèi)場(chǎng)景（住宅、辦公室、單體建筑內(nèi)部），不支持街道、廣場(chǎng)、開放世界。而且地圖風(fēng)格高度同質(zhì)化——都是從一個(gè)5500+素材庫(kù)里檢索拼裝的標(biāo)準(zhǔn)RPG像素風(fēng)。

真正「任意一句話造任意一個(gè)世界」，迄今沒(méi)人做到。

直到WorldX出現(xiàn)。

「一句話造世界」的5分鐘魔法

WorldX讓這件事變得簡(jiǎn)單到不可思議。

你只需要輸入：

• 末日便利店，6個(gè)幸存者擠在里面

• 北宋汴京夜市，有算命的、說(shuō)書的、捕快和一個(gè)穿越者

• 魏無(wú)羨的師姐江厭離、卡卡西的摯友帶土、扶蘇、晴雯——那些沒(méi)等到好結(jié)局的人住進(jìn)了同一個(gè)小鎮(zhèn)

• 6個(gè)經(jīng)典反派被關(guān)進(jìn)了一個(gè)像素小鎮(zhèn)：容嬤嬤、伏地魔、滅霸、琴酒……

5分鐘后，一個(gè)完整的、有美術(shù)風(fēng)格、有角色立繪動(dòng)畫、有完整運(yùn)行邏輯的AI世界就出現(xiàn)在你面前。每一個(gè)世界都是從零生成的，沒(méi)有任何模板復(fù)用。

更關(guān)鍵的是——生成完只是開始。

進(jìn)入世界后，你會(huì)看到：

• 每個(gè)AI角色在地圖上自由走動(dòng)、決策、互動(dòng)

• 角色頭頂會(huì)冒出對(duì)話氣泡和內(nèi)心獨(dú)白OS（小偷和捕快客套時(shí)心里想著「她不會(huì)已經(jīng)知道了吧……」——節(jié)目效果直接拉滿）

• 角色們形成記憶、產(chǎn)生情緒、做出反思——一天結(jié)束時(shí)它們會(huì)在腦海里回顧今天發(fā)生的事

• 世界有真實(shí)的時(shí)間流轉(zhuǎn)，凌晨1點(diǎn)夜市會(huì)自動(dòng)收攤，第二天19點(diǎn)又重新開張

而你呢？你是這個(gè)世界的「上帝」。

你可以：

• 全局廣播事件——「突然下大雨了」，所有角色下次決策時(shí)都會(huì)知道

• 給特定角色耳語(yǔ)/托夢(mèng)——你突然想起當(dāng)年捕快辦過(guò)的一樁舊案……

• 實(shí)時(shí)修改角色人設(shè)——把「老實(shí)木訥」改成「心機(jī)深沉」，看世界走向會(huì)怎么變

• 把任意角色「拉出來(lái)」，和它進(jìn)行架空對(duì)話——而且不影響主世界進(jìn)程

更絕的是WorldX還做了多時(shí)間線 + 歷史回放機(jī)制——同一個(gè)世界可以衍生出多條時(shí)間線，看相同的初始條件下故事是否會(huì)走向同一個(gè)結(jié)局；任意一段歷史也能像看錄像一樣被回放，讓你不錯(cuò)過(guò)任何「名場(chǎng)面」。

最難的關(guān)卡

讓AI看懂自己生成的圖

作者自己列了一份「卡點(diǎn)問(wèn)題」清單，每一項(xiàng)都幾乎能讓整個(gè)項(xiàng)目卡死，比如下面這個(gè)問(wèn)題：

如何讓代碼精確知道——AI生成的這張地圖里，哪些區(qū)域是可行走的？

這件事看起來(lái)簡(jiǎn)單——人一眼就能看出哪里能走、哪里是樹木屋頂。但要讓代碼知道，意味著需要精確到每個(gè)像素的坐標(biāo)。而文生圖模型生成的地圖，本質(zhì)上就是一張「圖片」，沒(méi)有任何分層、標(biāo)注、坐標(biāo)信息。

最直覺(jué)的方案是讓多模態(tài)大模型（如 Gemini 3 Pro）直接看圖返回坐標(biāo)。作者實(shí)測(cè)后發(fā)現(xiàn)完全行不通——VLM輸出的像素坐標(biāo)誤差極大，同一張圖問(wèn)兩次能給出差很遠(yuǎn)的答案。

這是大模型的本質(zhì)局限：它們被訓(xùn)練出來(lái)是為了像人一樣理解圖片內(nèi)容，而不是當(dāng)尺子用——人也遠(yuǎn)不可能肉眼看出精確坐標(biāo)。

加網(wǎng)格輔助呢？作者也試了——給圖片打上參考線，然后讓 VLM 看著網(wǎng)格定位，再加自我審查循環(huán)不斷糾偏。有效，但只對(duì)建筑、可交互元素這種「小目標(biāo)」非常勉強(qiáng)地能用。對(duì)于「可行走區(qū)域」這種大范圍、不規(guī)則的區(qū)域標(biāo)注，幾乎不可解。

真實(shí)游戲地圖中，「可行走區(qū)域」可能是通過(guò)幾百幾千個(gè) 16×16px 的小方塊拼出來(lái)的。讓大模型一個(gè)個(gè)標(biāo)？token 都不夠燒的。

作者甚至挨個(gè)問(wèn)了所有頂尖模型，沒(méi)有一個(gè)能給出可行的方案。

靈感的瞬間：讓AI涂色，讓代碼算坐標(biāo)

轉(zhuǎn)折點(diǎn)來(lái)自一個(gè)「換位思考」的瞬間——如果是一個(gè)真人，要在地圖上把所有可行走區(qū)域標(biāo)出來(lái)，他會(huì)怎么做？

可以直接拿水彩筆，把可行走區(qū)域涂出來(lái)。這連小孩子都能做。

然后，只要把「涂之前」和「涂之后」的兩張圖做像素級(jí)色差對(duì)比，就能精確算出所有被涂抹區(qū)域的坐標(biāo)。某個(gè)像素顏色變了，說(shuō)明被涂抹了；顏色沒(méi)變，就沒(méi)被涂抹。代碼層面，這是一段完全確定性、不依賴任何AI的計(jì)算。

那么問(wèn)題來(lái)了：讓AI涂色這件事，做得到嗎？

答案是：做得到。

而且能做到的工具，就是和「畫地圖」用的同一類——文生圖大模型。

作者把文生圖大模型作為「識(shí)圖工具」使用——把原圖作為參考，讓它用半透明的青色覆蓋出所有可行走區(qū)域。

然后用一段固定的代碼，逐 tile 比較兩張圖的色彩差異，檢測(cè)青色偏移：

強(qiáng)證據(jù)：ΔG ≥ 18 且 ΔB ≥ 18 且 ΔR ≤ 8

弱證據(jù)：ΔG ≥ 10 且 ΔB ≥ 10 且 ΔR ≤ 14

最終得到精確的可行走網(wǎng)格。

這就是WorldX的一個(gè)關(guān)鍵實(shí)現(xiàn)——「疊加標(biāo)注 + 差異定位」。

它把問(wèn)題拆成了兩半：讓AI做它擅長(zhǎng)的事（畫出位置），讓CV算法做AI不擅長(zhǎng)的事（算出精確坐標(biāo)）。生成式AI的不確定性輸出被轉(zhuǎn)化成了確定性的CV計(jì)算，這是整個(gè)管線能穩(wěn)定跑起來(lái)的關(guān)鍵。

有意思的是， WorldX 開源后沒(méi)幾天，Google DeepMind發(fā)布了Vision Banana 論文（arXiv:2604.20329），系統(tǒng)性地驗(yàn)證了"圖像生成模型天然具備強(qiáng)大視覺(jué)理解能力，可以通過(guò)色彩編碼輸出完成分割、深度估計(jì)等視覺(jué)任務(wù)"這一核心洞察。

WorldX在工程上獨(dú)立摸索出了同一個(gè)方向——不讓VLM 直接報(bào)坐標(biāo)，而是讓圖像編輯模型涂色，再用色差計(jì)算提取精確坐標(biāo)——這或許說(shuō)明這條路的直覺(jué)是正確的。當(dāng)然兩者的具體實(shí)現(xiàn)不同：Vision Banana需要指令微調(diào)，WorldX則是 zero-shot的純工程方案。

多色彩區(qū)分+自我審查：把不可能變成穩(wěn)定可用

可行走區(qū)域的問(wèn)題解了，還有一個(gè)相關(guān)問(wèn)題——當(dāng)?shù)貓D上有多個(gè)不同的功能區(qū)（當(dāng)鋪、算命攤、菩薩像）時(shí)，怎么知道哪個(gè)色塊對(duì)應(yīng)哪個(gè)？

很簡(jiǎn)單：用不同顏色區(qū)分。當(dāng)鋪涂紅色，算命攤涂藍(lán)色，菩薩像涂黃色——色差定位時(shí)按顏色歸類。

為了避免色彩太多導(dǎo)致模型標(biāo)注錯(cuò)亂，作者限制了每次最多標(biāo)注4個(gè)元素，分批進(jìn)行。

然后還有一個(gè)設(shè)計(jì)——自我審查 + 約束累積：

每生成完一輪地圖或標(biāo)注，系統(tǒng)會(huì)把結(jié)果發(fā)給視覺(jué)審查 LLM 做結(jié)構(gòu)化 Review。如果不通過(guò)，反饋不會(huì)被當(dāng)作「重新開始」的理由——而是被轉(zhuǎn)化成中文約束，追加（不是替換）到下一次 Prompt 中。

每一輪生成都「記住」了之前的教訓(xùn)，約束越來(lái)越精確，整個(gè)過(guò)程像漏斗一樣逐步收斂。

這套機(jī)制貫穿整個(gè)生成管線——從地圖生成到功能區(qū)定位、可交互元素定位、可行走區(qū)域標(biāo)注，每一步都有「生成 → 審查 → 約束注入 → 重試」的循環(huán)。

整個(gè)地圖生成管線一共6步：

1. 生成全景地圖（帶審查重試，最多4次）

2. 壓縮工作圖（降低下游 token 開銷）

3. 三路并行：功能區(qū)定位 + 可交互元素定位 + 可行走區(qū)域標(biāo)注（每一路都有自己的審查重試）

4. 像素級(jí)計(jì)算可行走網(wǎng)格（純 CV，不依賴 LLM）

5. 坐標(biāo)映射 + 拼裝 Tiled JSON（標(biāo)準(zhǔn)游戲地圖格式，引擎可直接加載）

整個(gè)流程跑下來(lái)，token 成本被作者控制到一個(gè)相當(dāng)可控的水平（生成一個(gè)世界只需約3～18萬(wàn)token）——他在博客里寫下了一句很有溫度的話：「我希望這最終能成為一種普惠的、人人可用的架構(gòu)，在一線大模型廠商不斷漲價(jià)、限流、砍權(quán)益的情況下，更加促使了我對(duì)這一點(diǎn)的堅(jiān)持。當(dāng)然還有個(gè)原因是我錢不夠?！?/p>

AI角色怎么「活」起來(lái)？Tick循環(huán)+三層記憶+雙維度情緒

世界生成完畢，Server加載配置，模擬引擎啟動(dòng)。從這一刻起，所有角色的行為完全由AI自主驅(qū)動(dòng)。

引擎以Tick為基本時(shí)間單位運(yùn)行（默認(rèn)每Tick = 游戲內(nèi) 30 分鐘）。每個(gè)Tick內(nèi)部都是一套精心編排的流程：

1. 決策波（并行）：所有可決策角色同時(shí)走「感知環(huán)境 → 構(gòu)建動(dòng)作菜單 → LLM決策」

2. 對(duì)話調(diào)度（沖突消解）：貪心算法分配，每個(gè)角色每 Tick 最多參與一個(gè)對(duì)話會(huì)話

3. 動(dòng)作執(zhí)行：非對(duì)話動(dòng)作串行（避免共享狀態(tài)沖突），對(duì)話會(huì)話并行

4. 微反思（每模擬小時(shí)觸發(fā)）：從近期經(jīng)歷提煉洞察，調(diào)整情緒和關(guān)注焦點(diǎn)

5. 跨日轉(zhuǎn)場(chǎng)：一天結(jié)束時(shí)觸發(fā)深度反思、記憶衰減、狀態(tài)快照

記憶系統(tǒng)作者用了一個(gè)透明的四維加權(quán)評(píng)分：

score = relevance × 3 + recency × 2 + importance × 2 + emotionalIntensity × 1

為什么不用向量數(shù)據(jù)庫(kù)？

作者的解釋相當(dāng)樸素：在這種 Agent 系統(tǒng)里，可調(diào)試比精度更重要。角色'總忘記重要的事'？把importance權(quán)重調(diào)高。'總沉浸在過(guò)去'？把 recency 調(diào)高。權(quán)重是透明的，改完馬上能驗(yàn)證。向量數(shù)據(jù)庫(kù)在這個(gè)場(chǎng)景下反而是個(gè)黑盒。

記憶還有完整的生命周期——衰減、鞏固、淘汰。被頻繁回憶的、情感強(qiáng)烈的、重要的記憶會(huì)被鞏固為長(zhǎng)期記憶；其余的逐漸淡忘。

「人類也會(huì)遺忘，然而這非但不是 bug，還是超級(jí) feature。適當(dāng)?shù)倪z忘是記憶迭代、重組的前提，是信息的壓縮、理解、泛化?！棺髡咴诓┛屠飳懙?。

情緒用雙維度模型——Valence（效價(jià)）+ Arousal（喚醒度），能表達(dá)比單標(biāo)簽豐富得多的情緒狀態(tài)：興奮、焦慮、平和、憤怒。情緒只在「明顯波動(dòng)」時(shí)才對(duì)其他角色可見(jiàn)，避免了「每個(gè)人都是情緒透明人」的不真實(shí)感。

與斯坦福Generative Agents的對(duì)比

「Generative Agents 證明了'AI 角色可以涌現(xiàn)出有趣的社會(huì)行為'，WorldX 在此基礎(chǔ)上進(jìn)一步回答了'怎么讓任何人描述一句話就能擁有一個(gè)自己的 AI 世界'。」

一個(gè)開發(fā)者的婚假10天

最后說(shuō)一件讓人印象深刻的事——這個(gè)項(xiàng)目是作者在10天婚假里獨(dú)立爆肝出來(lái)的。

聲明：此項(xiàng)目由本人在婚假10天中爆肝vibe coding完成，時(shí)間確實(shí)有限，還有很多待優(yōu)化的點(diǎn)會(huì)后續(xù)實(shí)現(xiàn)

10天，從零到一個(gè)能跑的「一句話造世界」系統(tǒng)。包括：

• 一套完整的多模態(tài)生成管線（含6步地圖生成 + 角色立繪 + 摳圖）

• 一套基于 Tick 的 AI 模擬引擎（含三層記憶、雙維度情緒、對(duì)話調(diào)度、反思機(jī)制）

• 一個(gè) Phaser + React 的客戶端（含尋路、動(dòng)畫、轉(zhuǎn)場(chǎng)、回放、多時(shí)間線）

• 一套上帝系統(tǒng)、雙語(yǔ)支持……

這或許才是vibe coding時(shí)代真正改變了什么——讓一個(gè)獨(dú)立開發(fā)者，用業(yè)余時(shí)間也能做出過(guò)去需要一個(gè)團(tuán)隊(duì)的事。

未來(lái)

身臨其境、世界走廊、視覺(jué)小說(shuō)

作者列出了幾個(gè)讓人期待的方向：

• 身臨其境：用戶附身到某個(gè)角色（或自創(chuàng)角色）直接進(jìn)入世界，和 AI 角色們一起生活、對(duì)話、影響走向

• 世界畫廊：搞一個(gè)社區(qū)，大家分享自己創(chuàng)造的世界，像應(yīng)用商店一樣瀏覽各種光怪陸離的 AI 世界

• 視覺(jué)小說(shuō)：根據(jù)一段故事大綱，讓系統(tǒng)自動(dòng)演繹為完整的視覺(jué)小說(shuō)

• 無(wú)限地圖：目前地圖大小是固定的，理論上可以實(shí)現(xiàn)角色接近邊界時(shí)就自動(dòng)生成新的地圖

• 多場(chǎng)景聯(lián)動(dòng)：讓一個(gè)世界的角色「走進(jìn)」另一個(gè)世界，產(chǎn)生跨世界互動(dòng)