非羊 整理自 凹非寺量子位 | 公眾號(hào) QbitAI

從OpenAI的Sora到Google DeepMind的Genie，2025年無疑是世界模型（World Model）的爆發(fā)之年。

然而，繁榮的背后是概念的混戰(zhàn)：世界模型究竟是什么？是強(qiáng)化學(xué)習(xí)里用來訓(xùn)練Agent的環(huán)境模擬器？是看過所有YouTube視頻的預(yù)測模型？還是一個(gè)能生成無限3D資產(chǎn)的圖形引擎？

近日，一篇題為《From Masks to Worlds: A Hitchhiker’s Guide to World Models》的論文在arXiv上引發(fā)關(guān)注。來自MeissonFlow Research、Georgia Tech、UCLA和UC Merced的聯(lián)合研究團(tuán)隊(duì)提出了一份通往AGI的“建造指南”。

與羅列數(shù)百篇論文的傳統(tǒng)綜述不同，作者團(tuán)隊(duì)在文中專注于如何構(gòu)建真正的世界模型，作者團(tuán)隊(duì)指出：正如LeCun所言，通往真正世界模型（World Model）的道路可能并非自回歸，而是一條由“掩碼（Masking）”鋪就的窄路。

從BERT到MAE/MaskGIT，再到如今的Genie-3與離散擴(kuò)散（Discrete Diffusion）模型，Masking正在統(tǒng)一不同模態(tài)之間的表征。

論文認(rèn)為，從早期的掩碼預(yù)訓(xùn)練（Masked Modeling）出發(fā)，經(jīng)過統(tǒng)一架構(gòu)與可交互式閉環(huán)，并通過設(shè)計(jì)持久的記憶系統(tǒng)，是構(gòu)建真正的世界模型最有希望的技術(shù)路徑。

這份“指南”將World Model的演進(jìn)劃分為五個(gè)階段，并用一張全景圖串聯(lián)起了從BERT到Genie-3的十年AI進(jìn)化史。本文將深度拆解這份“世界模型建造指南”，看Masking如何從一個(gè)預(yù)訓(xùn)練Trick，一步步進(jìn)化為統(tǒng)治多模態(tài)世界的終極法則。

正本清源：世界模型不是模型，而是一個(gè)“系統(tǒng)”

在討論技術(shù)路線之前，論文首先清理了地基：到底什么是World Model？

行業(yè)內(nèi)目前的共識(shí)往往是破碎的。有人認(rèn)為它是一個(gè)視頻生成器（如Sora），有人認(rèn)為它是一個(gè)交互環(huán)境（如Genie）

但這篇論文認(rèn)為，真正的世界模型（True World Model）不能是一個(gè)單體的黑盒，它需要是一個(gè)由三大核心子系統(tǒng)合成的有機(jī)整體：

1. 生成系統(tǒng)（Generative Heart,$G$）：這是造夢的引擎。它不僅要預(yù)測下一幀，還要模擬世界狀態(tài)的演化（Dynamics）、將隱變量映射為觀測（Observation），并預(yù)測任務(wù)相關(guān)的回報(bào)（Reward）。它是世界的物理法則載體。

2. 交互系統(tǒng)（Interactive Loop,$F,C$）：這是讓世界“活”起來的關(guān)鍵。世界不能只是一部放映的電影，它必須包含推斷器（Inference Filter）來理解現(xiàn)狀，以及策略（Policy）來做出行動(dòng)。沒有這個(gè)閉環(huán)，Sora再逼真也只是視頻，不是模擬器。

3. 記憶系統(tǒng)（Memory System,$M$）：這是對(duì)抗熵增的防線。它負(fù)責(zé)通過循環(huán)狀態(tài)更新，確保世界在時(shí)間軸上的持久連貫。沒有記憶，世界就是一連串破碎的幻覺。

基于這個(gè)嚴(yán)格的定義，作者繪制了一張跨越五大階段的進(jìn)化路線圖，將過去十年的AI進(jìn)展精準(zhǔn)歸位。

而貫穿這五個(gè)階段的靈魂線索，正是Masking

Stage I：Masking范式——被低估的“創(chuàng)世法則”

為什么是Mask（掩碼）

在大多數(shù)人的認(rèn)知里，Masking僅僅是BERT時(shí)代用來做“完形填空”的預(yù)訓(xùn)練技巧。但論文在Stage I部分提出了一個(gè)極其深刻的洞察：Masking不僅僅是技巧，它是跨模態(tài)通用的“生成原則”，更是優(yōu)于自回歸的“創(chuàng)世法則”。

語言：從填空到“動(dòng)態(tài)去噪”

在NLP領(lǐng)域，BERT確立了“雙向上下文感知”的優(yōu)勢，但長期以來，生成任務(wù)一直被GPT系列的“從左到右”自回歸（AR）統(tǒng)治。

然而，變局正在發(fā)生。

論文重點(diǎn)提及了Discrete Diffusion（離散擴(kuò)散）的崛起。

以Google的Gemini Diffusion和Inception Labs的Mercury為例，這些模型不再是簡單的一次性填空，而是將Masking進(jìn)化為一種迭代去噪（Iterative Denoising）過程。

• 它們將固定比例的掩碼替換為帶時(shí)間索引的噪聲調(diào)度。
• 模型學(xué)會(huì)了從完全的混沌（全Mask）中，一步步“雕刻”出清晰的文本。

這些工業(yè)級(jí)系統(tǒng)證明，這種動(dòng)態(tài)掩碼范式在生成質(zhì)量和推理速度上已經(jīng)可以比肩甚至超越傳統(tǒng)的自回歸基線。

視覺：并行生成的王者

在視覺領(lǐng)域，Masking的統(tǒng)治力更加穩(wěn)固。

表征學(xué)習(xí)MAE（Masked Autoencoders）證明了我們只需要看高比例遮擋的像素就能重構(gòu)整張圖片，這種高比例遮擋迫使模型學(xué)到了極強(qiáng)的語義表征。

高效生成MaskGITMUSE是這一領(lǐng)域的里程碑。它們利用Masked Generative Transformers（MGT）實(shí)現(xiàn)了并行解碼。相比于逐像素生成的AR模型或計(jì)算沉重的連續(xù)擴(kuò)散模型，Masking范式在保持高保真度的同時(shí)，帶來了極致的效率。

最新的Meissonic更是證明，Masked Generative Transformers（MGT）可以在高分辨率文生圖任務(wù)上，與最頂級(jí)的Diffusion模型掰手腕。

△ Figure 1由Meissonic生成的圖像

多模態(tài)的普適性

VideoMAE的時(shí)空管道掩碼，到wav2vec 2.0的音頻掩碼，再到Point-BERT的3D點(diǎn)云掩碼，Masking證明了自己是能統(tǒng)一所有數(shù)據(jù)形態(tài)的通用語言。

論文總結(jié)道：Stage I確立了“Mask-Infill-Generalize（遮擋-補(bǔ)全-泛化）”作為構(gòu)建世界模型的地基。

Stage II：統(tǒng)一架構(gòu)——Masking讓圖文“同頻共振”

地基打好后，下一步是架構(gòu)的統(tǒng)一。目前的AI領(lǐng)域雖然號(hào)稱多模態(tài)，但往往是“拼湊”的：用LLM處理文本，用Diffusion處理圖像，中間用膠水層粘起來。

Stage II的目標(biāo)是Unified Models（統(tǒng)一模型）用同一個(gè)Backbone（骨干），在同一個(gè)Paradigm（范式）下，處理和生成所有模態(tài)。

但在如何實(shí)現(xiàn)“統(tǒng)一”的路徑上，論文清晰地梳理出了兩大陣營的博弈：Language-Prior（語言先驗(yàn)）Visual-Prior（視覺先驗(yàn)）

1.語言先驗(yàn)建模（Language-Prior Modeling）

這是目前最主流的路徑，即“將視覺任務(wù)納入語言模型框架”。但在這一陣營內(nèi)部，正發(fā)生著一場范式迭代：

主流：Autoregressive（AR）路線：

這是Emu3、Chameleon、VILA-U等模型的選擇。它們沿用了GPT式的Next-Token Prediction，試圖用自回歸邏輯統(tǒng)一一切。

局限：雖然邏輯推理強(qiáng)，但在視覺生成上，自回歸的“單向性”往往難以處理圖像的全局結(jié)構(gòu)。

突圍：Mask-based（Discrete Diffusion）路線：

這是論文重點(diǎn)標(biāo)注的“新貴分支”。以MMaDA、Lumina-DiMOO和LaviDa-O為代表。

• 核心創(chuàng)新：它們雖然堅(jiān)持“語言優(yōu)先”，但拋棄了自回歸，轉(zhuǎn)而采用Mask-based（掩碼）/Discrete Diffusion（離散擴(kuò)散）范式。
• 這意味著，它們在保持語言理解能力的同時(shí)，利用Masking的雙向注意力機(jī)制來提升視覺生成的質(zhì)量。這被作者視為Masking范式在語言建模內(nèi)部的一次勝利。

2.視覺先驗(yàn)建模（Visual-Prior Modeling）：從看見到讀寫

另一條路則是從視覺模型出發(fā)，反向兼容文本。

• 基于潛在擴(kuò)散模型（Latent Diffusion）UniDiffuser
• 基于掩碼圖像建模（MIM）Muddit

盡管AR-based模型目前聲量巨大，但Lumina-DiMOOMuddit等工作證明，這種架構(gòu)不僅能理解圖文，還能在雙向上下文中實(shí)現(xiàn)更精細(xì)的生成控制，這才是真正能讓“語言邏輯”與“視覺生成”完美兼容的那個(gè)最大公約數(shù)。

Stage III：交互式生成——Masking驅(qū)動(dòng)的“模擬器”

這是World Model真正開始變得有趣的時(shí)刻。當(dāng)模型不再只是預(yù)測下一幀，而是開始響應(yīng)用戶的Action（動(dòng)作）時(shí)，它就從“放映機(jī)”變成了“模擬器”。

這就是Stage III：Interactive Generative Models。從這一階段開始，作者不再局限于Masking范式，這是因?yàn)檫@階段開始Masking范式相關(guān)的工作還比較少。

從GameGAN到Genie

GameGAN：早期的嘗試，用GAN模仿《吃豆人》，雖然能玩，但泛化性有限。

• Genie-1：
• DeepMind的突破之作。它從互聯(lián)網(wǎng)視頻中無監(jiān)督地學(xué)習(xí)“潛在動(dòng)作（Latent Actions）”。Genie-1的核心正是基于MaskGIT的離散掩碼生成架構(gòu)。它通過預(yù)測被Mask掉的未來幀，學(xué)會(huì)了物理規(guī)律。

• Genie-2：
• 將能力擴(kuò)展到了準(zhǔn)3D空間，引入了更強(qiáng)的對(duì)象恒常性。
• Genie-3：
• 這是目前的SOTA。它實(shí)現(xiàn)了720p分辨率、24fps幀率的實(shí)時(shí)交互，并能維持分鐘級(jí)的連貫游玩。

為什么Masking對(duì)交互至關(guān)重要？

在實(shí)時(shí)交互場景下，效率就是一切。Mask-based架構(gòu)（如MaskGIT、Muse）并行解碼能力，使得Genie等模型能夠在極短時(shí)間內(nèi)生成高質(zhì)量的下一幀，從而閉合“感知-行動(dòng)”的低延遲回路。

相比之下，傳統(tǒng)的自回歸視頻生成模型（逐Token預(yù)測）在實(shí)時(shí)性上往往捉襟見肘。

論文還提到了GameNGenMatrix-Game等基于擴(kuò)散的實(shí)時(shí)引擎，它們共同證明了：要造一個(gè)可玩的世界，Masking/Diffusion范式是目前最有希望的路線之一。

然而，盡管Genie-3看起來很美，但它依然患有嚴(yán)重的“健忘癥”。玩了幾分鐘后，場景可能會(huì)莫名其妙地漂移，之前建好的房子可能回頭就不見了。這引出了下一階段的挑戰(zhàn)。

Stage IV：記憶與一致性——對(duì)抗世界的崩塌

如果你在《我的世界》里造了一座塔，關(guān)掉游戲明天再來，它必須還在那里。

這就是Stage IV要解決的核心問題：Memory & Consistency（記憶與一致性）

論文指出，目前的視頻生成模型（包括Genie）大多依賴隱式的KV Cache或有限的Context Window。

這種機(jī)制在長程推理中極其脆弱，容易導(dǎo)致“災(zāi)難性遺忘（Catastrophic Forgetting）”和“狀態(tài)漂移（State Drift）”

沒有記憶，世界模型只能是“反應(yīng)式”的，而非“持久”的。為了解決這個(gè)問題，論文梳理了三類解決方案：

1. 外部化記憶（Externalized Memory）：像RAG（檢索增強(qiáng)生成）MemGPT那樣，給模型外掛一個(gè)可讀寫的硬盤。這讓知識(shí)變得可編輯、可追溯。

2. 架構(gòu)級(jí)持久化（Extending Capacity）：僅僅拉長Context Window是不夠的。論文探討了Mamba這類線性時(shí)間狀態(tài)空間模型（SSM）以及Ring Attention等技術(shù)，試圖從架構(gòu)底層實(shí)現(xiàn)“無限上下文”，讓模型能讀完一整本書或玩一整天游戲而不“斷片”。

3.一致性治理（Regulating Consistency）：這是最難的一點(diǎn)。針對(duì)視頻生成中的漂移，論文提到了FramePack、Mixture of Contexts（MoC）以及VMem。這些技術(shù)試圖利用顯式的3D結(jié)構(gòu)或稀疏注意力，為流動(dòng)的像素世界打上穩(wěn)固的“時(shí)空樁”。

“一致性不是把上下文拉長就能解決的。它需要明確的記憶策略——記住什么、遺忘什么、如何更新?！?/p>

Stage V：終極形態(tài)——從“模擬器”到“科學(xué)儀器”

當(dāng)生成系統(tǒng)（Masking驅(qū)動(dòng)）、交互系統(tǒng)（實(shí)時(shí)響應(yīng)）和記憶系統(tǒng)（持久一致）完美融合，我們將跨越一道門檻，進(jìn)入Stage V：True World Models（真正的世界模型）

此時(shí)模型將涌現(xiàn)出三大本質(zhì)特征：

1. Persistence（持久性）：世界擁有獨(dú)立的時(shí)間軸，歷史獨(dú)立于單次會(huì)話存在。世界在你離開后，依然在演化。
2. Agency（主體性）：世界中棲息著多智能體（Agents），它們擁有目標(biāo)、記憶和社交關(guān)系，而非簡單的NPC。
3. Emergence（涌現(xiàn)性）：宏觀的社會(huì)規(guī)律、經(jīng)濟(jì)周期、文明沖突，從微觀的主體交互中自然涌現(xiàn)，而非腳本預(yù)設(shè)。

三大終極難題

要到達(dá)這里，論文列出了橫亙在研究員面前的三座大山：

• The Coherence Problem（連貫性/評(píng)估難題）：當(dāng)世界是自生成的，誰來定義什么是“真”？我們需要新的評(píng)估體系來衡量一個(gè)虛構(gòu)世界的邏輯自洽性。
• The Compression Problem（壓縮/擴(kuò)展難題）：歷史是無限增長的。世界模型必須學(xué)會(huì)像人類一樣“抽象記憶”，只保留因果相關(guān)的狀態(tài)，丟棄噪聲，否則計(jì)算量將導(dǎo)致系統(tǒng)崩潰。
• The Alignment Problem（對(duì)齊/安全難題）：這比對(duì)齊一個(gè)ChatGPT難上平方倍。我們不僅要對(duì)齊世界的“物理法則”（生成器），還要對(duì)齊這個(gè)世界里涌現(xiàn)出的億萬智能體社會(huì)的“社會(huì)動(dòng)態(tài)”。

我們?yōu)槭裁葱枰芯渴澜缒Ｐ停?/p>

為什么要費(fèi)盡心機(jī)，沿著Masking這條窄路構(gòu)建一個(gè)True World Model？

這篇論文在結(jié)尾給出了一個(gè)極具浪漫色彩的答案：我們建造世界，不是為了逃避現(xiàn)實(shí)，而是為了理解現(xiàn)實(shí)。

一旦跨越了Stage V的門檻，World Model將從娛樂工具升級(jí)為“科學(xué)儀器（Scientific Instrument）”。

經(jīng)濟(jì)學(xué)家可以在其中運(yùn)行會(huì)導(dǎo)致現(xiàn)實(shí)崩潰的貨幣政策實(shí)驗(yàn)；社會(huì)學(xué)家可以在其中觀察文明的演化與衰亡；認(rèn)知科學(xué)家可以在其中探尋意識(shí)誕生的瞬間。

從BERT的第一個(gè)[MASK]標(biāo)簽，到未來那個(gè)生生不息的數(shù)字宇宙，Masking范式始終貫穿其中。

對(duì)于所有致力于構(gòu)建AGI的研究者來說，這篇論文提供了一個(gè)至關(guān)重要的視角：回頭看看Masking吧，通往未來的地圖，也許就藏在那些被遮住的Token里。

參考資料
論文標(biāo)題：From Masks to Worlds: A Hitchhiker’s Guide to World Models
論文鏈接：https://arxiv.org/abs/2510.20668
相關(guān)項(xiàng)目：https://github.com/M-E-AGI-Lab/Awesome-World-Models