2025 年 8 月 5 日，Google DeepMind 宣布推出Genie 3，這是一個通用世界模型，能夠根據(jù)文本提示生成各種可互動的 3D 環(huán)境。該模型在 720p 分辨率下以 24 幀/秒實時生成環(huán)境，用戶可以像玩游戲一樣自由移動，并且場景在幾分鐘內(nèi)保持一致。此舉標志著 DeepMind 在世界模型領(lǐng)域的又一次重要躍進，距上一代 Genie 2 發(fā)布僅一年多時間。

我們梳理了目前Google官方報告和參與內(nèi)測的用戶的反饋，以及Genie3背后團隊的深度訪談，為大家提供核心信息的匯總，更好了解這個模型。

Google官方博客 ：從文字到世界，Genie 3 是什么？

邁向世界模擬

在 Google DeepMind，我們已超過十年時間在模擬環(huán)境領(lǐng)域進行開創(chuàng)性研究，從訓(xùn)練智能體到掌握實時策略游戲 ，再到為開放式學(xué)習(xí)和機器人技術(shù)開發(fā)模擬環(huán)境。這項工作促使我們開發(fā)了世界模型，即能夠利用其對世界的理解來模擬世界某些方面的 AI 系統(tǒng)，使智能體能夠預(yù)測環(huán)境將如何演變以及其行為將如何影響環(huán)境。

世界模型也是通往通用人工智能（AGI）道路上的關(guān)鍵里程碑，因為它們使得在豐富的模擬環(huán)境中對人工智能代理進行無限課程訓(xùn)練成為可能。去年，我們推出了首個基礎(chǔ)世界模型 Genie 1 和 Genie 2，它們能夠為代理生成新環(huán)境。我們還繼續(xù)通過我們的模型 Veo 2 和 Veo 3 推動視頻生成技術(shù)的最前沿，這些模型展現(xiàn)出對直觀物理學(xué)的深刻理解。

這些模型標志著在模擬世界不同能力方面的進展。Genie 3 是我們首個允許實時交互的世界模型，同時與 Genie 2 相比，它還提高了連貫性和真實性。

核心能力

官方對 Genie 3 的能力做了簡潔描述：該模型能夠從任意文本提示生成可互動世界，實時輸出 720p、24fps 的動態(tài)環(huán)境，且場景在長達一分鐘的交互中保持物理一致；用戶還可以通過追加提示改變天氣或加入人物。以下是 Genie 3 的主要特性：

• 模擬世界物理屬性：該模型能呈現(xiàn)水、光線等自然現(xiàn)象，以及復(fù)雜的環(huán)境交互。

提示示例：在佛羅里達的人行道上行走，一側(cè)是雙向車道，另一側(cè)是大海；颶風(fēng)逼近，狂風(fēng)呼嘯，海浪拍打著路面；智能體左側(cè)有欄桿分隔海水與道路；道路沿海岸延伸，前方可見一座短橋；海浪不斷越過欄桿沖上路面；棕櫚樹在風(fēng)中彎折；大雨滂沱，智能體穿著雨衣；真實世界第一視角。

• 模擬自然世界：能生成豐富的生態(tài)系統(tǒng)，涵蓋動物行為與復(fù)雜植物。

提示示例：沿冰川湖畔奔跑，探索森林中的分叉小徑，穿越流動的山間溪流；背景是壯麗的雪山與松樹林，豐富的野生動物讓旅程充滿樂趣。

• 模擬動畫與虛構(gòu)場景：能激發(fā)想象力，生成奇幻場景與富有表現(xiàn)力的動畫角色。

提示示例：鮮明的 3D 風(fēng)格，一只毛茸茸的可愛生物在奇幻景觀中的彩虹橋上跳躍；生物小巧圓潤，皮毛呈現(xiàn)日出般的暖色調(diào) —— 橙、黃、粉漸變交融；最醒目的是一對豎起的大耳朵，形似德國牧羊犬，與圓潤身形形成俏皮反差；它用四條短腿跑過彩虹橋時，皮毛如波浪般起伏，充滿動感與活力；彩虹橋優(yōu)雅地橫跨奇幻 landscape，周圍或許有浮島、發(fā)光植物與旋轉(zhuǎn)云層；光線明亮歡快，為生物與環(huán)境鍍上暖光；整體傳遞出喜悅、好奇與無限活力，展現(xiàn)生物的頑皮與世界的魔力，喚起觀者的童真與對冒險的想象。

• 探索特定地點與歷史場景：能突破地理與時間限制，呈現(xiàn)特定地點與過往時代。

提示示例：真實風(fēng)格的阿爾卑斯山區(qū)環(huán)境：陡峭的巖石懸崖與狹窄的峽谷中布滿碎石；巖石以灰白為主，部分崖面覆有綠色植被；峽谷頂端延伸出茂密的針葉林與草地景觀；整體凸顯粗獷的自然之美與極端地形特征。

• 突破實時交互極限

Genie 3 實現(xiàn)高度可控性與實時交互，離不開重大技術(shù)突破。在逐幀自回歸生成過程中，模型需納入隨時間累積的歷史軌跡 —— 例如，當用戶一分鐘后重返某地時，模型需調(diào)用一分鐘前的相關(guān)信息。為實現(xiàn)實時交互，系統(tǒng)需每秒多次響應(yīng)新輸入并完成計算。

• 長期環(huán)境一致性

AI 生成的世界要具備沉浸感，必須在長時間內(nèi)保持物理一致性。但自回歸生成環(huán)境比生成完整視頻更具技術(shù)挑戰(zhàn)，因為誤差會隨時間累積。盡管如此，Genie 3 生成的環(huán)境仍能在數(shù)分鐘內(nèi)保持穩(wěn)定，視覺記憶可追溯至一分鐘前。

提示示例：第一視角運動相機，記錄用滾筒刷給棕色房屋刷漆的過程。

建筑左側(cè)的樹木在整個交互過程中始終保持一致，無論是否出現(xiàn)在視野中。

Genie 3 的一致性是一種自然涌現(xiàn)的能力。NeRFs 和高斯濺射等方法也能生成可導(dǎo)航的一致性 3D 環(huán)境，但依賴明確的 3D 模型；而 Genie 3 生成的世界更動態(tài)豐富，因為它基于世界描述和用戶行為逐幀創(chuàng)建。

提示示例：第一視角無人機鏡頭，在冰島的狹窄峽谷中高速飛行，谷底有河流，巖石覆有苔蘚，正值黃金時刻；真實世界場景。

• 可提示的世界事件

除導(dǎo)航輸入外，Genie 3 還支持更靈活的文本交互 —— 即 “可提示的世界事件”。

這類事件能改變生成的世界（如調(diào)整天氣、引入新物體或角色），超越單純的導(dǎo)航控制，豐富交互體驗。

這一能力還能擴展 “反事實場景”（即 “如果…… 會怎樣”）的范圍，幫助智能體通過經(jīng)驗學(xué)習(xí)應(yīng)對突發(fā)情況。

推動具身智能體研究

為了測試 Genie 3 創(chuàng)建的世界對未來智能體訓(xùn)練的兼容性，我們?yōu)樽罱姹镜?SIMA 智能體生成了世界，這是我們用于 3D 虛擬環(huán)境的通用智能體。在每個世界中，我們指示智能體追求一組不同的目標，它通過向 Genie 3 發(fā)送導(dǎo)航動作來試圖實現(xiàn)這些目標。像任何其他環(huán)境一樣，Genie 3 并不了解智能體的目標，而是根據(jù)智能體的動作來模擬未來。

由于 Genie 3 能夠保持一致性，現(xiàn)在可以執(zhí)行更長的動作序列，從而實現(xiàn)更復(fù)雜的目標。我們預(yù)計這項技術(shù)將在我們邁向通用人工智能（AGI）的過程中發(fā)揮關(guān)鍵作用，并且智能體將在世界上扮演更重要的角色。

局限與挑戰(zhàn)

盡管 Genie 3 拓展了世界模型所能實現(xiàn)的范圍，但有必要承認其當前局限性：

• 有限的行動空間 。盡管可提示的世界事件允許進行廣泛的環(huán)境干預(yù)，但這些干預(yù)并非一定由代理自身執(zhí)行。代理可直接執(zhí)行的行動范圍目前仍受限制。

• 其他代理的交互與模擬 。在共享環(huán)境中準確模擬多個獨立代理之間的復(fù)雜交互，仍然是持續(xù)的研究挑戰(zhàn)。

• 真實世界位置的準確表示 。Genie 3 目前無法以完美的地理精度模擬真實世界位置。

• 文本渲染。 只有當輸入的世界描述中提供清晰易讀的文本時，才會生成。

• 交互時長有限。 該模型目前僅支持幾分鐘的連續(xù)交互，而非長時間。

責(zé)任

我們相信，基礎(chǔ)技術(shù)從一開始就需要對責(zé)任有深刻的承諾。Genie 3 中的技術(shù)創(chuàng)新，特別是其開放式和實時能力，為安全和責(zé)任帶來了新的挑戰(zhàn)。為了在最大化益處的同時應(yīng)對這些獨特風(fēng)險，我們與負責(zé)任發(fā)展與創(chuàng)新團隊緊密合作。

在 Google DeepMind，我們致力于以既能增強人類創(chuàng)造力又能限制非預(yù)期影響的方式開發(fā)我們一流的模型。隨著我們繼續(xù)探索 Genie 的潛在應(yīng)用，我們宣布將 Genie 3 作為一項有限的研究預(yù)覽發(fā)布，向一小部分學(xué)者和創(chuàng)作者提供早期訪問權(quán)限。這種做法使我們能夠在探索這一新領(lǐng)域的過程中收集至關(guān)重要的反饋和跨學(xué)科視角，并繼續(xù)加深我們對風(fēng)險及其適當緩解措施的理解。我們期待與社區(qū)進一步合作，以負責(zé)任的方式開發(fā)這項技術(shù)。

下一步

我們相信 Genie 3 是世界模型的一個重要時刻，它將開始對人工智能研究和生成式媒體等多個領(lǐng)域產(chǎn)生影響。為此，我們正在探索如何在將來讓更多測試者能夠使用 Genie 3。

Genie 3 可以為教育和培訓(xùn)創(chuàng)造新的機遇，幫助學(xué)生學(xué)習(xí)和專家積累經(jīng)驗。它不僅能提供廣闊的空間來訓(xùn)練機器人等智能體和自主系統(tǒng)，還能實現(xiàn)智能體性能的評估，并探索其弱點。

在每一步，我們都在探索我們的工作的意義，并為其造福人類而開發(fā)，安全且負責(zé)任。

可見即可游：Genie 3 的更多場景與玩法

官方視頻和第三方 Demo 網(wǎng)站（genie3.site）展示了 Genie 3 在真實場景中的生成能力：用戶可一鍵探索古城遺跡、瀑布峽谷、太空基地等多樣環(huán)境，并體驗火山噴發(fā)、漂浮島嶼、傳送門等動態(tài)事件。社區(qū)開發(fā)者更可通過一句文本提示，自由構(gòu)建可交互的關(guān)卡，制作邏輯解謎、角色對話，甚至生成一段風(fēng)格獨特的動畫短片。正如 The Decoder 所評論的，Genie 3 已初步具備“生成式游戲引擎”的雛形。

駕駛車輛行駛在爆發(fā)的火山旁邊

Genie 3 能夠生成完整的 3D 世界

電子游戲?qū)⒂肋h不一樣

最新深度訪談：它靠什么實現(xiàn)？

機器學(xué)習(xí)節(jié)目Machine Learning Street Talk發(fā)布了一期專題訪談，邀請 Genie 3 論文作者Jack Parker?Holder與Shlomi Fruchter詳細介紹模型設(shè)計和未來愿景。訪談指出，Genie 3 在架構(gòu)上融合了視頻生成技術(shù)和強化學(xué)習(xí)，采用自回歸方式按幀生成，并通過長期記憶模塊保持物體的一致性。他們強調(diào)，模型目前仍是研究原型，尚未公開接口，但未來有望與語言模型和三維 AI 相結(jié)合，成為開發(fā)者構(gòu)建互動內(nèi)容的基礎(chǔ)工具。這期節(jié)目還討論了世界模型對游戲產(chǎn)業(yè)、機器人訓(xùn)練和科學(xué)模擬的潛在影響，與 Jim Fan 所說的“游戲引擎 2.0”概念相呼應(yīng)。

TLDR ：

“三秒鐘創(chuàng)造世界”：節(jié)目用一句形象的例子來說明 Genie 3 的速度——你只需輸入“無人機飛過一片湖面”或“雪坡”，模型大約三秒就能生成這個逼真的世界，然后你可以在其中實時移動和互動。這一點讓它像即開即玩的游戲編輯器。

涌現(xiàn)出的記憶一致性：受訪者解釋，Genie 3 并未顯式編程記住物體位置，但世界會記住你離開時的狀態(tài)，當你轉(zhuǎn)頭再看，物體依舊存在。這種“可靠的記憶”是自回歸生成架構(gòu)的自然產(chǎn)物，也是世界模型與普通視頻模型的根本區(qū)別。

世代飛躍：上一代 Genie 2 的互動只有 10–20 秒，而 Genie 3 以 720p、24fps 的畫質(zhì)維持幾分鐘。Shlomi Fruchter 稱這是邁向通用世界模型的重要一步，因為長時間的一致性讓 AI 代理能完成復(fù)雜目標。

殺手級應(yīng)用：訓(xùn)練機器人：Jack Parker?Holder 指出，Genie 3 最大的用途不是娛樂，而是訓(xùn)練自動駕駛汽車和機器人。在虛擬世界中，可以反復(fù)觸發(fā)罕見事件（例如鹿突然跳入道路）來教會 AI 安全應(yīng)對。這比在真實道路上試驗更安全、更高效。

“YouTube 2.0”式的開放愿景：節(jié)目暢想這種技術(shù)可能催生新的內(nèi)容平臺——人們通過提示共同創(chuàng)建和探索互聯(lián)的世界，像升級版的 YouTube 或 VR 體驗。這種開放式創(chuàng)作也被稱為“世界事件可提示”，用戶不僅能導(dǎo)航，還能用文字改變天氣、加入角色。

世界模型是 AGI 的階梯：研究員強調(diào)，能模擬出多樣復(fù)雜世界的模型是通向通用人工智能的關(guān)鍵，因為它們?yōu)?AI 代理提供了無限的訓(xùn)練場。DeepMind 認為 Genie 3 為未來與語言模型和 3D AI 融合奠定了基礎(chǔ)。

當前局限：Genie 3 仍是研究預(yù)覽，動作空間有限，物理和地理精度欠佳，多代理互動和文字渲染有困難，持續(xù)互動時間只有幾分鐘。因此它還無法取代真實引擎，但已顯現(xiàn)出巨大潛力。

內(nèi)測用戶這樣評價 Genie 3：驚艷與不足并存

AI 研究者 Tejas Kulkarni 獲邀體驗 Genie 3。通過一整天的試用，他認為這是自己使用過的首個泛化性如此強且具有長期一致性的神經(jīng)世界模型。Tejas 總結(jié)了模型的亮點：

啟動迅速，既適用于游戲場景也能泛化到工業(yè)或真實環(huán)境；

他也指出了當前明顯的局限：

• 模型仍會在經(jīng)典物理實驗（如堆積木塔）中失敗，復(fù)雜指令序列也容易卡住；

• 社會與多智能體互動尚未解決，1 對 1 戰(zhàn)斗游戲無法實現(xiàn)；

• 行為動作有限，尚不能替代完整的游戲引擎；

• 盡管如此，他認為這種技術(shù)將在未來五年顛覆游戲行業(yè)，并可能成為實現(xiàn)強人工智能的“最后一塊拼圖”

一個新范式的起點

Genie 3 目前只向少數(shù)學(xué)術(shù)機構(gòu)和創(chuàng)作者提供研究預(yù)覽，DeepMind 希望通過逐步擴大測試來發(fā)現(xiàn)潛在風(fēng)險。The Decoder 指出，模型存在交互時長有限、動作受限、多代理不穩(wěn)定、地理信息缺失等技術(shù)瓶頸，但這些問題并不妨礙其成為未來 AI 訓(xùn)練和內(nèi)容創(chuàng)作的重要平臺。

從游戲視角來看，NVIDIA AI 負責(zé)人 Jim Fan 形容 Genie 3 預(yù)示著“游戲引擎 2.0”時代：未來無需顯式 3D 素材和渲染管線，開發(fā)者通過提示即可驅(qū)動一塊數(shù)據(jù)權(quán)重生成完整世界。DeepMind CEO Demis Hassabis 也指出，世界模型讓 AI 能在豐富模擬中自主學(xué)習(xí)，是通向 AGI 的關(guān)鍵。隨著模型與大型語言模型、3D 重建技術(shù)結(jié)合，實時生成的互動世界可能成為訓(xùn)練通用智能和構(gòu)建新媒體形態(tài)的基礎(chǔ)設(shè)施。

Genie 3 的發(fā)布標志著世界模型進入了可用、可玩的新階段：它不僅能根據(jù)文本生成高保真世界，還能讓用戶自由漫游、修改環(huán)境并保持記憶。盡管這一模型仍處于研究預(yù)覽階段，存在物理漏洞和多智能體限制，但其展現(xiàn)出的潛力讓人看到游戲開發(fā)、機器人訓(xùn)練甚至科學(xué)模擬的全新可能。正如一位內(nèi)測者所說，這也許是邁向真正 AGI 的“最后一塊拼圖”。

參考資料：

官方blog

https://deepmind.google/discover/blog/genie-3-a-new-frontier-for-world-models/

官方摘要

https://www.linkedin.com/posts/googledeepmind_introducing-genie-3-a-groundbreaking-world-activity-7358499030621908992-Mqr_/

媒體報道

https://www.theverge.com/news/718723/google-ai-genie-3-model-video-game-worlds-real-time

https://the-decoder.com/google-deepminds-genie-3-generates-interactive-3d-worlds-that-stay-consistent-for-multiple-minutes/

官方視頻

https://www.youtube.com/watch?v=PDKhUknuQDg

第三方的Demo合集

https://genie3.site/

內(nèi)測用戶反饋

https://x.com/tejasdkulkarni/status/1952737669894574264

最新的深度采訪

https://www.youtube.com/watch?v=ekgvWeHidJs&t=6s