你是否曾為搭建具身仿真環(huán)境耗費數(shù)周學習卻效果寥寥？ 是否因人工采集海量交互數(shù)據(jù)需要高昂成本而望而卻步？ 又是否因找不到足夠豐富真實的開放場景讓你的智能體難以施展拳腳？

來自北京師范大學、北京航空航天大學、北京大學等機構的聯(lián)合研究團隊，為具身智能（Embodied AI）研究帶來了具身仿真環(huán)境平臺 UnrealZoo！這是一個基于虛幻引擎（Unreal Engine）構建的近真實三維虛擬世界集合，旨在 1:1 還原開放世界的復雜性與多變性。

目前，UnrealZoo 已收錄 100 余個高質量、高逼真、大尺度 3D 場景，從溫馨室內家居到繁華城市街道，從靜謐校園醫(yī)院到壯麗自然景觀，甚至涵蓋大型工業(yè)工廠等專業(yè)場景，全方位滿足不同研究需求。UnrealZoo 還內置了機器狗、無人機、汽車、人體、動物等多樣化具身形態(tài)，搭配靈活易用的交互接口，無需復雜配置即可快速上手。無論是算法驗證、數(shù)據(jù)合成還是智能體訓練，都能在 UnrealZoo 一站式完成！

標題： UnrealZoo: Enriching Photo-realistic Virtual Worlds for Embodied AI 論文鏈接： https://arxiv.org/abs/2412.20977 開源代碼： https://github.com/UnrealZoo/unrealzoo-gym 項目主頁： http://unrealzoo.site

UnrealZoo 是一個基于虛幻引擎 UE5 開發(fā)的高保真虛擬環(huán)境集合，環(huán)境內提供了 100 + 的場景地圖以及 66 個可自定義操控的具身實體，包括人類角色、動物、車輛、無人機等。不同智能體可以與其他智能體或者環(huán)境進行交互。

為支持豐富的任務需求以提供更好的使用體檢，UnrealZoo 基于開源工具 UnrealCV 提供了一套易用的 Python 接口和工具，并優(yōu)化了渲染和通信效率，以支持數(shù)據(jù)收集、環(huán)境增強、分布式訓練和多智能體交互等各種潛在應用。

此外，研究團隊還通過實驗深入探索了 UnrealZoo 在視覺導航與主動目標跟蹤等關鍵任務的應用潛力，揭示了擴充訓練場景豐富度對模型泛化性的提升的必要性，以及當前基于強化學習（RL）和大型視覺 - 語言模型（VLM）的視覺智能體在開放世界中所面臨的巨大挑戰(zhàn)。完整的 UE5 場景已經(jīng)在 Modelscope 開放下載。

Modelscope 地址： https://www.modelscope.cn/datasets/UnrealZoo/UnrealZoo-UE5

隨著具身智能（Embodied AI）的快速發(fā)展，智能體逐漸從簡單的任務執(zhí)行者向能夠在復雜環(huán)境中進行感知、推理、規(guī)劃與行動的系統(tǒng)進化。雖然現(xiàn)有模擬器如 Habitat、AI-Thor 和 Carla 等，已在家庭場景或自動駕駛等領域取得了一定進展，但它們的應用場景往往局限于特定任務和環(huán)境。這也阻礙了具身智能體在多變的開放世界中的適應性和泛化能力的發(fā)展。這些能力對于具身智能體在真實世界中的廣泛應用至關重要。

為了彌補這一短板，具身智能研究迫切需要支持多樣化和高保真虛擬環(huán)境的模擬平臺，幫助智能體在更加復雜和動態(tài)的環(huán)境中進行訓練。3D 場景的多樣性與智能體形態(tài)的多變性將使智能體能夠在更多種類的任務中進行學習，從而提升其空間智能和任務執(zhí)行能力。而隨著多智能體交互的加入，智能體不僅能獨立完成任務，還能模擬和人類類似的社會智能行為，如合作、競爭與溝通，極大地提升其在真實世界中的應用潛力。

更重要的是，開放世界中的訓練環(huán)境能夠幫助研究人員評估智能體在應對多種不確定性、動態(tài)變化和復雜任務時的表現(xiàn)，進而避免因直接在現(xiàn)實中部署時發(fā)生故障或造成硬件損失。

基于以上原因，UnrealZoo 為智能體提供了一個近真實、多樣化、靈活易用的仿真平臺，推動具身智能從虛擬世界走向現(xiàn)實世界，助力更加廣泛且真實的應用場景。

表 1：UnrealZoo (基于 UE4/5) 與其他主流虛擬環(huán)境的對比 三、本文貢獻

提出了 UnrealZoo，這是一個基于「虛幻引擎」（Unreal Engine） 和「虛幻計算機視覺」（UnrealCV）的逼真虛擬世界的綜合集合。UnrealZoo 具有各種復雜的開放世界和可玩實體，旨在推動具身人工智能及相關領域的研究。

這個高質量的集合包括 100+ 個不同規(guī)模的逼真場景，如房屋、超市、火車站、工廠、城市、村莊、寺廟和自然景觀。每個環(huán)境都由藝術家精心設計，以模擬逼真的照明、紋理和動態(tài)，與現(xiàn)實世界的體驗高度相似。還包括各種可玩實體，包括人類、動物、機器人、無人機、摩托車和汽車。這種多樣性使研究人員能夠研究智能體在不同表現(xiàn)形式中的泛化能力，或構建具有眾多異構智能體的復雜 3D 社會世界。

為了提高可用性，研究團隊進一步優(yōu)化了「虛幻計算機視覺增強版」（UnrealCV+），并提供了一套易于使用的 Python API 和工具，包括環(huán)境增強、演示收集和分布式訓練 / 測試。這些工具允許對環(huán)境進行定制和擴展，以滿足未來應用中的各種需求，確保 UnrealZoo 隨著具身人工智能智能體的發(fā)展而保持適應性。

貢獻可以總結如下：

• 構建了 UnrealZoo，它包含 100 個高質量的逼真場景和一組具有多樣化特征的可玩實體，涵蓋了開放世界中對具身人工智能智能體最具挑戰(zhàn)性的場景。

• 優(yōu)化了 UnrealCV API 的通信效率，并提供了帶有工具包的易于使用的 Gym 接口，以滿足各種需求。

• 進行實驗以證明 UnrealZoo 的可用性，展示了環(huán)境多樣性對具身智能體的重要性，并分析了當前基于強化學習和基于視覺語言模型的智能體在開放世界中的局限性。

UnrealZoo 包含 100 + 個基于虛幻引擎 4 和 5 的場景，從虛幻引擎市場精心挑選，涵蓋多種風格，包括古代到虛構的各類場景。場景按類別、規(guī)模、空間結構、動力學和風格等標簽分類，以滿足不同測試和訓練需求，最大場景達 16 平方公里。

圖 1 UnrealZoo 通過結合多樣化的場景和可交互實體，豐富了高真實感虛擬世界。它支持訓練具有泛化能力的具身智能體，用于導航、主動追蹤以及社會交互等任務。圖 2 UnrealZoo 內不同類型場景的統(tǒng)計分布，涵蓋多種風格， 如住宅、超市、火車站、工業(yè)工廠、城市、鄉(xiāng)村、寺廟以及自然景觀等。 4.2 可交互智能體

多樣化的智能體類型

無人機第一視角

駕駛汽車第一視角

駕駛摩托車第一視角

四足機器人

UnrealZoo 內包含人類、動物、汽車、摩托車、無人機、移動機器人和飛行相機等七種類型，共 66 個實體，各具不同的動作空間和視點，支持多種功能，如切換紋理外觀、捕獲不同類型圖像數(shù)據(jù)，可通過函數(shù)控制其屬性和運動。

?♂? 智能體在開放世界的探索

爬樓梯

攀爬高臺

下蹲穿越

跑跳

智能體的基礎移動能力。UnrealZoo 的運動系統(tǒng)基于 Smart Locomotion，賦予智能體在復雜三維空間中自由探索的能力。智能體不僅可以進行跑步、跳躍和攀爬等動作，還能夠在多層次、動態(tài)變化的環(huán)境中自如移動。通過這些運動方式，智能體需要準確評估距離、高度和空間布局，做出合理的運動決策。這對智能體的空間感知提出了新的挑戰(zhàn)，要求它們不僅能在平面上導航，還能理解和推理復雜的三維空間結構，從而提升其在開放世界中進行導航和互動的能力。

內置基于地圖的自主導航系統(tǒng)

導航系統(tǒng)?；?NavMesh 開發(fā)，支持智能體在環(huán)境中自主導航，能在不同場景中根據(jù)地形和規(guī)則實現(xiàn)智能路徑規(guī)劃和避障。

豐富的交互系統(tǒng)

物體拿放動作

球體碰撞交互

上下車動作

車輛破壞模擬

開關門動作

坐下

智能體與環(huán)境的交互。UnrealZoo 的交互系統(tǒng)為智能體提供了與物體和環(huán)境的靈活互動能力。智能體可以通過抓取、推動、開關等方式與物體進行物理交互，如開關門、移動箱子、駕駛車輛等，物體的物理特性（如重量、材質）會影響交互效果。同時，智能體還能夠感知和適應環(huán)境變化，利用傳感器（如視覺、深度信息）在復雜地形中進行導航，并根據(jù)實時變化（如天氣、時間變化）調整行動策略。這種物理與感知交互能力，使得智能體能夠在不同的虛擬環(huán)境中完成各種任務，如操作、導航和任務執(zhí)行。

智能體之間的交互。UnrealZoo 還支持智能體之間的交互，使得多智能體環(huán)境中的合作與對抗成為可能。智能體可以共享信息，進行協(xié)作任務，或在競技場中與其他智能體競爭。例如，在災后救援任務中，多個智能體可以協(xié)調合作，完成物品搬運或場地清理任務；而在對抗場景中，智能體通過實時策略選擇與其他智能體互動，增強了多樣性與挑戰(zhàn)性。這種多層次的交互功能為人工智能提供了更加動態(tài)和真實的模擬環(huán)境，推動了 AI 在實際應用中的發(fā)展。

4.3 通用編程接口

為提升可用性，UnrealZoo 進一步優(yōu)化了 UnrealCV，并提供了一套易于使用的 Python API 和工具（UnrealCV+），包括環(huán)境增強、示范采集以及分布式訓練 / 測試。這些工具允許用戶根據(jù)未來應用的需求自定義和擴展環(huán)境，確保 UnrealZoo 能夠隨具身 AI 智能體的演進保持適應性。

圖 3 UnrealZoo 的詳細架構。灰色框表示 UE 二進制文件，包含場景和可交互實體。UnrealCV+ Server 作為插件嵌入到該二進制文件中。用戶端通過 Gym 接口進行 api 調用，通過配置文件自定義任務，并包含一個工具包，其中包含用于環(huán)境增強、種群控制等功能的一組 Gym 封裝器。 五、實驗結果 5.1 UnrealCV+ 效果測試

UnrealCV 為研究使用虛幻引擎提供 Python 接口。
表 2 Unreal Engine 4.27 中使用 UnrealCV 和 UnrealCV + 的幀率（FPS）對比。報告的結果為 6 個典型環(huán)境的平均性能表現(xiàn)。

UnrealCV+ 是對原版 UnrealCV 的改進版本，專為高效交互而優(yōu)化（代碼已同步至

https://github.com/unrealcv/unrealcv

研究團隊還開發(fā)了基于 UnrealCV 命令系統(tǒng)的高級 Python API，簡化了環(huán)境交互，使初學者也能輕松使用和定制環(huán)境。

5.2 視覺導航 / Visual Navigation

實驗設置

• 復雜環(huán)境：在 UnrealZoo 的環(huán)境中中，3D 探索的獨特優(yōu)勢為視覺語言導航任務帶來了前所未有的挑戰(zhàn)。在開放世界中，智能體不僅需要應對二維平面上的導航，更需要理解和適應三維空間結構。本文的導航任務引入了比傳統(tǒng)室內場景或自動駕駛任務更高的復雜性。實驗中，智能體被放置在開放世界環(huán)境中，需要通過一系列動作（如奔跑、攀爬、跳躍、蹲下）來克服無結構地形中的各種障礙，以到達目標物體。

• 評估指標：使用兩個關鍵指標來評估視覺導航智能體：

• • 平均回合長度（Average Episode Length, EL），表示每回合的平均步數(shù)。

  • 成功率（Success Rate, SR），測量智能體成功導航到目標物體的百分比基線方法。

  • 路徑長度加權的成功率 (Success weighted by Path Length, SPL)

基線方法

• 在線強化學習（Online RL）：在 Roof 和 Factory 環(huán)境中分別訓練 RL 智能體，使用分布式在線強化學習方法（如 A3C）。模型輸入第一人稱視角的分割掩碼和智能體與目標之間的相對位置，并輸出直接控制信號進行導航。

• GPT-4o：使用 GPT-4o 模型來采取行動，利用其強大的多模態(tài)推理能力。模型輸入第一人稱視角的圖像和智能體與固定目標之間的相對位置，根據(jù)預定義的控制空間推理適當?shù)膭幼鳌?/p>

• 人類玩家：人類玩家使用鍵盤控制智能體，類似于第一人稱視頻游戲。玩家從隨機起點導航到固定目標，基于視覺觀察做出決策。

實驗結果

圖 4 具身導航智能體在 Roof 場景中的示例序列?；趶娀瘜W習（RL）的智能體學會了攀爬箱子和墻壁，并跳躍障礙物，以短路徑到達目標位置。

• RL 智能體在較簡單環(huán)境中表現(xiàn)較好，但在復雜環(huán)境中表現(xiàn)不佳（需要進行攀爬、跳躍等立體空間感知）。

• GPT-4o 在兩種場景中都表現(xiàn)不佳，表明其在復雜 3D 場景推理中的局限性。

• 人類玩家在兩個任務中都表現(xiàn)出色，顯示出當前智能體與人類之間的顯著差距。

實驗設置

• 環(huán)境選擇：利用 unrealzoo 的環(huán)境多樣性，選擇四個環(huán)境類別（室內場景、宮殿、荒野、現(xiàn)代場景）進行評估，每個類別包含 4 個獨立環(huán)境。實驗旨在捕捉環(huán)境合集中的廣泛特征，確保對智能體追蹤能力的全面評估。

• 評估指標：使用三個關鍵指標評估：

• • 平均回合回報（Average Episodic Return, ER），提供整體跟蹤性能的洞察；

  • 平均回合長度（Average Episode Length, EL），反映長期跟蹤效果；

  • 成功率（Success Rate, SR），測量完成 500 步的回合百分比。

基線方法

• PID 方法：一種經(jīng)典的控制方法，使用 PID 控制器通過最大化目標邊界框與預期位置之間的 IoU 來調整智能體的動作。OpenVLA：通過對 OpenVLA 進行了微調，使其適應追蹤任務。

• 離線強化學習（Offline RL）：擴展自最近的離線 RL 方法，收集離線數(shù)據(jù)集并采用原始網(wǎng)絡架構。通過收集不同數(shù)量環(huán)境的離線數(shù)據(jù)集來分析數(shù)據(jù)多樣性的影響。

• GPT-4o：使用 GPT-4o 模型直接生成基于觀察圖像的動作，以跟蹤目標人物。設計了系統(tǒng)提示來幫助模型理解任務并標準化輸出格式。

實驗結果

面對不同環(huán)境挑戰(zhàn)的效果評估

圖 5 Offline-RL 訓練得到的智能體在四類環(huán)境中的平均成功率。智能體分別在三種離線數(shù)據(jù)集設置（1 個環(huán)境、2 個環(huán)境、8 個環(huán)境）下進行訓練。結果表明，隨著數(shù)據(jù)集中包含的環(huán)境多樣性增加，智能體的泛化能力顯著提升。然而，對于具有復雜空間結構的環(huán)境（如 Interior Scenes 和 Palace），成功率較低，突顯了在障礙物規(guī)避和導航方面的挑戰(zhàn)。

圖 6 用于測試追蹤智能體的 16 個環(huán)境概覽，左側的文本對應每一行的環(huán)境類別，每個環(huán)境下方的文本對應環(huán)境名稱。

• 隨著訓練環(huán)境數(shù)量的增加，智能體在所有類別中的長期跟蹤性能普遍提高。

• 在野外環(huán)境中（Wilds），使用 8 Envs. 數(shù)據(jù)集的成功率顯著提高，表明多樣化的環(huán)境數(shù)據(jù)對提高智能體在更復雜的開放世界環(huán)境中的泛化能力至關重要。

面對動態(tài)干擾的效果評估

• 動態(tài)干擾：在人群中進行跟蹤時，智能體需要處理動態(tài)干擾。實驗中，生成具有不同數(shù)量人類角色的群體作為干擾。

  隨著干擾數(shù)量的增加，離線 RL 方法保持相對穩(wěn)定的成功率，而其余基線模型在動態(tài)環(huán)境中表現(xiàn)不佳，顯示出其在動態(tài)干擾下的局限性。

跨實體泛化

• 跨實體泛化：將針對人類角色訓練的智能體轉移到機器人狗上進行評估。結果顯示成功率下降，表明研究社區(qū)應更多關注跨實體泛化。

控制頻率的影響

• 
  

  控制頻率：使用時間膨脹包裝器模擬不同的控制頻率。結果表明，當感知 - 控制循環(huán)的頻率低于 10 FPS 時，性能顯著下降。高控制頻率使 RL 智能體在社會跟蹤中表現(xiàn)更好，強調了在動態(tài)開放世界中完成任務時構建高效模型的重要性。

• 論文提出了 UnrealZoo，一個多樣化的照片級虛擬世界合集，旨在推動具身 AI 研究的發(fā)展。

• 通過提供高質量的虛擬環(huán)境和優(yōu)化的編程接口，UnrealZoo 能夠支持高效的單智能體和多智能體系統(tǒng)交互。

• 實驗結果表明，智能體在開放世界的空間感知和導航能力仍然具有很大發(fā)展空間，多樣化的訓練環(huán)境對智能體的泛化能力和魯棒性至關重要，而基于 RL 的方法在處理動態(tài)環(huán)境和社交互動方面表現(xiàn)出色。

• 未來的工作將繼續(xù)豐富虛擬世界的場景、實體和交互任務，推動具身 AI 在現(xiàn)實世界中的應用。

[1] Weichao Qiu, Fangwei Zhong, Yi Zhang, Siyuan Qiao, Zihao Xiao, Tae Soo Kim, Yizhou Wang and Alan Yuille. Unrealcv: Virtual Worlds for Computer Vision. ACM MM. 2017.

[2] Aviral Kumar, Aurick Zhou, George Tucker, and Sergey Levine. Conservative Q-Learning for Offline Reinforcement Learning. NeurIPS 2020.

[3] Fangwei Zhong, Kui Wu, Hai Ci, Churan Wang, and Hao Chen. Empowering Embodied Visual Tracking with Visual Foundation Models and Offline RL. ECCV 2024.

[4] Moo Jin Kim, Karl Pertsch, Siddharth Karamcheti, Ted Xiao, Ashwin Balakrishna, Suraj Nair, Rafael Rafailov, Ethan P Foster, Pannag R Sanketi, Quan Vuong, Thomas Kollar, Benjamin Burchfiel, Russ Tedrake, Dorsa Sadigh, Sergey Levine, Percy Liang, and Chelsea Finn. OpenVLA: An Open-Source Vision-Language-Action Model. CoRL 2025.

[5] Shital Shah, Debadeepta Dey, Chris Lovett and Ashish Kapoor. AirSim: High-Fidelity Visual and Physical Simulation for Autonomous Vehicles. Field and service robotics: Results of the 11th international conference, 2017.

[6] Alexey Dosovitskiy, German Ros, Felipe Codevilla, Antonio Lopez and Vladlen Koltun. CARLA: An Open Urban Driving Simulator. CoRL 2017.

來源：公眾號【機器之心】

llustration From IconScout By IconScout Store

-The End-

掃碼觀看！

本周上新！

“AI技術流”原創(chuàng)投稿計劃

TechBeat是由將門創(chuàng)投建立的AI學習社區(qū)（www.techbeat.net）。社區(qū)上線700+期talk視頻，3000+篇技術干貨文章，方向覆蓋CV/NLP/ML/Robotis等；每月定期舉辦頂會及其他線上交流活動，不定期舉辦技術人線下聚會交流活動。我們正在努力成為AI人才喜愛的高質量、知識型交流平臺，希望為AI人才打造更專業(yè)的服務和體驗，加速并陪伴其成長。

投稿內容

// 最新技術解讀/系統(tǒng)性知識分享 //

// 前沿資訊解說/心得經(jīng)歷講述 //

投稿須知

稿件需要為原創(chuàng)文章，并標明作者信息。

我們會選擇部分在深度技術解析及科研心得方向，對用戶啟發(fā)更大的文章，做原創(chuàng)性內容獎勵

投稿方式

發(fā)送郵件到

michellechang@thejiangmen.com

或添加工作人員微信（michelle333_）投稿，溝通投稿詳情

關于我“門”

將門是一家以專注于數(shù)智核心科技領域的新型創(chuàng)投機構，也是北京市標桿型孵化器。 公司致力于通過連接技術與商業(yè)，發(fā)掘和培育具有全球影響力的科技創(chuàng)新企業(yè)，推動企業(yè)創(chuàng)新發(fā)展與產(chǎn)業(yè)升級。

將門成立于2015年底，創(chuàng)始團隊由微軟創(chuàng)投在中國的創(chuàng)始團隊原班人馬構建而成，曾為微軟優(yōu)選和深度孵化了126家創(chuàng)新的技術型創(chuàng)業(yè)公司。

如果您是技術領域的初創(chuàng)企業(yè)，不僅想獲得投資，還希望獲得一系列持續(xù)性、有價值的投后服務，歡迎發(fā)送或者推薦項目給我“門”:

bp@thejiangmen.com

點擊右上角，把文章分享到朋友圈