告別碎片化！以全棧之姿，開啟具身導(dǎo)航的 2026 新篇章。

作者丨吳琦

【編者注】自 2018 年吳琦老師等人在CVPR發(fā)表第一篇 VLN（視覺-語言-導(dǎo)航）論文以來，這個領(lǐng)域已經(jīng)走過了七年。在今年初AI科技評論的“具身先鋒十人談”中，吳琦老師曾回顧 VLN 與 VLA 的前世今生，并指出：數(shù)據(jù)匱乏、物理仿真缺失以及跨本體部署的鴻溝，是制約具身導(dǎo)航向前的三大“大山”。彼時，吳老師還透露，團隊正在秘密打造一個全棧式平臺，引發(fā)了圈內(nèi)的無限遐想。

念念不忘，必有回響。 隨著 2025 年步入尾聲，吳琦老師帶著他的深度思考與誠意之作正式回歸。

在這篇文章中，吳琦老師正式推出了他在前一篇訪談中提及的那個“全棧夢”——VLNVerse，回顧并重構(gòu)了 VLN 的版圖。他指出，導(dǎo)航的本質(zhì)是重感知與推理，而這正是模擬器的天下。針對目前領(lǐng)域內(nèi)任務(wù)碎片化、實機部署難、sim2real 差距大等痛點，吳琦團隊祭出了 2025 年的重磅賀禮——VLNVerse。這是一個涵蓋了從場景生成（InteriorAnything）、高保真物理模擬（Isaac Sim 驅(qū)動）、五大統(tǒng)一任務(wù)基準(zhǔn)，到跨本體通用模型（NavFoM）的全棧式“具身導(dǎo)航宇宙”。

從 InteriorAnything 的無限場景生成，到解決機器狗低視角難題的 Multi-view Transformer，吳老師團隊不僅補全了此前未曾展開的技術(shù)版圖，更在歲末之際，為 VLN 向 Embodied VLN 的跨越畫上了圓滿的句號。

舊歲將盡，萬象更新。讓我們隨吳琦老師一起，走進(jìn)這個打通 Real2Sim2Real 的具身導(dǎo)航新紀(jì)元。

01
具身智能導(dǎo)航到底要解決什么？

要想理解具身智能導(dǎo)航是什么以及要解決什么就要先理解具身智能是什么。大家現(xiàn)在都在聊具身智能，但是到底什么是具身智能，很多人的概念其實還是很模糊，甚至單純的把具身智能和機器人劃等號，這是一種很錯誤的理解。具身智能分為兩個詞，一個‘具身’，一個‘智能’。先說‘智能’，我認(rèn)為廣義上的智能就是指一個‘智能體’能‘看’，能‘聽’， 會‘說’，愛‘思考’還能‘動’。而‘具身’ （embodied）的含義，其實就是‘賦予身體’的意思，那么具身智能的概念便非常清晰了，就是給一個‘智能體’賦予一副‘身體’，而這個身體，可以是多種形態(tài)的，不一定非得是機器‘人’這么狹義的一個物理容器。

CVPR 2024 Embodied AI workshop上關(guān)于Embodied AI的定義

理解了具身智能的概念，具身智能導(dǎo)航要研究的問題就呼之欲出 -----一個具有物理本體（不限于機器人，無人機，無人車）的智能體能夠依靠自身‘視覺’理解能力，‘聽從’人類語言指令，依靠空間‘推理’，在真實環(huán)境中完成‘導(dǎo)航’任務(wù)，并且在需要的情況下和人類或其他智能體進(jìn)行‘交流’。看、說、聽、想、動再加個本體，這就是具身智能導(dǎo)航，就是我們今天要解決的問題的本質(zhì)，缺一不可。

那么，視覺語言導(dǎo)航（VLN）呢？VLN又是研究什么的？其實，VLN研究的就是在拋開‘本體’的情況下的智能體的看、說、聽、想、動（導(dǎo)航）的能力。所以早期甚至現(xiàn)在很多的VLN工作，都是只在simulator中進(jìn)行的。我并不認(rèn)為這有什么問題，因為很顯然，即使是在simulation的環(huán)境下，這些任務(wù)也都沒有被很好的解決。真正對VLN工作了解過的，也不會相信 ‘導(dǎo)航’是一個簡單，甚至是已經(jīng)被‘解決’的任務(wù)。不然，也不會有了‘空間智能’這個衍生的方向。

Peter Anderson，吳琦等人在CVPR 2018年首先提出了VLN這個任務(wù)

02
大道之爭，模擬 or 真機？

在今年的各個論壇和場合中，大家都會有一個爭論，就是具身智能到底應(yīng)該走模擬數(shù)據(jù)路線，還是應(yīng)該走真機收集數(shù)據(jù)路線。真機派認(rèn)為模擬數(shù)據(jù)以及模擬器中訓(xùn)練出的模型始終和實際環(huán)境存在非常大sim2real gap，模擬器中再好的模型，放在真機上，真實環(huán)境中，往往成功率偏低。二模擬派認(rèn)為真機數(shù)據(jù)獲取難度大，多樣性不夠，訓(xùn)練費時費力，而且換個主機或者環(huán)境，訓(xùn)練的模型也不一定能遷移的過去。

關(guān)于這個問題，我也思考過很多次，但是以我目前的理解和經(jīng)驗，不敢妄言哪個流派是對的，是‘大道’。但是，如果僅僅是放在具身導(dǎo)航這個領(lǐng)域內(nèi)，這個爭論，也許就不那么難解決了。我們都知道，目前具身智能主要分上半身和下半身，上半身抓?。╩anipulation），下半身移動（locomotion），而這兩個方向其實都遵循一個工作流，就是 ‘感知，推理，執(zhí)行’。

我認(rèn)為（也許不一定對），manipulation應(yīng)該重‘執(zhí)行’，而輕‘感知和推理’，因為manipulation面對的操作環(huán)境不會特別復(fù)雜，甚至單一物體場景居多，那么相對來說對感知，理解，推理的要求會低一些，難點在于‘抓取和操作’本身，需要細(xì)粒度的控制信號。而這些控制信號，從真人演示，真機操作上可以獲得很好很精準(zhǔn)的數(shù)據(jù)，所以manipulation可能更傾向于真機派。

而我們反觀locomotion，或者說navigation，其實真正的難點在于工作流的前端，‘感知和推理’。因為導(dǎo)航所要面對的環(huán)境是一個空間環(huán)境，而空間中的物體種類，位置千差萬別，這就需要我們對空間理解，物理識別，語義理解有足夠強的能力去拆解環(huán)境，推理出目的地的位置。而本體如何走到推理出的目標(biāo)點位置，其實在目前的機器人領(lǐng)域，已經(jīng)是解決的比較成熟的問題了。所以從研究的角度，我們可以說navigation其實是一個重‘感知推理’，而輕‘執(zhí)行’的課題。而感知推理，空間理解，并不需要太多的真機數(shù)據(jù)和真人演示，simulator中模擬出的數(shù)據(jù)，只要仿真度夠高，就可以訓(xùn)練出這些能力，尤其在數(shù)據(jù)多樣性方面，模擬數(shù)據(jù)有天然的優(yōu)勢。所以可以說，單純的從具身智能導(dǎo)航這個方向來看，我是妥妥的‘模擬派’。

既然信奉了‘模擬派’，那么我接下來思考的一個問題，就變成了‘如何打造一個足夠好的模擬平臺’去打通所有的VLN任務(wù)，以及最小化仿真與真實環(huán)境和本體的差距。于是，過去一年，我們從各角度發(fā)力，打造了一個全棧式’的Real to Sim to Real的Embodied VLN平臺，VLNVerse。

1. VLNVerse，全棧式Real 2 Sim 2 Real 具身視覺語言導(dǎo)航宇宙

何為全棧式？我認(rèn)為的全棧式，應(yīng)該是一個包含仿真環(huán)境生成（real2sim），具備物理仿真的模擬器（simulator），多種類和級別的任務(wù)數(shù)據(jù)（data and benchmark），端到端的VLA/VLN模型 （model）以及跨本體的真機部署（sim2real）。

VLNVerse，全棧式Real 2 Sim 2 Real 具身視覺語言導(dǎo)航宇宙

我們又將這個全棧式的Real 2 Sim 2 Real宇宙分成了四個子宇宙，接下來給大家逐個介紹。

（1）宇宙一：Real to Sim

從構(gòu)建訓(xùn)練平臺的角度，這里的real to sim不是單純意義上的數(shù)字孿生（Digital Twin），換句話說，像Mattport3D那樣單純的將真實環(huán)境掃描成點云或者模擬數(shù)據(jù)在模擬器中使用并不是我們所追求的。我們希望看到的是一個能夠接受各種模態(tài)輸入，然后可以生成無限個符合用戶描述，但又具備一定隨機性的3D環(huán)境。輸入的模態(tài)可以是描述房間的文本，圖像，視頻，甚至是房間的設(shè)計草圖等，而輸出的3D環(huán)境需要足夠真實（渲染，物理仿真），可編輯，可交互，又有足夠的多樣性。

VLNVerse中的real to sim

針對這個需求，在和群核科技（酷家樂）的合作下，我們提出了一個InteriorAnything的工作，能夠基于各種模態(tài)的輸入，生成符合要求的3D場景。

InteriorAnything 框架

如圖中所示，我們的方法首先接收文本、圖像、視頻和三維點云等多模態(tài)輸入 （一種或多種），綜合獲取場景語義與空間信息。隨后在第一階段利用大語言模型與視覺語言模型結(jié)合三維定位技術(shù)解析輸入內(nèi)容，自動識別場景中的對象及其空間關(guān)系，并構(gòu)建基礎(chǔ)場景圖，這個基礎(chǔ)圖保證了后面生成的內(nèi)容能與用戶需求一致。第二階段基于KaleidoTree（萬花筒樹） 結(jié)構(gòu)對場景圖進(jìn)行增強與擴展，通過子結(jié)構(gòu)替換與組合生成多種候選場景圖以提升多樣性與魯棒性。在第三階段，方法將增強后的場景圖轉(zhuǎn)化為三維布局，并通過可微優(yōu)化將“相鄰、支撐、面對”等語義關(guān)系約束為幾何約束，從而自動調(diào)整物體的位置、朝向和尺度，篩除不合理的布局。最后在第四階段對生成的三維場景進(jìn)行細(xì)化與修正，進(jìn)一步優(yōu)化局部結(jié)構(gòu)與視覺細(xì)節(jié)，提升整體真實感與一致性?？傮w而言，我們這個方法實現(xiàn)了從非結(jié)構(gòu)化多模態(tài)輸入到結(jié)構(gòu)化三維場景生成與精修的端到端流程，兼顧語義理解、結(jié)構(gòu)推理與幾何優(yōu)化。

值得一提的是，我們這個工作中采用的是Retrieval的方式去從一個龐大的3D資產(chǎn)庫中找到最接近用戶描述的部件，再進(jìn)行組合。這樣做的好處是場景中每個物體（部件）都是可交互的，比如柜子，抽屜，門，都可以打開或者關(guān)閉，物體可以移動等等。

（2）宇宙二：VLNVerse Simulator

VLN早期的simulator主要有兩個，一個是當(dāng)時和我們VLN R2R數(shù)據(jù)一起發(fā)布的MP3D simulator，還有一個是由Meta開發(fā)的Habitat。 MP3D的問題自不必說，采用的是靜態(tài)圖片的形式，也就是所謂的‘離散’環(huán)境，agent采用ghost-like的移動方式，某些情況下甚至可以穿越障礙物，不考慮碰撞，更談不上和物體交互。Habitat由離散環(huán)境跨越到了連續(xù)環(huán)境，但是依然要面對場景不夠真實，物理仿真不到位等問題。而最近一些基于 Isaac Sim 的新工作，實際上只是將舊的 Matterport3D (R2R) 或 Habitat 場景進(jìn)行了格式轉(zhuǎn)換 。

我們近期剛剛發(fā)布的VLNVerse Simulator （https://arxiv.org/abs/2512.19021）基于 NVIDIA Isaac Sim 構(gòu)建，包含 263 個高保真物理場景，并且統(tǒng)一了 細(xì)粒度 (Fine-grained)、粗粒度 (Coarse-grained)、視覺參考 (Visual-Reference)、長程 (Long-Horizon) 及對話式 (Dialogue-based) 五大導(dǎo)航任務(wù)。

VLNVerse Simulator分成了環(huán)境層，模擬層以及任務(wù)&數(shù)據(jù)層

在環(huán)境層，我們提供了263 個全新構(gòu)建的、具有獨立拓?fù)浣Y(jié)構(gòu)的 USD (Universal Scene Description) 場景 ，這不僅僅是視覺上的高保真，更是拓?fù)浣Y(jié)構(gòu)上的全新設(shè)計，打破了場景數(shù)據(jù)的停滯局面。每個場景中的物體均可移動，交互。物體的物理屬性，比如質(zhì)量，摩擦系數(shù)，反光系數(shù)也都有提供。除此之外，我們還提供了詳細(xì)的拓?fù)浜驼Z義標(biāo)注，以及occupancy map。

VLNVerse Simulator中提供的新場景數(shù)據(jù)

在模擬層，我們基于 NVIDIA Isaac Sim 構(gòu)建該層，利用其高保真渲染與強大的物理引擎，但我們的主要貢獻(xiàn)并非仿真引擎本身，而是專門為 VLN 設(shè)計的高層抽象 API。該 API 具備三項關(guān)鍵能力：無縫地將物理仿真能力集成到 VLN 工作流中，通過標(biāo)準(zhǔn)化接口抽象復(fù)雜的機器人控制同時保持物理真實感，以及對不同機器人形態(tài)與多類傳感器的通用兼容性。借助這一設(shè)計，我們可以無需再處理繁瑣的底層機器人細(xì)節(jié)，可以專注于高層導(dǎo)航與交互邏輯。我們的模擬層在具身性、控制與感知三方面體現(xiàn)核心設(shè)計思想：在具身性上，我們提供可參數(shù)化的智能體建模接口，可靈活設(shè)定智能體的物理尺寸與運動學(xué)屬性，從而滿足碰撞、動量等真實物理約束并支持從仿真到現(xiàn)實的遷移；在控制上，我們提供統(tǒng)一的物理感知控制接口，實現(xiàn)連續(xù)、真實的運動與相機控制；在感知上，我們提供模塊化傳感器平臺，使用戶能夠靈活配置 RGB、深度、LiDAR 等多種傳感器及其采樣頻率、分辨率與視場角，以滿足不同研究任務(wù)對觀測與感知的需求。

VLNVerse Simulator

在任務(wù)數(shù)據(jù)層，以往的 VLN 研究往往“各自為戰(zhàn)”，有的只做指令跟隨，有的只做目標(biāo)尋找。VLNVerse 首次在一個統(tǒng)一的框架下，定義并支持了 5 大核心任務(wù)，解決了任務(wù)碎片化的問題 ：

1. 細(xì)粒度導(dǎo)航 (Fine-grained)：經(jīng)典的 R2R 風(fēng)格，一步一指令 。

2. 粗粒度導(dǎo)航 (Coarse-grained)：目標(biāo)導(dǎo)向，只給出最終目標(biāo)描述 。

3. 視覺參考導(dǎo)航 (Visual-Reference)：不再只靠語言，“看圖找物” 。

4. 長程導(dǎo)航 (Long-Horizon)：多階段連續(xù)導(dǎo)航，考驗長期規(guī)劃能力 。

5. 對話式導(dǎo)航 (Dialogue-based)：允許 Agent 向 Oracle 提問，通過交互解決歧義 。

作為一個全面的 Benchmark，我們不僅僅是“跑個分”。VLNVerse系統(tǒng)地評測了當(dāng)前 VLN 領(lǐng)域的代表性方法，旨在揭示物理仿真環(huán)境下的真實性能差距。

• 物理世界的殘酷考驗：許多在傳統(tǒng)數(shù)據(jù)集上表現(xiàn)優(yōu)異的經(jīng)典方法 (Seq2Seq, CMA)，在 VLNVerse 中由于無法處理物理碰撞，性能大幅下降。

• 大模型的“滑鐵盧”：未針對物理環(huán)境優(yōu)化的 LLM Agent （如Qwen-VL） 在嚴(yán)格模式下碰撞頻發(fā)，任務(wù)失敗率極高，證明了單純的邏輯推理無法替代物理感知 。

（3）宇宙三：Universal VLN Foundational Models

有了好的場景數(shù)據(jù)，Simulator以及一個全面的Benchmark，接下來就是考慮形成一個統(tǒng)一的模型去解決所有的視覺語言導(dǎo)航任務(wù)。

如上圖所示，之前的VLN發(fā)展，無論從數(shù)據(jù)層面還是方法層面，都非常的‘碎片化’。從任務(wù)的角度來看，有不同‘粒度’的指令，比如只有‘物體’來作為指令的object-navigation，也有非常細(xì)粒度的R2R，RxR甚至是對話式的VLN 任務(wù)，更麻煩的是，不同的任務(wù)數(shù)據(jù)可能是在不同的simulator中形成的，這大大的增加了訓(xùn)練一個統(tǒng)一模型的難度。所以早期的方法是task-specific，即針對單一任務(wù)，設(shè)計并訓(xùn)練單獨的模型。就導(dǎo)致雖然都是VLN任務(wù)，但是不同粒度任務(wù)的模型架構(gòu)都不一樣。后來引入‘預(yù)訓(xùn)練’的機制，會預(yù)訓(xùn)練一個統(tǒng)一的‘大’模型，然后再在各個VLN任務(wù)上微調(diào)。形成的格局就是雖然模型架構(gòu)一樣，但是不同任務(wù)之間的模型參數(shù)是不一樣的。

這就給實機部署和應(yīng)用帶來了很大的難度，因為我們在實際使用的時候，給定的指令的粒度并不是固定的，那么就需要在同一個本體上，部署多個VLN模型，每個模型解決不同粒度的任務(wù)。而我們真正需要的，應(yīng)該是一個統(tǒng)一的模型，只有一套參數(shù)，來解決不同粒度的視覺語言導(dǎo)航任務(wù)。也許有人會問，那么把所有VLN任務(wù)數(shù)據(jù)拿來訓(xùn)練一個模型不就可以了么？理論上可行，但是由于很多任務(wù)之間的互斥性，這樣訓(xùn)練出來的模型結(jié)果并不好。

我們在今年的ICCV上，就提出了一個叫SAME （State-Adaptive Mixture of Experts， https://arxiv.org/abs/2412.05552）的方法，用MoE的方式去解決這個問題，并取得了不錯的結(jié)果。這是因為傳統(tǒng)的 MoE 往往是 Token 級別的，而 SAME 引入了 時間維度的路由機制。根據(jù)導(dǎo)航過程中的不同階段（狀態(tài)），動態(tài)選擇最合適的專家網(wǎng)絡(luò)。

SAME在各個VLN任務(wù)上的表現(xiàn) （單一模型參數(shù)解決所有類型任務(wù)）

除了任務(wù)的統(tǒng)一，最近，和北大王鶴老師團隊合作，我們還嘗試了用一個統(tǒng)一的模型去解決跨本體（機器人，機器狗，無人車，無人機）的視覺語言導(dǎo)航任務(wù)。文章叫NavFom: Embodied Navigation Foundation Model ，大家感興趣可以到https://pku-epic.github.io/NavFoM-Web/ 看相關(guān)的細(xì)節(jié)和demo。（https://arxiv.org/abs/2509.12129）

（4）宇宙四：Sim to Real

有了一個統(tǒng)一的模型，接下來就是部署的問題，如何將模型部署在實機上，那么我們要解決的一大難題就是sim2real。

首先要面對的問題就是open-world的domain shift問題，現(xiàn)實場景中的很多物體，環(huán)境或者是用戶需求，很有可能是在simulator訓(xùn)練中沒有見過的。一種思路就是利用大語言模型（LLM）去拆解任務(wù)和理解場景，結(jié)構(gòu)成一個個在simulator中訓(xùn)練的模型可理解可執(zhí)行的任務(wù)。我們在ICRA 2025上提出一個Open-Nav （https://arxiv.org/abs/2409.18794），就是試圖利用LLM解決真機在open-world遇到的問題。

Open-Nav Pipeline

另外一個sim2real的挑戰(zhàn)來自于物理設(shè)備的限制，比如機器狗和人的視角高度差問題。在VLN當(dāng)中，指令一般是由人類給出的，也就是說，是人類根據(jù)自己的視角高度來給出指令，這個高度在1.7m左右。而假設(shè)執(zhí)行該指令的是機器狗，那個高度可能在0.3m左右，很多人類指令中所描述的參照物，對于機器狗來說，可能甚至觀測不到，比如下圖中的例子，一個關(guān)鍵的參照物是足球桌，而對于機器狗來說，在當(dāng)前視角下，只能觀測到桌子的腿。如果只靠當(dāng)前信息，就無法完成該任務(wù)。

在ICRA 2025 上，我們提出了一個multi-view transformer（https://arxiv.org/abs/2502.19024）的方案，依靠調(diào)取低視角機器人（比如機器狗，掃地機器人等）在其他位置獲得的相關(guān)視覺信息，來補全當(dāng)前視角，完成導(dǎo)航。

除此之外，sim2real的另外一個難點就是計算效率的問題。由于VLN使用的模型較大（大部分給予transformer），有些也使用了LLM等大語言模型， 目前大部分的部署和實現(xiàn)方式都是機器人傳感器獲得信息，傳回給server，在server端完成計算和推理，再將預(yù)測的動作指令傳回給機器人執(zhí)行，這自然就會造成一定程度的延遲。所以減少模型大小，提升模型計算效率，就成為一個必須要解決的問題。

今年（2025）的ICRABest paper Final List， MiniVLN （https://arxiv.org/abs/2409.18800）就提出了用蒸餾的方式，大大的降低了模型的大小，在ScaleVLN僅1/7的大小下，達(dá)到了相同的準(zhǔn)確率。

而像Fast-SmartWay ，則通過減少獲取全景圖的方式，來起到加速的效果。（https://arxiv.org/abs/2511.00933）

04

總結(jié)與展望

視覺語言導(dǎo)航（VLN）起始于2018年，到現(xiàn)在已是‘七年之癢’，很多設(shè)計和任務(wù)可能已經(jīng)不再適合今天的方法和需求。比如我們當(dāng)時設(shè)計這個任務(wù)時，初衷是解決視覺與語言對齊的問題的，所以對動作的輸出上并沒有很好的進(jìn)行設(shè)計，也使得和真實應(yīng)用場景有了一定的gap。隨著這幾年的發(fā)展，尤其是具身智能的興起，新的數(shù)據(jù)和任務(wù)層出不窮，無論學(xué)術(shù)界還是業(yè)界，都對VLN這個任務(wù)越來越關(guān)注。但是正如我前面所說，VLN 在模擬器，任務(wù)，數(shù)據(jù)和方法上的過度碎片化，導(dǎo)致一直無法出現(xiàn)一個統(tǒng)一的模型出現(xiàn)，離落地更是還有一段距離。所以在2025年的年初，我們團隊就著手開始打造一個全棧式的視覺語言導(dǎo)航平臺，從數(shù)據(jù)生成，數(shù)據(jù)收集，任務(wù)定義，到仿真模擬和基座模型，再到跨本體的部署，全棧打通，統(tǒng)一但是又能高度定制。終于在新年來到前，VLNVerse和大家見面，希望能夠真正的服務(wù)VLN 社區(qū)。除了整個平臺以及訓(xùn)練/驗證集數(shù)據(jù)完全開源之外，我們后面也將提供測試平臺和leaderboard，供大家公平測試。我們后續(xù)還會陸續(xù)加入Mobile Manipulation，Multi-agent VLN等新任務(wù)，使用相同的VLNVerse平臺。而我們于2018年提出的R2R，REVERIE的一系列數(shù)據(jù)，我們也將陸續(xù)把之前未公開的測試集開源，并停止testing server的維護(hù)。

舊的終將過去，新的總會到來。希望VLN跨越到Embodied VLN，在VLNVerse的加持下，越‘走’越好。

未經(jīng)「AI科技評論」授權(quán)，嚴(yán)禁以任何方式在網(wǎng)頁、論壇、社區(qū)進(jìn)行轉(zhuǎn)載！

公眾號轉(zhuǎn)載請先在「AI科技評論」后臺留言取得授權(quán)，轉(zhuǎn)載時需標(biāo)注來源并插入本公眾號名片。