• 作者：Honglin He, Yukai Ma, Wayne Wu, Bolei Zhou

• 單位：加利福尼亞大學(xué)洛杉磯分校

• 論文標(biāo)題：From Seeing to Experiencing: Scaling Navigation Foundation Models with Reinforcement Learning

• 論文鏈接：https://arxiv.org/pdf/2507.22028

• 項(xiàng)目主頁：https://metadriverse.github.io/s2e/

• 代碼鏈接：https://github.com/metadriverse/S2E

• 提出 Seeing-to-Experiencing （S2E）學(xué)習(xí)框架，將離線視頻預(yù)訓(xùn)練和模擬環(huán)境中的強(qiáng)化學(xué)習(xí)相結(jié)合，既保持了模型從大規(guī)模真實(shí)世界視頻中獲得的泛化能力，又通過強(qiáng)化學(xué)習(xí)增強(qiáng)了模型的交互性。

• 引入 錨點(diǎn)引導(dǎo)分布匹配 （Anchor-Guided Distribution Matching，AGDM）策略用于離線預(yù)訓(xùn)練，通過基于錨點(diǎn)的監(jiān)督穩(wěn)定學(xué)習(xí)并建模多樣化的運(yùn)動(dòng)模式。

• 提出 殘差注意力模塊 （Residual-Attention Module，RAM）用于強(qiáng)化學(xué)習(xí)階段，在模擬環(huán)境中獲得反應(yīng)性行為的同時(shí)，保留模型的預(yù)訓(xùn)練知識(shí)。

• 建立基于真實(shí)世界場景的光柵化三維高斯濺射重建的 NavBench-GS 綜合端到端評估基準(zhǔn)，能夠系統(tǒng)評估導(dǎo)航基礎(chǔ)模型的泛化性和安全性。

• 通過 大量實(shí)驗(yàn) 表明，S2E框架能夠顯著提升模型性能，緩解僅使用離線數(shù)據(jù)擴(kuò)展時(shí)的收益遞減問題，并且在真實(shí)世界的不同機(jī)器人平臺(tái)上實(shí)現(xiàn)了零樣本泛化。

• 導(dǎo)航基礎(chǔ)模型在大規(guī)模網(wǎng)絡(luò)規(guī)模數(shù)據(jù)上進(jìn)行訓(xùn)練，能夠使智能體在多樣化環(huán)境中泛化，但僅基于離線數(shù)據(jù)訓(xùn)練的模型在現(xiàn)實(shí)世界城市導(dǎo)航中面臨局限性，如缺乏對行為后果的推理能力和通過反事實(shí)理解進(jìn)行適應(yīng)的能力，難以應(yīng)對動(dòng)態(tài)環(huán)境中的障礙物和行人等交互性和安全性要求高的任務(wù)。

• 以往的導(dǎo)航基礎(chǔ)模型研究主要依賴大規(guī)模網(wǎng)絡(luò)視頻和人類演示進(jìn)行預(yù)訓(xùn)練，但這些方法存在一些問題，如缺乏物理和因果關(guān)系的明確信息，導(dǎo)致模型在真實(shí)世界中的適應(yīng)性和反應(yīng)性有限。

S2E（Seeing-to-Experiencing）學(xué)習(xí)框架旨在通過結(jié)合離線視頻預(yù)訓(xùn)練和模擬環(huán)境中的強(qiáng)化學(xué)習(xí)，訓(xùn)練出既具有泛化能力又具備交互性的導(dǎo)航基礎(chǔ)模型。該框架的核心目標(biāo)是學(xué)習(xí)一個(gè)視覺導(dǎo)航策略π，使機(jī)器人能夠從起點(diǎn)ps導(dǎo)航到目標(biāo)點(diǎn)pd。具體來說，S2E框架包含兩個(gè)關(guān)鍵部分：

• 離線預(yù)訓(xùn)練 ：通過錨點(diǎn)引導(dǎo)分布匹配（Anchor-Guided Distribution Matching，AGDM）策略對真實(shí)世界視頻數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練，以學(xué)習(xí)復(fù)雜的多模態(tài)分布并穩(wěn)定學(xué)習(xí)過程。

• 強(qiáng)化學(xué)習(xí)后訓(xùn)練 ：通過殘差注意力模塊（Residual-Attention Module，RAM）在模擬環(huán)境中進(jìn)行強(qiáng)化學(xué)習(xí)，以增強(qiáng)模型的交互性并保留預(yù)訓(xùn)練知識(shí)。

機(jī)器人導(dǎo)航軌跡具有多模態(tài)性，即在相同的觀察條件下，可能存在多個(gè)有效的動(dòng)作。有效建模這種多模態(tài)性對于泛化策略至關(guān)重要。然而，常見的表示方法（如離散動(dòng)作或單模態(tài)高斯分布）缺乏表達(dá)能力，而擴(kuò)散模型雖然表達(dá)能力強(qiáng)，但過于靈活，難以控制，可能導(dǎo)致不安全的軌跡。

• 
  

  方法介紹 ：

• • 提出了一種錨點(diǎn)引導(dǎo)的高斯混合模型（GMM）來表示機(jī)器人動(dòng)作。具體來說，通過在機(jī)器人的前進(jìn)方向上均勻采樣生成多個(gè)錨點(diǎn)，每個(gè)錨點(diǎn)對應(yīng)GMM中的一個(gè)高斯模式。

  • 這些錨點(diǎn)作為可解釋的高級(jí)意圖，模型通過學(xué)習(xí)這些錨點(diǎn)的分?jǐn)?shù)來反映每個(gè)意圖點(diǎn)被選為引導(dǎo)模式的概率。通過這種方式，模型能夠在保持結(jié)構(gòu)化的同時(shí)，生成多樣化且目標(biāo)一致的行為。

• 模型架構(gòu) ：

• • 模型接收連續(xù)的RGB幀和目標(biāo)位置作為上下文信息，并使用預(yù)定義的與具體體現(xiàn)無關(guān)的錨點(diǎn)作為查詢進(jìn)行預(yù)測。首先，通過自注意力模塊整合上下文嵌入，生成鍵（K）和值（V）。同時(shí)，錨點(diǎn)特征fP作為查詢（Q）。

  • 隨后，RAM塊根據(jù)錨點(diǎn)查詢Q計(jì)算加權(quán)特征，并生成細(xì)化的錨點(diǎn)特征。最終，通過分類頭和回歸頭解碼錨點(diǎn)特征，預(yù)測分?jǐn)?shù)和歸一化的軌跡以及速度尺度。

• 訓(xùn)練過程 ：

• • 模型采用端到端的訓(xùn)練方式，使用兩種訓(xùn)練損失。第一種是負(fù)對數(shù)似然（NLL）損失，用于監(jiān)督分類頭和軌跡頭。

  • 通過選擇與真實(shí)軌跡方向最一致的模式進(jìn)行優(yōu)化。第二種是L2回歸損失，用于優(yōu)化速度尺度。

如果直接對整個(gè)模型參數(shù)進(jìn)行強(qiáng)化學(xué)習(xí)微調(diào)，可能會(huì)導(dǎo)致模型對模擬數(shù)據(jù)過度擬合，從而在真實(shí)世界數(shù)據(jù)上表現(xiàn)不佳。特別是對于視覺編碼器等對領(lǐng)域變化敏感的組件，這種分布偏移可能會(huì)顯著降低性能。

• 
  

  方法介紹 ：

• • RAM模塊通過復(fù)制預(yù)訓(xùn)練的交叉注意力層，并在復(fù)制的層上進(jìn)行微調(diào)，同時(shí)保持原始模塊凍結(jié)。

  • 這種設(shè)計(jì)通過在復(fù)制的模塊周圍添加兩個(gè)零初始化的線性層，確保在初始化時(shí)，添加的適應(yīng)分支對原始模型輸出沒有影響，但在微調(diào)過程中可以平滑地進(jìn)行適應(yīng)。

• 訓(xùn)練過程 ：

• • 使用PPO算法進(jìn)行訓(xùn)練，定義了綜合的獎(jiǎng)勵(lì)函數(shù)，包括速度方向獎(jiǎng)勵(lì)、位移懲罰、到達(dá)目標(biāo)獎(jiǎng)勵(lì)和碰撞懲罰。

  • 通過策略梯度調(diào)整RAM模塊的參數(shù)，使用PPO剪輯目標(biāo)和熵正則化進(jìn)行微調(diào)。

• 研究問題 ：驗(yàn)證強(qiáng)化學(xué)習(xí)（RL）是否能在離線預(yù)訓(xùn)練的基礎(chǔ)上進(jìn)一步提升導(dǎo)航性能。

• 模型變體 ：

• • S2E-BC ：僅使用離線預(yù)訓(xùn)練數(shù)據(jù)的行為克隆模型。

  • S2E-PPO ：從頭開始使用PPO進(jìn)行強(qiáng)化學(xué)習(xí)訓(xùn)練的模型。

  • S2E-SFT ：在預(yù)訓(xùn)練后使用監(jiān)督微調(diào)（SFT）的模型。

  • S2E-Full ：結(jié)合預(yù)訓(xùn)練和強(qiáng)化學(xué)習(xí)微調(diào)的完整方法。

• 數(shù)據(jù)集 ：使用不同規(guī)模的離線數(shù)據(jù)進(jìn)行訓(xùn)練，評估模型在不同數(shù)據(jù)規(guī)模下的性能。

• 實(shí)驗(yàn)結(jié)果 ：

• • 數(shù)據(jù)規(guī)模與性能 ：S2E-BC在數(shù)據(jù)規(guī)模增加到一定程度后，性能提升有限（從100k樣本增加到200k樣本，成功率僅提高3%）。而S2E-PPO通過強(qiáng)化學(xué)習(xí)在模擬環(huán)境中學(xué)習(xí)交互性，成功率比預(yù)訓(xùn)練模型提高了21%，且未使用更多離線數(shù)據(jù)。

  • SFT與RL對比 ：在增加訓(xùn)練成本的情況下，RL保持或提高了成功率，而SFT則出現(xiàn)嚴(yán)重的過擬合問題。這表明RL不僅樣本效率更高，而且在增加訓(xùn)練成本時(shí)更具魯棒性。

• 基準(zhǔn)測試設(shè)計(jì) ：

• • 測試場景 ：基于光柵化三維高斯濺射重建的真實(shí)世界場景，包含26個(gè)場景，每個(gè)場景包含4種任務(wù)：空環(huán)境、有隨機(jī)靜態(tài)障礙物的環(huán)境、有移動(dòng)行人的環(huán)境、有障礙物和行人的環(huán)境。

  • 評估指標(biāo) ：成功率（SR）、路線完成率（RC）和碰撞次數(shù)（CT）。

• 基線方法 ：

• • 圖像目標(biāo)方法 ：GNM、ViNT、NoMaD。

  • 點(diǎn)目標(biāo)方法 ：CityWalker、MBRA、ViNT*、NoMaD*（*表示使用點(diǎn)作為目標(biāo)重新訓(xùn)練的模型）。

• 實(shí)驗(yàn)結(jié)果 ：

• • S2E-Full性能 ：S2E-Full在所有測試場景中均優(yōu)于基線方法。與S2E-BC相比，S2E-Full在障礙物場景中的成功率提高了21%，在行人場景中提高了3%，在障礙物-行人場景中提高了17%。這表明強(qiáng)化學(xué)習(xí)在增強(qiáng)策略的交互能力方面發(fā)揮了關(guān)鍵作用。

  • 與其他方法對比 ：S2E-Full在成功率和碰撞避免方面均優(yōu)于其他基線方法，證明了S2E框架在復(fù)雜環(huán)境中的有效性和魯棒性。

• 實(shí)驗(yàn)設(shè)置 ：

• • 環(huán)境類型 ：空環(huán)境和有靜態(tài)障礙物的環(huán)境。

  • 機(jī)器人平臺(tái) ：Unitree GO2四足機(jī)器人和COCO輪式機(jī)器人。

  • 測試路線 ：共8條路線，每條路線重復(fù)3次。

• 實(shí)驗(yàn)結(jié)果 ：

  
  

• • S2E-Full在真實(shí)世界中展現(xiàn)了優(yōu)越的碰撞規(guī)避能力。在輪式機(jī)器人和四足機(jī)器人上，S2E-Full在成功率和碰撞避免指標(biāo)上均取得了最高性能。

  • 具體來說，輪式機(jī)器人上S2E-Full的成功率為0.42，碰撞次數(shù)為0.70；四足機(jī)器人上S2E-Full的成功率為0.50，碰撞次數(shù)為0.75。

  • 這表明通過強(qiáng)化學(xué)習(xí)在模擬環(huán)境中獲得的交互能力能夠有效地遷移到真實(shí)世界中，實(shí)現(xiàn)零樣本泛化。

• 實(shí)驗(yàn)設(shè)置 ：

• • 對比方法 ：ViNT*（單模態(tài)匹配）和S2E-BC（錨點(diǎn)引導(dǎo)分布匹配）。

  • 測試場景 ：包含障礙物和行人的復(fù)雜環(huán)境。

• 實(shí)驗(yàn)結(jié)果 ：

• • 性能對比 ：S2E-BC在成功率上比ViNT*提高了33%，碰撞率降低。這表明錨點(diǎn)引導(dǎo)分布匹配能夠顯著提升模型在復(fù)雜環(huán)境中的性能，有效捕捉多模態(tài)分布。

• 實(shí)驗(yàn)設(shè)置 ：

• • 對比方法 ：S2E-SFT（監(jiān)督微調(diào)）、S2E-PPO（從頭開始的強(qiáng)化學(xué)習(xí)）、S2E-FullFT（全參數(shù)微調(diào)）和S2E-Full（使用RAM的強(qiáng)化學(xué)習(xí)）。

  • 測試場景 ：NavBench-GS中的障礙物環(huán)境。

• 實(shí)驗(yàn)結(jié)果 ：

• • 性能對比 ：S2E-Full在成功率和碰撞次數(shù)上均優(yōu)于其他方法。具體來說，S2E-Full的成功率為0.76，碰撞次數(shù)為0.56，而S2E-SFT的成功率為0.71，碰撞次數(shù)為0.77。這表明RAM在有限模塊適應(yīng)的情況下，能夠有效地提升模型的交互能力，同時(shí)保持預(yù)訓(xùn)練知識(shí)。

• 結(jié)論 ：

• • S2E框架通過結(jié)合離線預(yù)訓(xùn)練和強(qiáng)化學(xué)習(xí)，有效地提升了導(dǎo)航基礎(chǔ)模型在多樣化真實(shí)世界環(huán)境中的泛化能力和交互性，能夠在不同的機(jī)器人平臺(tái)上實(shí)現(xiàn)零樣本泛化，為機(jī)器人導(dǎo)航領(lǐng)域提供了一種新的、有效的學(xué)習(xí)方法。

• 未來工作 ：

• • 當(dāng)前系統(tǒng)缺乏3D感知能力，導(dǎo)致即使S2E-full模型有時(shí)也會(huì)出現(xiàn)碰撞失敗的情況，未來可以考慮整合深度估計(jì)或占用預(yù)測任務(wù)來推斷3D結(jié)構(gòu)線索。

  • 此外，還需要解決由于機(jī)器人機(jī)械結(jié)構(gòu)導(dǎo)致的問題，如模擬與真實(shí)機(jī)器人平臺(tái)之間的差異所引起的sim-to-real差距，以及運(yùn)動(dòng)控制不準(zhǔn)確導(dǎo)致的性能下降問題，可以通過實(shí)施更高保真度的模擬建模并結(jié)合廣泛的數(shù)據(jù)增強(qiáng)策略來有效緩解這些問題。

  • 在未來，還計(jì)劃將該框架擴(kuò)展到其他機(jī)器人應(yīng)用領(lǐng)域，例如移動(dòng)操作等。

文章來源：視覺語言導(dǎo)航。