編輯｜Panda

長期以來，AI 領(lǐng)域一直懷揣著一個宏大的夢想：創(chuàng)造出能夠像人類一樣直觀理解物理世界，并在從未見過的任務(wù)和環(huán)境中游刃有余的智能體。

傳統(tǒng)的強化學(xué)習(xí)方法往往比較笨拙，需要通過無數(shù)次的試錯和海量的樣本才能學(xué)到一點皮毛，這在獎勵信號稀疏的現(xiàn)實環(huán)境中簡直是災(zāi)難。

為了打破這一僵局，研究者們提出了「世界模型」這一概念，即讓智能體在腦海中構(gòu)建一個物理模擬器，通過預(yù)測未來狀態(tài)來進行演練。

近年來，雖然能夠生成精美像素畫面的生成式模型層出不窮，但對于物理規(guī)劃而言，沉溺于無關(guān)緊要的細節(jié)（如背景煙霧的流動）往往是低效的。真正的挑戰(zhàn)在于，如何在錯綜復(fù)雜的原始視覺輸入中提取抽象精髓。

這便引出了本研究的主角：JEPA-WM（聯(lián)合嵌入預(yù)測世界模型）

從名字也能看出來，這個模型與 Yann LeCun 的JEPA（聯(lián)合嵌入預(yù)測架構(gòu)）緊密相關(guān)。事實上也確實如此，并且 Yann LeCun 本人也是該論文的作者之一。更有意思的是，在這篇論文中，Yann LeCun 的所屬機構(gòu)為 Meta FAIR。不知道這是不是他在 Meta 的最后一篇論文？

• 論文標題：What Drives Success in Physical Planning with Joint-Embedding Predictive World Models?
• 論文地址：https://arxiv.org/abs/2512.24497

JEPA-WM 繼承了 JEPA 的衣缽，不再糾結(jié)于像素級的重建，而是在高度抽象的表征空間內(nèi)進行預(yù)判。在這項研究中，團隊試圖通過對架構(gòu)、目標函數(shù)和規(guī)劃算法的全方位掃描，揭示究竟是什么驅(qū)動了物理規(guī)劃的成功，并試圖為機器人裝上一個更理性的「大腦」。

JEPA-WM 核心方法

該團隊將 JEPA-WM 的訓(xùn)練與規(guī)劃流程形式化為一套統(tǒng)一的「終極指南」，重點在于如何在學(xué)習(xí)到的特征空間中模擬動力學(xué)。

1. 層次化的編碼與預(yù)測架構(gòu)

在訓(xùn)練階段，模型主要由四部分交織而成：

2. 多步展開與動作調(diào)節(jié)細節(jié)

在訓(xùn)練時，模型不僅要預(yù)測下一幀，還要學(xué)會在沒有真實觀測反饋的情況下，基于自己的預(yù)測結(jié)果遞歸生成后續(xù)狀態(tài)。為了提高效率，采用了截斷反向傳播（TBPTT），即只針對最后一步的預(yù)測誤差計算梯度，而切斷之前的累積梯度。

在動作信息如何干預(yù)預(yù)測過程上，該團隊對比了三種關(guān)鍵方案：

• 特征調(diào)節(jié)（Feature Conditioning）：將動作向量直接拼接到每一個視覺特征向量上，增加了預(yù)測器的隱藏層維度。
• 序列調(diào)節(jié)（Sequence Conditioning）：將動作作為一個獨立的 Token 插入到 ViT 的輸入序列中，通過注意力機制進行信息分發(fā)。
• 自適應(yīng)層歸一化（AdaLN）：動作嵌入被投影為縮放和偏移參數(shù)，在每一個 Transformer 塊中動態(tài)調(diào)制歸一化統(tǒng)計量，這能有效防止動作信號在深層網(wǎng)絡(luò)中「淡出」。

3. 規(guī)劃邏輯：在嵌入空間中尋找最優(yōu)解

實驗與結(jié)果：從模擬器到真實機械臂

研究團隊在 Metaworld（42 個操縱任務(wù)）、Push-T（物體推送）、PointMaze（導(dǎo)航）以及 DROID（真實機械臂數(shù)據(jù)集）上進行了評估。

1. 規(guī)劃器之爭：梯度 vs 采樣

實驗結(jié)果揭示了一個有趣的現(xiàn)象：在像 Metaworld 這種成本曲線相對平滑的任務(wù)中，基于梯度的 Adam 或 GD 優(yōu)化器表現(xiàn)驚人，因為它們能順著梯度迅速找到目標。但在 2D 導(dǎo)航（Wall, Maze）任務(wù)中，梯度法極易卡在局部極小值（例如對著墻猛撞而不懂得繞過門口），此時基于采樣的交叉熵方法（CEM）憑借其探索能力完勝。

此外，新引入的Nevergrad（NG）規(guī)劃器在無需調(diào)參的情況下展現(xiàn)了與 CEM 相當?shù)膶嵙?，尤其適合跨任務(wù)遷移。

2. 關(guān)鍵因素的「貢獻度」

為了量化不同設(shè)計決策對智能體最終表現(xiàn)的影響，研究團隊采用了一種嚴謹?shù)目刂谱兞糠ā?/p>

他們以一個基礎(chǔ)配置（DINO-WM 結(jié)合 ViT-S 編碼器及 6 層預(yù)測器）為基準，獨立改變每一個核心組件，從而在復(fù)雜的系統(tǒng)工程中剝離出真正驅(qū)動性能增長的關(guān)鍵因子。通過在 Metaworld、Push-T 等多種異構(gòu)環(huán)境下進行數(shù)以萬計的幕（Episode）測試，實驗揭示了世界模型在處理物理邏輯時的內(nèi)在偏好。以下是影響物理規(guī)劃成敗的核心貢獻因素：

本體感受的顯著增益：引入機器人內(nèi)部狀態(tài)信息（如關(guān)節(jié)角度、末端位姿）能夠一致性地提高規(guī)劃成功率。在 Metaworld 任務(wù)中，這能有效減少機械臂在目標點附近震蕩的情況，提供更精準的距離感知。

編碼器架構(gòu)：DINO 系列編碼器（DINOv2/v3）在所有任務(wù)中均表現(xiàn)出對 V-JEPA 等視頻編碼器的明顯優(yōu)勢。這歸功于 DINO 強大的細粒度目標分割能力，這對于需要精確感知物體位置的操縱和導(dǎo)航任務(wù)至關(guān)重要。在視覺復(fù)雜度更高的真實數(shù)據(jù)（DROID）中，DINOv3 的優(yōu)勢進一步擴大。

動作調(diào)節(jié)技術(shù)的微妙差異：實驗發(fā)現(xiàn) AdaLN（自適應(yīng)層歸一化）調(diào)節(jié)技術(shù)在平均性能上表現(xiàn)最強，且計算效率更高。它通過在 Transformer 的每一層注入動作信息，有效防止了控制信號在深層網(wǎng)絡(luò)傳遞過程中的消失，相比傳統(tǒng)的特征拼接（ftcond）或序列拼接（seqcond）更具穩(wěn)健性。

訓(xùn)練上下文長度的權(quán)衡：預(yù)測器需要至少 2 幀上下文來推斷速度信息，這在 W=1 與 W=2 之間的巨大性能鴻溝中得到了印證。然而，盲目增加上下文長度（如 W > 5）反而有害，因為這會減少訓(xùn)練中看到的獨特軌跡數(shù)量，并可能引入無用的梯度噪聲。

模型規(guī)模：這是一個令人意外的發(fā)現(xiàn)：在簡單的模擬環(huán)境（如 Maze, Wall）中，增大模型規(guī)模（從 ViT-S 到 ViT-L）非但沒有幫助，反而可能由于嵌入空間過于復(fù)雜而導(dǎo)致規(guī)劃效率下降。但對于復(fù)雜的現(xiàn)實數(shù)據(jù)（DROID），大容量的編碼器和更深的預(yù)測器則展現(xiàn)出了明確的正相關(guān)收益，說明任務(wù)的物理復(fù)雜度決定了智能體所需的智力上限。

多步損失的對齊作用：在訓(xùn)練中加入 2 步展開損失能顯著改善預(yù)測器的長時穩(wěn)定性，使其訓(xùn)練任務(wù)與測試時的遞歸規(guī)劃任務(wù)更加對齊。對于最復(fù)雜的 DROID 任務(wù)，最佳的展開步數(shù)甚至需要達到 6 步。

3. 提出的最優(yōu)解

研究最終匯總所有洞察，提出了針對不同任務(wù)的最優(yōu)配置：在模擬器中使用 ViT-S 配以 AdaLN，而在真實復(fù)雜場景中使用 DINOv3 ViT-L 配以 12 層深度的預(yù)測器。

在與 DINO-WM 和 V-JEPA-2-AC 的直接較量中，該模型在幾乎所有維度上均取得了領(lǐng)先。

更多詳情請參閱原論文。