世界模型讓機(jī)器人真正“懂”得如何達(dá)成目標(biāo)。

作者 |許麗思

編輯 |漠影

機(jī)器人前瞻12月31日報道，今天，智元發(fā)布了一個全新的操作算法Act2Goal。

該方案引入了“目標(biāo)條件世界模型”，讓機(jī)器人在動手執(zhí)行任務(wù)前，就在大腦里把全流程想清楚了，能夠生成一系列中間視覺狀態(tài)作為任務(wù)進(jìn)程的結(jié)構(gòu)化表征，為機(jī)器人動作提供明確操作錨點。

這種將視覺推理與動作控制合二為一的端到端架構(gòu)，讓Act2Goal能夠在從未見過的環(huán)境和物體面前，展現(xiàn)出較強(qiáng)的零樣本泛化能力。

比如，給機(jī)器人一張目標(biāo)圖片，圖片上是從沒見過的英文單詞，它就可以用記號筆在白板上寫下來。

機(jī)器人也可以根據(jù)給定的一張關(guān)于甜點擺盤的圖像，按照既定位置進(jìn)行擺盤。

按照圖片指引，機(jī)器人挨個把軸承工件逐個插入小孔。

另外，Act2Goal還能自我進(jìn)化，不需要人類手把手教（無獎勵信號），就能在真實世界的交互中，快速“復(fù)盤”自己的行為軌跡。實驗數(shù)據(jù)顯示，面對高難度的陌生任務(wù)，Act2Goal僅需數(shù)分鐘的在線自我磨練，成功率就能從30%提升至90%。

比如，17分鐘內(nèi)，把飲料瓶準(zhǔn)確插入杯架內(nèi)。

在27分鐘內(nèi)，通過反復(fù)練習(xí)，繪制未見過的圖案。

01.

端到端目標(biāo)條件策略：

從目標(biāo)感知到動作規(guī)劃的統(tǒng)一

Act2Goal的核心在于將目標(biāo)條件世界模型與動作生成策略統(tǒng)一于端到端框架，實現(xiàn)對任務(wù)演化過程的結(jié)構(gòu)化理解。

在每次操作前，系統(tǒng)不僅感知當(dāng)前狀態(tài)和目標(biāo)狀態(tài)，還通過世界模型預(yù)測從當(dāng)前到目標(biāo)的未來視覺軌跡，為動作專家提供連續(xù)、多尺度的規(guī)劃依據(jù)。

通過這種方式，目標(biāo)不再是靜態(tài)終點，而是一條可感知、可跟隨的演化路徑，從而顯著提升長時序操作的穩(wěn)定性與泛化能力。這一范式帶來了兩個關(guān)鍵優(yōu)勢：

長時序任務(wù)中保持高精度與全局對齊：端到端設(shè)計結(jié)合多尺度時間規(guī)劃，使機(jī)器人既能精確執(zhí)行短期動作，又能保持整體目標(biāo)方向一致。

零樣本泛化與快速適應(yīng)新場景：系統(tǒng)能夠在未見過的物體、目標(biāo)配置或復(fù)雜環(huán)境中穩(wěn)定執(zhí)行，并通過在線自我提升機(jī)制快速適應(yīng)新任務(wù)，進(jìn)一步增強(qiáng)魯棒性和可擴(kuò)展性。

02.

多尺度時域哈希（MSTH）：

兼顧短期精細(xì)操作與全局合理規(guī)劃

為了在長時序任務(wù)中同時處理精細(xì)動作和全局規(guī)劃，Act2Goal引入了多尺度時域哈希（Multi-Scale Temporal Hashing, MSTH）機(jī)制。系統(tǒng)將規(guī)劃過程劃分為：

短時精細(xì)段（Proximal）：連續(xù)高頻采樣，用于精確控制機(jī)械臂動作；

長時粗粒段（Distal）：自適應(yīng)采樣，用于全局路徑規(guī)劃和目標(biāo)對齊。

這種設(shè)計使機(jī)器人在復(fù)雜操作中能夠兼顧局部動作精度與整體目標(biāo)方向，有效防止誤差累積和目標(biāo)偏離。

MSTH可同時應(yīng)用于世界模型的視覺規(guī)劃與動作專家模塊的動作規(guī)劃。

▲目標(biāo)驅(qū)動的世界模型基于MSTH規(guī)則生成操作視頻

03.

離線模仿學(xué)習(xí)

為了讓Act2Goal具備較強(qiáng)的泛化能力，系統(tǒng)首先通過大規(guī)模離線模仿學(xué)習(xí)進(jìn)行訓(xùn)練。系統(tǒng)微調(diào)預(yù)訓(xùn)練的世界模型，使其能夠生成從當(dāng)前狀態(tài)到目標(biāo)狀態(tài)的多視角、多尺度視覺軌跡，并遵循MSTH規(guī)則。動作生成模塊與世界模型聯(lián)合訓(xùn)練，通過參考軌跡預(yù)測生成可執(zhí)行動作。

這種聯(lián)合訓(xùn)練保證了視覺軌跡預(yù)測不僅真實可信，而且能夠有效指導(dǎo)動作生成，為動作規(guī)劃奠定基礎(chǔ)。系統(tǒng)對整個端到端模型進(jìn)行行為克隆微調(diào)，使從視覺感知到動作生成形成完整閉環(huán)。

通過以上訓(xùn)練，Act2Goal學(xué)會根據(jù)當(dāng)前狀態(tài)和目標(biāo)狀態(tài)預(yù)測未來軌跡，并生成可執(zhí)行動作，從而具備良好的泛化能力和長期操作穩(wěn)定性。

▲部署Act2Goal模型的G01機(jī)器人在多個域外任務(wù)上展現(xiàn)出色性能

04.

在線自我提升

盡管離線訓(xùn)練使系統(tǒng)具備較強(qiáng)的泛化能力，但在真實環(huán)境中面對新任務(wù)、未知物體或復(fù)雜操作鏈時，機(jī)器人仍可能遇到性能下降。為此，Act2Goal引入在線自我提升機(jī)制，利用回顧性經(jīng)驗重放（HER）實現(xiàn)自主性能優(yōu)化。

在執(zhí)行過程中，機(jī)器人會自動收集每一步的狀態(tài)、動作及執(zhí)行結(jié)果，并將軌跡重新標(biāo)注為新的目標(biāo)示例，存入回放緩沖區(qū)。

無論任務(wù)是否成功完成，系統(tǒng)都能利用這些數(shù)據(jù)進(jìn)行端到端微調(diào)，僅更新新增的LoRA層參數(shù)，基礎(chǔ)模型保持凍結(jié)。

通過這一機(jī)制，機(jī)器人能夠在未見過的環(huán)境和目標(biāo)中快速適應(yīng)，實現(xiàn)零樣本泛化與長期穩(wěn)定操作，為復(fù)雜任務(wù)提供強(qiáng)大的魯棒性和可擴(kuò)展性。

▲部署Act2Goal模型的機(jī)器人在線練習(xí)繪制未見過的圖案

05.

結(jié)語：先理解再行動，

重構(gòu)目標(biāo)條件機(jī)器人操作邏輯

Act2Goal的核心貢獻(xiàn)在于重新審視了目標(biāo)條件操作中的一個基本問題：從當(dāng)前狀態(tài)到目標(biāo)狀態(tài)之間，機(jī)器人是否真正理解過程？通過在策略中顯式引入目標(biāo)條件世界模型，并結(jié)合多尺度時間建模與深度融合機(jī)制，其為目標(biāo)條件機(jī)器人操作提供了一種新的建模范式。

這種“先理解世界如何變化，再決定如何行動”的思路，將為更通用、更可靠的機(jī)器人系統(tǒng)提供重要支撐。