在長(zhǎng)期以來的 AI 研究版圖中，具身智能雖然在機(jī)器人操作、自動(dòng)化系統(tǒng)與現(xiàn)實(shí)應(yīng)用中至關(guān)重要，卻常被視為「系統(tǒng)工程驅(qū)動(dòng)」的研究方向，鮮少被認(rèn)為能夠在 AI 核心建模范式上產(chǎn)生決定性影響。

而 ReconVLA 獲得 AAAIOutstandingPaper Awards，釋放了一個(gè)清晰而重要的信號(hào)：讓智能體在真實(shí)世界中「看、想、做」的能力，已經(jīng)成為人工智能研究的核心問題之一。

這是具身智能（Embodied Intelligence / Vision-Language-Action）方向歷史上，首次獲得 AI 頂級(jí)會(huì)議 Best Paper 的研究工作。這是一次真正意義上的 community-level 認(rèn)可：不僅是對(duì)某一個(gè)模型、某一項(xiàng)指標(biāo)的認(rèn)可，更是對(duì)具身智能作為通用智能核心范式之一的肯定。

• 論文標(biāo)題：ReconVLA: Reconstructive Vision-Language-Action Model as Effective Robot Perceiver
• 論文地址：https://arxiv.org/abs/2508.10333
• 論文代碼：https://github.com/Chowzy069/Reconvla

VLA 模型關(guān)鍵瓶頸：機(jī)器人真「看準(zhǔn)」了嗎？

近年來，Vision-Language-Action（VLA）模型在多任務(wù)學(xué)習(xí)與長(zhǎng)時(shí)序操作中取得了顯著進(jìn)展。然而，我們?cè)诖罅繉?shí)驗(yàn)中發(fā)現(xiàn)，一個(gè)基礎(chǔ)但被長(zhǎng)期忽視的問題嚴(yán)重制約了其性能上限：視覺注意力難以穩(wěn)定、精準(zhǔn)地聚焦于任務(wù)相關(guān)目標(biāo)。

以指令「將藍(lán)色積木放到粉色積木上」為例，模型需要在復(fù)雜背景中持續(xù)鎖定「藍(lán)色積木」和「粉色積木」。但現(xiàn)實(shí)中，許多 VLA 模型的視覺注意力呈現(xiàn)為近似均勻分布，不同于人類行為專注于目標(biāo)物體，VLA 模型容易被無(wú)關(guān)物體或背景干擾，從而導(dǎo)致抓取或放置失敗。

已有工作主要通過以下方式嘗試緩解這一問題：

• 顯式裁剪或檢測(cè)目標(biāo)區(qū)域（Explicit Grounding）
• 預(yù)測(cè)目標(biāo)邊界框作為中間輸出（COT Grounding）

然而，這些方法并未從根本上改變模型自身的視覺表征與注意力分配機(jī)制，提升效果有限。

ReconVLA：重建式隱式視覺定位的新范式

為解決上述瓶頸，我們提出ReconVLA，一種重建式（Reconstructive）Vision-Language-Action 模型。其核心思想是：

不要求模型顯式輸出「看哪里」，而是通過「能否重建目標(biāo)區(qū)域」，來約束模型必須學(xué)會(huì)精準(zhǔn)關(guān)注關(guān)鍵物體。

在 ReconVLA 中，動(dòng)作預(yù)測(cè)不再是唯一目標(biāo)。在生成動(dòng)作表征的同時(shí)，模型還需要完成一項(xiàng)輔助任務(wù)：

重建當(dāng)前時(shí)刻所「凝視」的目標(biāo)區(qū)域 ----- 我們稱之為 Gaze Region。

這一重建過程由輕量級(jí)擴(kuò)散變換器（Diffusion Transformer）完成，并在潛在空間中進(jìn)行高保真復(fù)原。由于要最小化重建誤差，模型被迫在其內(nèi)部視覺表示中編碼關(guān)于目標(biāo)物體的精細(xì)語(yǔ)義與結(jié)構(gòu)信息，從而在注意力層面實(shí)現(xiàn)隱式而穩(wěn)定的對(duì)齊。

這一機(jī)制更接近人類的視覺凝視行為，而非依賴外部檢測(cè)器或符號(hào)化坐標(biāo)監(jiān)督。

方法概覽

ReconVLA 的整體框架由兩個(gè)協(xié)同分支組成：

1. 動(dòng)作預(yù)測(cè)分支： 模型以多視角圖像、自然語(yǔ)言指令與機(jī)器人本體狀態(tài)為輸入，生成動(dòng)作 token，直接驅(qū)動(dòng)機(jī)器人執(zhí)行操作。

2. 視覺重建分支： 利用凍結(jié)的視覺 tokenizer，將指令關(guān)注的目標(biāo)區(qū)域（Gaze region）編碼為高保真潛在 token。主干網(wǎng)絡(luò)額外輸出同維度的重建 token，并以此作為條件，引導(dǎo)擴(kuò)散去噪過程逐步復(fù)原目標(biāo)區(qū)域的視覺表示。

重建損失在像素與潛在空間層面為模型提供了隱式監(jiān)督，使視覺表征與動(dòng)作決策在訓(xùn)練過程中緊密耦合。

大規(guī)模重建預(yù)訓(xùn)練

為賦予 ReconVLA 穩(wěn)定的視覺重建與泛化能力，我們構(gòu)建了一個(gè)大規(guī)模機(jī)器人預(yù)訓(xùn)練數(shù)據(jù)集：

• 數(shù)據(jù)規(guī)模：超過 10 萬(wàn)條交互軌跡，約 200 萬(wàn)張圖像。
• 數(shù)據(jù)來源：BridgeData V2、LIBERO、CALVIN 等開源機(jī)器人數(shù)據(jù)集。
• 自動(dòng)化標(biāo)注：利用微調(diào)后的 Grounding DINO 或 Yolo 等方式，從原始圖像中自動(dòng)生成指令對(duì)應(yīng)的目標(biāo)物體區(qū)域（Gaze region），用于重建監(jiān)督。

該預(yù)訓(xùn)練過程不依賴動(dòng)作標(biāo)簽，卻顯著提升了模型在視覺重建、隱式 Grounding 以及跨場(chǎng)景泛化方面的能力，并為未來擴(kuò)展至互聯(lián)網(wǎng)級(jí)視頻數(shù)據(jù)奠定了一定基礎(chǔ)。

實(shí)驗(yàn)結(jié)果

在 CALVIN 仿真基準(zhǔn)上，ReconVLA 在長(zhǎng)時(shí)序任務(wù)中顯著優(yōu)于現(xiàn)有方法：

• ABC→D 泛化任務(wù)：平均完成長(zhǎng)度達(dá)到3.95，全面領(lǐng)先同期所有對(duì)比方法。
• ABCD→D 長(zhǎng)程任務(wù)：平均完成長(zhǎng)度為4.23，完整任務(wù)成功率達(dá)70.5%。

值得一提的是，在 CALVIN 極具挑戰(zhàn)的長(zhǎng)程任務(wù)「stack block」上我們的方法成功率達(dá)到 79.5%，遠(yuǎn)高于 Baseline 的 59.3%，這說明我們的局部重建作為隱式監(jiān)督的方法可以在復(fù)雜長(zhǎng)程任務(wù)中實(shí)現(xiàn)更靈活的運(yùn)動(dòng)規(guī)劃。

在真實(shí)機(jī)器人實(shí)驗(yàn)中，我們基于 AgileX PiPer 六自由度機(jī)械臂，測(cè)試了疊碗、放水果、翻杯與清理餐桌等任務(wù)。ReconVLA 在所有任務(wù)上均顯著優(yōu)于 OpenVLA 與 PD-VLA，并在未見物體條件下仍保持 40% 以上的成功率，展現(xiàn)出強(qiáng)大的視覺泛化能力。

對(duì)比于 Explicit Grounding 和 COT Grounding，ReconVLA 在 CALVIN 上獲得了遠(yuǎn)高于前兩者的成功率，由此可分析出：

僅用精細(xì)化的目標(biāo)區(qū)域作為模型隱式監(jiān)督可以實(shí)現(xiàn)更加精確的注意力，更高的任務(wù)成功率以及更簡(jiǎn)單的模型夾構(gòu)。

而消融實(shí)驗(yàn)表明：

1. 全圖重建仍然由于僅有動(dòng)作監(jiān)督的基線，因?yàn)槿珗D重建提升了模型的全局感知和理解能力。但由于視覺冗余使得在未知環(huán)境下難以展現(xiàn)更好的效果。

2. 重建目標(biāo)區(qū)域（Gaze region）具有顯著效果，這個(gè)機(jī)制使得模型專注于目標(biāo)物體，避免被無(wú)關(guān)背景干擾。

3. 大規(guī)模預(yù)訓(xùn)練顯著提升了模型在視覺重建，隱式 Grounding 及跨場(chǎng)景泛化的能力。

總結(jié)

ReconVLA 的核心貢獻(xiàn)并非引入更復(fù)雜的結(jié)構(gòu)，而是重新審視了一個(gè)基礎(chǔ)問題：機(jī)器人是否真正理解了它正在注視的世界。

通過重建式隱式監(jiān)督，我們?yōu)?VLA 模型提供了一種更自然、更高效的視覺對(duì)齊機(jī)制，使機(jī)器人在復(fù)雜環(huán)境中做到「看得準(zhǔn)、動(dòng)得穩(wěn)」。

我們期待這一工作能夠推動(dòng)具身智能從經(jīng)驗(yàn)驅(qū)動(dòng)的系統(tǒng)設(shè)計(jì)，邁向更加扎實(shí)、可擴(kuò)展的通用智能研究范式。