視覺–語言–動(dòng)作（VLA）模型在機(jī)器人場景理解與操作上展現(xiàn)出較強(qiáng)的通用性，但在需要明確目標(biāo)終態(tài)的長時(shí)序任務(wù)（如樂高搭建、物體重排）中，仍難以兼顧高層規(guī)劃與精細(xì)操控。

針對這一問題，北京大學(xué)、香港中文大學(xué)與至簡動(dòng)力團(tuán)隊(duì)提出了全新的「生成–理解–動(dòng)作」一體化模型 ManualVLA。

• 論文題目：ManualVLA: A Unified VLA Model for Chain-of-Thought Manual Generation and Robotic Manipulation
• 論文鏈接：https://arxiv.org/abs/2512.02013
• 項(xiàng)目主頁：https://sites.google.com/view/maunalvla

https://mp.weixin.qq.com/s/5d8G8SHTagcJO8pKRZpI6A

不同于 π0 等端到端模型在處理復(fù)雜長程任務(wù)時(shí)仍面臨的推理與執(zhí)行割裂問題，ManualVLA 摒棄了將「高層次規(guī)劃」與「動(dòng)作生成」拆分的傳統(tǒng)分層級(jí)聯(lián)方案，構(gòu)建了全新通用基礎(chǔ)模型 Mixture-of-Transformers (MoT) 架構(gòu)，在同一模型中統(tǒng)一多專家模塊，實(shí)現(xiàn)多模態(tài)生成與動(dòng)作執(zhí)行的緊密協(xié)同。

首先由「規(guī)劃專家」生成由圖像、空間位置提示和文字說明組成的多模態(tài)操作說明書，再通過顯式與隱式相結(jié)合的「思維鏈」（ManualCoT）推理，將信息反饋給「動(dòng)作專家」，為每一步操作提供清晰的顯式控制條件的同時(shí)，通過潛在表征為動(dòng)作生成提供持續(xù)的隱式引導(dǎo)，實(shí)現(xiàn)理解與生成的高度統(tǒng)一。

實(shí)驗(yàn)結(jié)果表明，ManualVLA 在現(xiàn)實(shí)場景任務(wù)中表現(xiàn)出顯著優(yōu)勢，其平均成功率相較于分層結(jié)構(gòu)的最新基線方法提升約 32%，充分驗(yàn)證了「生成手冊–指導(dǎo)動(dòng)作」這一統(tǒng)一范式的有效性。

一、研究背景與挑戰(zhàn)

近年來，VLA 模型在機(jī)器人場景理解和泛化操作方面取得了顯著進(jìn)展，推動(dòng)了通用具身智能體的發(fā)展。但當(dāng)面臨需要精確定義最終目標(biāo)狀態(tài)的長周期任務(wù)，例如復(fù)雜的樂高組裝或物體重新排列時(shí)，現(xiàn)有模型仍然難以協(xié)調(diào)高級(jí)規(guī)劃與精確操作。

這些任務(wù)主要面臨兩個(gè)核心難題：首先，VLA 模型必須執(zhí)行精確操作以嚴(yán)格對齊預(yù)定義的最終場景或物體配置；其次，模型必須有效地將長周期規(guī)劃與細(xì)粒度控制相集成，同時(shí)保持對多樣化現(xiàn)實(shí)世界環(huán)境的泛化能力。

現(xiàn)有的分層方法通過依賴人工制作說明書或人類演示視頻來模仿這種能力，然而，這些方法通常在泛化到未見過的最終目標(biāo)狀態(tài)方面存在局限性，在系統(tǒng)復(fù)雜度、部署成本和泛化性之間難以取得兼顧，難以形成一個(gè)統(tǒng)一、可端到端訓(xùn)練和部署的體系。

二、ManualVLA 方法陳述

為此，ManualVLA 讓模型學(xué)會(huì)「自己生成說明書，再按說明書去執(zhí)行動(dòng)作」。在推理階段，系統(tǒng)首先接收自然語言指令、當(dāng)前場景圖像和最終目標(biāo)圖像，由規(guī)劃專家生成包含關(guān)鍵步驟的多模態(tài)手冊：由文字描述指出要操控哪些物體以及要完成的子目標(biāo)，像素級(jí)坐標(biāo)給出目標(biāo)物體在圖像中的精確位置，子目標(biāo)圖像則展示子目標(biāo)完成后的「預(yù)期畫面」。動(dòng)作專家在閉環(huán)控制中執(zhí)行這一子目標(biāo)，直到達(dá)到預(yù)期狀態(tài)，再進(jìn)入下一次手冊生成與執(zhí)行。通過這種逐步推進(jìn)的方式，原本困難的長時(shí)序任務(wù)被拆解為一系列可控、可解釋的短階段。

▲ 圖 1| (a) 諸如樂高拼搭或物體重排等具有預(yù)定義目標(biāo)狀態(tài)的長程任務(wù)，對智能機(jī)器人構(gòu)成了重大挑戰(zhàn)。(b) 為了解決此類任務(wù)，我們提出了 ManualVLA。這是一個(gè)基于 MoT 架構(gòu)構(gòu)建的統(tǒng)一 VLA 模型，它通過一種精心設(shè)計(jì)的「說明書思維鏈」（Manual Chain-of-Thought），實(shí)現(xiàn)了多模態(tài)手冊生成與動(dòng)作生成之間的緊密協(xié)同。

https://mp.weixin.qq.com/s/5d8G8SHTagcJO8pKRZpI6A

架構(gòu)設(shè)計(jì)

ManualVLA 將 Janus-Pro 1B 拓展到 MoT 架構(gòu)，形成統(tǒng)一 VLA 模型并集成「規(guī)劃專家」和「動(dòng)作專家」，實(shí)現(xiàn)了多模態(tài)手冊生成和動(dòng)作執(zhí)行之間的連貫協(xié)作。

• 規(guī)劃專家：處理圖像信息時(shí)，ManualVLA 采用了基于 VQ 的視覺分詞器 (VQ-based vision tokenizer)，該分詞器遵循 VQ-GAN 的編碼器-量化器-解碼器架構(gòu)，對子目標(biāo)圖像進(jìn)行離散化建模。
• 動(dòng)作專家：采用基于擴(kuò)散去噪的方法進(jìn)行動(dòng)作建模，通過兩層 MLP 構(gòu)建將噪聲動(dòng)作注入動(dòng)作專家的噪聲編碼器，以及用于從潛在表示中預(yù)測噪聲的噪聲解碼器。在動(dòng)作生成的視覺輸入上，ManualVLA 采用了 SigLIP-large，從 384×384 輸入圖像中提取高維語義特征。

ManualCoT 思維鏈機(jī)制

該機(jī)制從顯式與隱式兩條路徑影響動(dòng)作生成。

• 顯式路徑：模型把規(guī)劃專家預(yù)測的目標(biāo)位置以 visual prompt 形式疊加在當(dāng)前圖像上，構(gòu)成帶有明顯操作區(qū)域提示的「提示圖」，動(dòng)作專家直接以此作為視覺輸入之一，仿佛在圖像上用熒光筆圈出了「請?jiān)谶@里操作」。
• 隱式路徑：手冊生成時(shí)產(chǎn)生的內(nèi)部特征——無論對應(yīng)文字描述、坐標(biāo)還是子目標(biāo)圖像——都通過專門設(shè)計(jì)的注意力掩碼被動(dòng)作專家讀取，相當(dāng)于在看不見的空間中不斷提醒動(dòng)作模塊「當(dāng)前在做什么、應(yīng)該做到什么程度、做完以后世界會(huì)是什么樣」。消融實(shí)驗(yàn)表明，去掉任一路徑都會(huì)顯著降低長任務(wù)中的成功率，說明只有顯隱結(jié)合，才能兼顧精度與穩(wěn)健性。

▲ 圖 2| (a) 該框架包含兩個(gè)專家模塊：負(fù)責(zé)生成多模態(tài)「說明書」的規(guī)劃專家，以及負(fù)責(zé)預(yù)測精確動(dòng)作的動(dòng)作專家。規(guī)劃專家處理人類指令、當(dāng)前圖像和最終目標(biāo)圖像，生成結(jié)合了下一步圖像、位置坐標(biāo)和子任務(wù)指令的中間手冊。我們引入了一個(gè)顯式思維鏈 (Explicit CoT)推理過程，其中每個(gè)位置指示符都作為一個(gè)視覺提示 (Visual Prompt) 嵌入到動(dòng)作專家的觀測輸入中。(b) 結(jié)合跨任務(wù)共享注意力機(jī)制和專門設(shè)計(jì)的 Attention mask，生成的「說明書」token 也被用作動(dòng)作生成的條件信號(hào)，從而實(shí)現(xiàn)了一種能有效引導(dǎo)動(dòng)作專家的隱式思維鏈 (Implicit CoT)推理過程。

三階段訓(xùn)練

• 第一階段：基于互聯(lián)網(wǎng)機(jī)器人數(shù)據(jù)集，篩選與裝配和重排相關(guān)的軌跡，構(gòu)建超過 40 萬條示例的預(yù)訓(xùn)練集，只更新動(dòng)作專家，學(xué)習(xí)抓取、搬運(yùn)和放置技能。
• 第二階段：利用基于三維高斯表示的數(shù)字孿生工具，對樂高板、單塊積木和常見桌面物體進(jìn)行三維重建，在虛擬空間中反復(fù)隨機(jī)排列組合，自動(dòng)渲染每個(gè)中間狀態(tài)的圖像并記錄對應(yīng)的位置和文字描述模板，為每個(gè)任務(wù)合成上萬幀帶有精確標(biāo)注的手冊數(shù)據(jù)，用于訓(xùn)練規(guī)劃專家。
• 第三階段：在真實(shí)雙臂平臺(tái)上通過遙操作采集每個(gè)任務(wù) 100 條專家示范軌跡，自動(dòng)抽取關(guān)鍵幀生成與真實(shí)執(zhí)行過程一致的手冊–動(dòng)作配對，在此基礎(chǔ)上對規(guī)劃與動(dòng)作兩個(gè)專家進(jìn)行聯(lián)合微調(diào)，使模型在真實(shí)環(huán)境中的規(guī)劃–執(zhí)行閉環(huán)更加貼合物理世界。

▲ 圖 3| 數(shù)字孿生示例 (a) 我們重建了 3D 高斯濺射表征，隨后將其分解為樂高底板和單個(gè)積木。(b) 我們逐步地將積木放置在底板上/將物體放置在盒子上。

三、真機(jī)、模擬器、泛化性實(shí)驗(yàn)

真機(jī)實(shí)驗(yàn)

在 Franka 雙臂平臺(tái)上，ManualVLA 測試了三個(gè)需要明確目標(biāo)狀態(tài)的長周期真實(shí)世界任務(wù)——2D 樂高組裝、3D 樂高組裝和物體重新排列。在手冊生成方面，規(guī)劃專家在 300 個(gè)未見過的測試樣本上生成了令人滿意的中間圖像（例如 2D 樂高組裝的 PSNR 達(dá) 29.01），低 FID 分?jǐn)?shù)（例如物體重新排列為 24.46）證實(shí)了生成圖像的真實(shí)性和保真度，而極低的 MAE 分?jǐn)?shù)（例如 2D 樂高組裝為 3.23）則突顯了模型在預(yù)測目標(biāo)對象位置方面的精確性。

▲ 圖 5| 「規(guī)劃專家」逐步生成 ManualCoT「說明書」，Pred 指代模型生成的預(yù)測結(jié)果，GT 指代真實(shí)圖像。

▲ 表 1| 在三個(gè)長程任務(wù)上，ManualVLA 生成的中間目標(biāo)圖像與 UV 坐標(biāo)的質(zhì)量的量化結(jié)果。

動(dòng)作生成結(jié)果

ManualVLA 在所有三個(gè)真實(shí)世界長周期任務(wù)中均取得了最高成功率，相比最強(qiáng)的分層基線 (VLM + π0.5)，最終任務(wù)完成率提高了 15% 到 30%，平均成功率高出 32%?；€模型通常難以在整個(gè)長序列中保持性能，但 ManualVLA 通過 ManualCoT 策略有效地將復(fù)雜任務(wù)分解并錨定到精確動(dòng)作中，緩解了性能隨步驟數(shù)增加而下降的問題。

https://mp.weixin.qq.com/s/5d8G8SHTagcJO8pKRZpI6A

https://mp.weixin.qq.com/s/5d8G8SHTagcJO8pKRZpI6A

▲ 表 2| 我們使用 20 個(gè)模型均未見過的目標(biāo)狀態(tài)進(jìn)行測試，得到完成長程任務(wù)的操作成功率與關(guān)鍵中間步驟的成功率。

仿真實(shí)驗(yàn)

ManualVLA 在 RLBench 的 10 個(gè)仿真任務(wù)上取得了 70% 的平均成功率，超越了 SOTA 方法 π0 的 63%，進(jìn)一步驗(yàn)證了 ManualCoT 策略在指導(dǎo)精確動(dòng)作生成方面的優(yōu)勢，在通用原子任務(wù)上也能表現(xiàn)出良好效果。

▲ 表 3| ManualVLA 與各 Baseline 模型在仿真環(huán)境 RLBench 上各項(xiàng)原子任務(wù)的成功率與方差。

消融與泛化實(shí)驗(yàn)

消融實(shí)驗(yàn)證明，說明書中所有模態(tài)信息（文本、圖像、UV 坐標(biāo)）和隱式 CoT（潛在空間中的條件信號(hào)）推理對于解決長周期、目標(biāo)明確的操作任務(wù)是不可或缺的，兩者結(jié)合才能達(dá)到最佳性能。同時(shí)，ManualVLA 在未見過的背景、物體形狀和光照變化下也表現(xiàn)出魯棒的泛化能力。

▲ 表 4| 我們探究了如下因素對任務(wù)成功率的影響：(a) 說明書中包含的信息；(b) 顯式與隱式的 ManualCoT 思維鏈機(jī)制；(c) MoT 架構(gòu)與 action 生成范式。

▲ 表 5| 在明顯變化且模型未見過的背景、物體形狀和光照變化下，ManualVLA 的任務(wù)成功率。