在機(jī)器人具身智能領(lǐng)域，視覺(jué) - 語(yǔ)言 - 動(dòng)作（Vision-Language-Action, VLA）模型正以驚人的速度發(fā)展。從 RT-1、Octo 到最新的 π0、GR00T N1，這些集成了大規(guī)模視覺(jué)語(yǔ)言模型與機(jī)器人控制的系統(tǒng)展現(xiàn)出前所未有的泛化能力。然而，一個(gè)被長(zhǎng)期忽視的問(wèn)題正阻礙著 VLA 模型從實(shí)驗(yàn)室走向真實(shí)世界 ——推理階段的不穩(wěn)定性。

中國(guó)電信集團(tuán) CTO、首席科學(xué)家、中國(guó)電信人工智能研究院（TeleAI）院長(zhǎng)李學(xué)龍教授聯(lián)合清華大學(xué)、中國(guó)科學(xué)技術(shù)大學(xué)團(tuán)隊(duì)直面這一挑戰(zhàn)，提出了名為TACO（Test-time Anti-exploration via pseudo-COunts）的創(chuàng)新框架。該研究為解決 VLA 推理的不穩(wěn)定性提供了扎實(shí)的理論根基和實(shí)踐方案，通過(guò)在模擬基準(zhǔn)和真實(shí)機(jī)器人平臺(tái)上的實(shí)驗(yàn)驗(yàn)證了方法的有效性。在

真實(shí)機(jī)器人實(shí)驗(yàn)中，TACO 將任務(wù)成功率平均提升了 16%，在長(zhǎng)周期任務(wù)上提升高達(dá) 25%！

• 論文地址：https://arxiv.org/abs/2512.02834
• 項(xiàng)目地址: https://vla-anti-exploration.github.io/
• 開(kāi)源代碼: https://github.com/breez3young/TACO/

VLA 模型的「阿喀琉斯之踵」：推理階段的不穩(wěn)定性

VLA 模型通過(guò) flow-matching 或 diffusion 等目標(biāo)在大規(guī)模多模態(tài)數(shù)據(jù)集上預(yù)訓(xùn)練，學(xué)習(xí)復(fù)雜行為。隨后，這些預(yù)訓(xùn)練模型通過(guò)監(jiān)督微調(diào)（SFT）適應(yīng)下游任務(wù)。這種范式在平均性能上表現(xiàn)出色，但研究團(tuán)隊(duì)發(fā)現(xiàn)了一個(gè)關(guān)鍵問(wèn)題：即使經(jīng)過(guò)任務(wù)特定數(shù)據(jù)的微調(diào)，VLA 模型在推理時(shí)對(duì)初始噪聲極其敏感。

下圖展示了這一現(xiàn)象的嚴(yán)重性：對(duì)同一個(gè)經(jīng)過(guò)微調(diào)的 VLA 模型，僅改變初始噪聲向量，不同任務(wù)的成功率就會(huì)在 0% 至 80% 之間劇烈波動(dòng)！這一發(fā)現(xiàn)揭示了當(dāng)前 VLA 研究中的盲點(diǎn) —— 追求平均性能的同時(shí)，忽略了推理穩(wěn)定性這一對(duì)實(shí)際部署至關(guān)重要的指標(biāo)。

「我們觀察到，在使用相同的微調(diào)后 VLA 模型時(shí)，僅僅因?yàn)椴蓸硬煌某跏荚肼暎Ｐ捅憩F(xiàn)就會(huì)天差地別?！拐撐牡谝蛔髡撸迦A大學(xué)在讀博士張揚(yáng)解釋道，「這就像讓一個(gè)機(jī)器人執(zhí)行同一任務(wù)，只是隨機(jī)改變了它的 ' 思考方式 '，成功率就可能從完全失敗到完美執(zhí)行?！?/p>

問(wèn)題根源：分布偏移與冗余動(dòng)作模式

研究團(tuán)隊(duì)將這一不穩(wěn)定性歸因于兩個(gè)關(guān)鍵因素：

首先，預(yù)訓(xùn)練階段 VLA 模型吸收了來(lái)自多樣化數(shù)據(jù)源的廣泛動(dòng)作模式，使其難以快速將其輸出分布縮小到特定下游任務(wù)所需的狹窄成功行為集合。因此，微調(diào)后策略分布仍保留了與任務(wù)成功無(wú)關(guān)的多余模式。

其次，微調(diào)數(shù)據(jù)集本身可能表現(xiàn)出多模態(tài)性，因?yàn)樗鼈兺ǔＪ占远鄠€(gè)人類遙操作員、腳本規(guī)劃器或變化的執(zhí)行風(fēng)格—— 其中一些編碼了次優(yōu)或不理想策略。這些冗余模式導(dǎo)致 VLA 策略與理想策略之間出現(xiàn)顯著的分布偏移，而理想策略應(yīng)對(duì)應(yīng)于下游任務(wù)數(shù)據(jù)集中的穩(wěn)定成功模式。

「想象一個(gè)學(xué)習(xí)做飯的廚師，他在烹飪學(xué)校學(xué)了 100 種不同的菜系和技巧（預(yù)訓(xùn)練），然后被要求專門(mén)做一道特定菜肴（微調(diào)）。即使經(jīng)過(guò)專門(mén)訓(xùn)練，當(dāng)面臨做這道菜的情境時(shí)，他的大腦中仍會(huì)浮現(xiàn)多種不同的烹飪方法，其中很多并不適合這道特定菜肴?！拐撐墓餐蛔鳎锌拼笤谧x博士楊思遠(yuǎn)形象地解釋。

TACO：用「反探索」原理重塑 VLA 推理

面對(duì)這一挑戰(zhàn)，研究團(tuán)隊(duì)沒(méi)有選擇傳統(tǒng)的強(qiáng)化學(xué)習(xí)微調(diào)路線，而是另辟蹊徑，從離線強(qiáng)化學(xué)習(xí)中的「反探索」(anti-exploration) 原理獲得靈感。

在離線強(qiáng)化學(xué)習(xí)中，「反探索」原則旨在防止策略訪問(wèn)數(shù)據(jù)集支持之外的狀態(tài)或動(dòng)作。類比到 VLA 推理，研究團(tuán)隊(duì)的目標(biāo)是約束生成的動(dòng)作，使其保持在微調(diào)數(shù)據(jù)集中成功模式的支持范圍內(nèi)，避免探索預(yù)訓(xùn)練或不完美微調(diào)數(shù)據(jù)保留的冗余或不相關(guān)動(dòng)作模式。

TACO 的核心創(chuàng)新在于將這一原則通過(guò) Test-Time Scaling（TTS）來(lái)實(shí)現(xiàn)，而非修改 VLA 模型本身的參數(shù)。TACO 框架包含三個(gè)關(guān)鍵組件：

1. 耦合偽計(jì)數(shù)估計(jì)器：讓 VLA 自己成為最好的驗(yàn)證器

TACO 最精妙的設(shè)計(jì)在于耦合偽計(jì)數(shù)估計(jì)器（Coupled Pseudo-Count Estimator）的構(gòu)建。與傳統(tǒng)方法需要額外訓(xùn)練獨(dú)立編碼器不同，TACO 直接利用 VLA 模型自身的內(nèi)部表示能力，將輕量級(jí) Coin-Flipping Network (CFN) 作為「頭」（head）附加到 VLA 的最后隱藏層上。

為什么這種耦合設(shè)計(jì)如此重要？

首先，VLA 模型經(jīng)過(guò)大規(guī)模預(yù)訓(xùn)練，其內(nèi)部特征空間已經(jīng)包含了豐富的視覺(jué) - 語(yǔ)言 - 動(dòng)作關(guān)聯(lián)知識(shí)。如果訓(xùn)練獨(dú)立的編碼器，不僅需要額外的計(jì)算資源，更會(huì)丟失 VLA 模型學(xué)到的寶貴先驗(yàn)知識(shí)。CFN 頭僅是一個(gè)簡(jiǎn)單的 MLP（多層感知機(jī)），參數(shù)量極小，卻能充分利用 VLA 的表征能力。

關(guān)鍵突破：高保真特征搜索（High-Fidelity Feature Search）

對(duì)于基于 flow-matching 或 diffusion 的 VLA 模型（如 π0、RDT），存在一個(gè)根本性挑戰(zhàn)：這些模型在訓(xùn)練時(shí)只見(jiàn)過(guò)噪聲化的動(dòng)作，從未接觸過(guò)干凈的真實(shí)動(dòng)作數(shù)據(jù)。如果直接將微調(diào)數(shù)據(jù)集中的干凈動(dòng)作輸入 VLA 提取特征，得到的表示可能完全不在 VLA 的特征分布范圍內(nèi)，導(dǎo)致信息丟失。

TACO 的解決方案極為巧妙 ——高保真特征搜索：對(duì)每個(gè)數(shù)據(jù)點(diǎn)，使用 N 個(gè)不同噪聲水平 {σi} 查詢 VLA N 次，得到 N 組預(yù)測(cè)動(dòng)作和對(duì)應(yīng)內(nèi)部表示。然后選擇預(yù)測(cè)動(dòng)作與原始動(dòng)作最接近的那組內(nèi)部表示作為高保真特征。

通過(guò)這種搜索機(jī)制，TACO 確保了提取的特征既符合 VLA 的分布（因?yàn)樵谠肼曒斎胂律桑?，又能高保真地表示干凈?dòng)作（因?yàn)檫x擇最接近真實(shí)動(dòng)作的預(yù)測(cè)）。

上圖現(xiàn)象驗(yàn)證了這一設(shè)計(jì)的有效性：CFN 估計(jì)的偽計(jì)數(shù)與預(yù)測(cè)動(dòng)作和真實(shí)動(dòng)作之間的 L2 距離呈現(xiàn)強(qiáng)負(fù)相關(guān)性。這意味著，選擇具有最高偽計(jì)數(shù)的動(dòng)作幾乎總是會(huì)選擇最接近真實(shí)動(dòng)作的動(dòng)作，從而有效過(guò)濾掉次優(yōu)行為。

2. 生成 - 驗(yàn)證兩階段推理：理論與實(shí)踐的完美統(tǒng)一

理論基礎(chǔ)：離線強(qiáng)化學(xué)習(xí)的反探索原理

這一兩階段架構(gòu)并非啟發(fā)式設(shè)計(jì)，而是有堅(jiān)實(shí)的理論基礎(chǔ)。論文證明，TACO 的優(yōu)化目標(biāo)等價(jià)于離線強(qiáng)化學(xué)習(xí)中的反探索目標(biāo)：

其中 Q (s,a) 是動(dòng)作價(jià)值函數(shù)，b (s,a) 是反探索懲罰項(xiàng)。這最終簡(jiǎn)化為尋找最大訪問(wèn)計(jì)數(shù)的動(dòng)作：

計(jì)算優(yōu)化：KV 緩存的影響

兩階段架構(gòu)面臨的最大挑戰(zhàn)是計(jì)算開(kāi)銷。樸素實(shí)現(xiàn)下，生成 M 個(gè)候選動(dòng)作需要 M 次完整的 VLA 前向傳播，計(jì)算成本呈 O (M) 增長(zhǎng)。TACO 提出的共享觀察鍵值緩存（Shared Observation Key-Value Cache）技術(shù)解決了這一問(wèn)題：VLA 的 Transformer 主干網(wǎng)絡(luò)的計(jì)算主要依賴于共享上下文 (觀察，指令)，只需計(jì)算一次 KV 緩存，即可在所有 M 個(gè)并行動(dòng)作生成過(guò)程中重復(fù)使用邊際成本幾乎為零，使得高數(shù)量候選采樣成為可能。

實(shí)驗(yàn)數(shù)據(jù)顯示，當(dāng)采樣 32 個(gè)動(dòng)作時(shí)，KV 緩存優(yōu)化將推理時(shí)間減少了 73.2%！這一優(yōu)化使得 TACO 在真實(shí)機(jī)器人上也能高效運(yùn)行，平均推理延遲僅增加 200ms，滿足實(shí)時(shí)控制需求。

實(shí)驗(yàn)證明：從模擬到真實(shí)機(jī)器人的卓越表現(xiàn)

研究團(tuán)隊(duì)在四個(gè)模擬基準(zhǔn)（RoboTwin2.0、Robotwin、LIBERO、SimplerEnv）和一個(gè)雙臂機(jī)器人平臺(tái)上進(jìn)行了全面評(píng)估，覆蓋 64 個(gè)任務(wù)和 5 個(gè)真實(shí)世界任務(wù)。

仿真環(huán)境結(jié)果

在 RoboTwin 基準(zhǔn)上，TACO 將 π0 模型的平均成功率從 32.2% 提升至 41.3%，提升幅度達(dá) 9.1%。在最具挑戰(zhàn)性的 "掛衣架" 任務(wù)上，成功率從 7.0% 躍升至 12.0%。

在 Simpler-WindowX 基準(zhǔn)上，TACO 使 π0 的平均成功率從 48.0% 提升至 55.5%。尤其在「勺子放在毛巾上」和「胡蘿卜放在盤(pán)子上」等精細(xì)操作任務(wù)上，提升分別達(dá)到 16% 和 10%。

在 LIBERO-long 這一最具挑戰(zhàn)性的終生學(xué)習(xí)基準(zhǔn)上，盡管基礎(chǔ)模型 π0.5 已達(dá)到 94.8% 的高成功率，TACO 仍能進(jìn)一步提升 1.8%，特別是在「Moka 壺放在爐灶上」等復(fù)雜任務(wù)上，成功率從 68% 大幅提高到 86%。

真實(shí)機(jī)器人實(shí)驗(yàn)

研究團(tuán)隊(duì)使用 RealMan75 雙臂機(jī)器人平臺(tái)進(jìn)行了 5 個(gè)真實(shí)世界任務(wù)的測(cè)試，包括「接收書(shū)籍」「收納充電器」「紙和筆整理」「筆記本電腦操作」和「同時(shí)拿起兩本書(shū)」。這些任務(wù)涵蓋了人機(jī)交互、雙臂協(xié)調(diào)和長(zhǎng)周期任務(wù)執(zhí)行等多種技能。

結(jié)果令人振奮：TACO 將平均成功率從 40% 提升至 56%，提升幅度達(dá) 16%。在「紙和筆整理」這一精細(xì)操作任務(wù)上，提升高達(dá) 25%；在「筆記本電腦操作」長(zhǎng)周期任務(wù)上，提升 15%。

「在真實(shí)機(jī)器人實(shí)驗(yàn)中，我們觀察到基礎(chǔ)策略通常在兩種情況下失?。鹤ト∥恢貌痪_，以及遙操作數(shù)據(jù)質(zhì)量不完美導(dǎo)致的學(xué)習(xí)偏差。」論文共同通訊作者、中國(guó)電信人工智能研究院白辰甲研究員解釋道：「TACO 通過(guò)過(guò)濾掉次優(yōu)的去噪方向，有效解決了這些問(wèn)題?！?/p>

一個(gè)典型案例是「紙和筆整理」任務(wù)中的筆抓取階段。由于操作員抓取姿勢(shì)和時(shí)序的變化，專家數(shù)據(jù)集中抓取模式的觀察 - 動(dòng)作分布變得稀疏，導(dǎo)致基礎(chǔ)策略表現(xiàn)出不穩(wěn)定行為，如抓取器無(wú)法正確閉合、抓取后重新打開(kāi)，或在兩種抓取模式間振蕩。應(yīng)用 TACO 后，這些問(wèn)題基本消除：抓取器始終正確閉合，機(jī)器人避免了次優(yōu)模式。

技術(shù)剖析：為什么 TACO 如此有效？

實(shí)驗(yàn)揭示了 TACO 成功的核心機(jī)制：通過(guò) 100 次動(dòng)作采樣，研究團(tuán)隊(duì)發(fā)現(xiàn) CFN 估計(jì)的偽計(jì)數(shù)與預(yù)測(cè)動(dòng)作和真實(shí)動(dòng)作之間的 L2 距離存在強(qiáng)相關(guān)性。換言之，選擇具有最高偽計(jì)數(shù)的動(dòng)作幾乎總是會(huì)選擇最接近真實(shí)動(dòng)作的動(dòng)作，同時(shí)有效過(guò)濾掉過(guò)于激進(jìn)或不合理的動(dòng)作。

消融實(shí)驗(yàn)進(jìn)一步驗(yàn)證了設(shè)計(jì)選擇的重要性：移除 CFN 偽計(jì)數(shù)、不進(jìn)行特征縮放、或不使用內(nèi)部特征，都會(huì)導(dǎo)致性能顯著下降。特別是，直接擬合特征到動(dòng)作誤差的映射會(huì)增加學(xué)習(xí)難度，因?yàn)槟Ｐ捅仨毑东@最優(yōu)和次優(yōu)特征；使用獨(dú)立編碼器而非內(nèi)部特征會(huì)使特征高度相似，難以進(jìn)行準(zhǔn)確的偽計(jì)數(shù)估計(jì)。

研究意義與未來(lái)展望

TACO 的提出不僅解決了一個(gè)實(shí)際問(wèn)題，更為 VLA 研究開(kāi)辟了新視角。與現(xiàn)有方法相比，「我們的方法證明，輕量級(jí)的測(cè)試時(shí)縮放可以有效地實(shí)現(xiàn) ' 反探索 '，緩解動(dòng)作預(yù)測(cè)中由分布偏移引起的不穩(wěn)定性和性能下降?！?/strong>論文共同通訊作者白辰甲研究員解釋道。

展望未來(lái)，TACO 框架為 VLA 模型的實(shí)際部署提供了新思路。研究團(tuán)隊(duì)將繼續(xù)探索如何將這一方法擴(kuò)展到更復(fù)雜的多任務(wù)場(chǎng)景，以及如何與世界模型結(jié)合，進(jìn)一步提升機(jī)器人的長(zhǎng)期規(guī)劃能力。

作者簡(jiǎn)介

本文由中科大在讀楊思遠(yuǎn)和清華大學(xué)在讀博士張揚(yáng)作為共同一作主要完成，其他合作者包括香港科技大學(xué)何浩然博士、潘玲教授、清華大學(xué)李秀教授，本文通信作者是TeleAI 研究科學(xué)家白辰甲博士和 TeleAI 院長(zhǎng)李學(xué)龍教授。