編輯｜Panda

過去一年，具身智能領(lǐng)域迎來了爆發(fā)式增長。從后空翻到托馬斯回旋，從整理衣物到?jīng)_泡咖啡……各類令人驚艷的機器人演示視頻層出不窮。

然而，在這些技術(shù)繁榮的背后，行業(yè)正面臨一個愈發(fā)核心的拷問：我們到底應(yīng)該如何判斷一個具身智能模型是真的取得了泛化能力的進步，還是僅僅針對特定任務(wù)與場景進行了精心優(yōu)化？

在真實的物理世界中，評測一項操作任務(wù)的復(fù)雜性遠超 LLM 等純軟件領(lǐng)域。當前的許多測試往往依賴于預(yù)設(shè)環(huán)境中的 sweet spot 或是無數(shù)次的重試。具身智能產(chǎn)業(yè)正加速從技術(shù)研發(fā)向規(guī)?；涞厝孳S遷，而統(tǒng)一、高標準的真機評測體系長期缺位，已成為行業(yè)發(fā)展的核心痛點。

這一缺位不僅無法為產(chǎn)業(yè)樹立清晰的發(fā)展基準，更直接制約了模型的迭代效率。長此以往，研發(fā)資源極易過度流向容易出視覺效果的表演項目，使得整個具身智能行業(yè)面臨「劣幣驅(qū)逐良幣」的商業(yè)風(fēng)險。

在具身智能走向規(guī)?；涞氐年P(guān)鍵節(jié)點，建立科學(xué)的可量化、可復(fù)現(xiàn)、高信度的真機評測標尺已成為亟待解決的行業(yè)共識。

為了破解這一困局，中山大學(xué)攜手自變量機器人、MBZUAI 等機構(gòu)，在 CVPR 2026 的 Embodied AI Workshop 上正式推出了官方競賽：ManipArena

• 官網(wǎng)地址：https://maniparena.x2robot.com/
• 技術(shù)報告：ManipArena: Comprehensive Real-world Evaluation of Reasoning-Oriented Generalist Robot Manipulation
• 報告地址：https://maniparena.x2robot.com/maniparena.pdf
• 數(shù)據(jù)集：https://huggingface.co/datasets/ManipArena/maniparena-dataset

不同于傳統(tǒng)仿真評測或簡單桌面抓取測試，ManipArena 提供了20 個真機任務(wù)（包括 5 個初賽任務(wù)和 15 個決賽任務(wù)，涉及執(zhí)行推理、語義推理、移動操作三種任務(wù)類型）、10812 條高質(zhì)量遙操作軌跡，并通過獨特的綠幕可控環(huán)境和分層 OOD 評估設(shè)計，構(gòu)建了一個可以精確診斷模型泛化能力的科學(xué)化評測框架。

ManipArena 的三種任務(wù)類型

作為目前規(guī)模最大的真機操作評測平臺之一，ManipArena 旨在通過極其嚴謹?shù)膶嶒炘O(shè)計與科學(xué)化框架，精確診斷視覺-語言-動作模型（VLA）或世界模型（WAM）在真實世界中的通用推理與泛化能力，力求為行業(yè)樹立一個規(guī)范且公平的評測新標桿。

事實上，基于該平臺的首批基準測試已經(jīng)給出了極具價值的行業(yè)洞察。ManipArena 團隊對代表 VLA 的 π?.? 與代表世界模型的 DreamZero 進行了大規(guī)模真機對比測試。

初步的評測數(shù)據(jù)清晰地勾勒出兩類模型互補的能力邊界：多任務(wù) VLA模型具備更強的精細操作能力，但泛化表現(xiàn)脆弱，面對分布外物體易出現(xiàn)災(zāi)難性退化；世界模型則展現(xiàn)出顯著的泛化魯棒性，但僅限于粗粒度操作，在精細任務(wù)上力不從心。兩種范式各有所長，未來的通用具身操作系統(tǒng)或需深度融合二者的優(yōu)勢。

深度解析 ManipArena

精準診斷泛化瓶頸的科學(xué)框架

針對行業(yè)痛點，ManipArena 提出了三個核心的評測創(chuàng)新。這套體系旨在給模型做「全面的體檢」，讓真實的性能差異浮出水面。

分層 OOD 評估，精準診斷泛化瓶頸

以往的評測往往只給出一個最終的總分，很難反映模型的真實能力邊界。而ManipArena 會為每個任務(wù)進行 10 次測試，且每個任務(wù)的 10 次測試按難度進行了分層設(shè)計

其中，T1 至 T4 測試域內(nèi)能力，例如讓機器人操作訓(xùn)練集中見過的不同位置的不銹鋼勺。T5 至 T8 引入視覺偏移，要求模型處理形狀不同但仍在訓(xùn)練分布內(nèi)的物品，例如兒童勺。最困難的 T9 至 T10 則是語義 OOD 測試，平臺會引入訓(xùn)練中從未見過的全新材質(zhì)或類別，例如黑色的塑料勺。

「將勺子放入碗里」任務(wù)的勺子泛化示例

這種階梯狀的設(shè)計，使得單次評估就能為模型繪制出完整的泛化衰減曲線。

初步評測結(jié)果：揭示當前 VLA 模型的泛化邊界

技術(shù)報告披露了部分基線模型的初步評測數(shù)據(jù)。結(jié)果顯示，當前的主流視覺語言動作模型在面對多變量疊加的分布外測試時，依然存在嚴重的泛化軟肋。

在單一因素發(fā)生改變時，模型尚能保持一定的任務(wù)完成度。例如在耳機分類任務(wù)中，僅改變耳機類型時，模型平均能獲得 2.0 分。一旦面對復(fù)合型分布外測試，即同時改變耳機的類型和顏色，模型的表現(xiàn)會立刻出現(xiàn)災(zāi)難性崩潰，平均得分直接降為 0 分。而在勺子放置任務(wù)中，當材質(zhì)和顏色同時發(fā)生改變時，模型的得分呈現(xiàn)出極端的兩極分化，要么拿滿分，要么直接得 0 分。

此外，評測數(shù)據(jù)還揭示了一個重要現(xiàn)象：對于當前的模型而言，物體形狀的相似度比語義類別的歸屬更加重要。在眼鏡放置任務(wù)中，雖然測試物品在語義上都屬于「眼鏡」，但模型對不同物品的表現(xiàn)差異巨大。與訓(xùn)練集形狀相同但尺寸更小的兒童眼鏡獲得了 10.0 分的滿分。形狀相似但風(fēng)格不同的墨鏡獲得了 8.5 分。形狀完全不同的護目鏡得分則急劇下降至 5.0 分，并且方差極大。

這些真實的評測數(shù)據(jù)表明：當前的具身智能模型往往表現(xiàn)出一種脆弱的泛化能力。它們很難做到優(yōu)雅地降級，往往只會在完美成功與徹底失敗之間橫跳。這進一步印證了 ManipArena 設(shè)立多層級、多變量評估體系的工程價值，即幫助研發(fā)人員看清模型學(xué)到的究竟是深層的語義概念，還僅僅是針對特定形狀的抓取策略。

綠幕可控環(huán)境與系統(tǒng)化多樣性，回歸科學(xué)嚴謹性

在真實的開放環(huán)境中，光線的細微偏移都會導(dǎo)致模型動作失敗。為了排除此類環(huán)境干擾，ManipArena 將所有的評估都放置在帶有固定光源的綠幕封閉工作站中進行。

這種設(shè)計可從物理源頭上徹底排除陰影移動、高光反射以及白平衡變化等視覺干擾，進而能保證模型性能差異純粹反映策略能力的強弱，滿足了科學(xué)實驗嚴謹性的基本要求。同時，在綠幕環(huán)境下，還可以進行更多可控的分層泛化的實驗，比如像影視制作一樣直接給機器人換個操作場景。

在這個純凈的視覺環(huán)境中，平臺進一步注入了三個層級的系統(tǒng)化多樣性參數(shù)：

三個層級的訓(xùn)練多樣性

• 物理屬性層：涵蓋物品材質(zhì)、顏色與尺寸的變化。
• 空間布局層：系統(tǒng)性地改變物體的位置與朝向組合。
• 針對語義推理任務(wù)的組合層：改變物品的序列和類別分配。

所有維度的分布都保持均勻，防止模型依靠頻率偏差走捷徑。

開放 56 維底層感知信號，補齊力覺控制拼圖

在數(shù)據(jù)維度上，ManipArena 提供了每幀高達56維的本體感覺數(shù)據(jù)。除了常規(guī)的關(guān)節(jié)位置、末端位姿以及夾爪狀態(tài)，數(shù)據(jù)集特別收錄了電機電流數(shù)據(jù)和關(guān)節(jié)速度數(shù)據(jù)。

完整的 56 維本體感受規(guī)范。所有模式的采樣頻率均為 20 Hz

這 56 維信號遠超常規(guī)的機器人學(xué)習(xí)數(shù)據(jù)集，它不僅涵蓋了雙臂各自 7 DOF 的關(guān)節(jié)位置、末端位姿、夾爪狀態(tài)以及 3 路同步視頻流，更重點保留了電機電流數(shù)據(jù)和關(guān)節(jié)速度數(shù)據(jù)。

要知道，電機電流可以作為底層力矩的代理信號，而關(guān)節(jié)速度則能捕捉動態(tài)運動軌跡，補充靜態(tài)位置信息。對于倒水感知液體重量、插線感知物理接觸阻力等任務(wù)來說，這些信息極其關(guān)鍵。

目前主流的視覺語言動作模型均未充分利用這些信號。這些底層感知信號的加入，直接鼓勵了力敏感（force-sensitive）策略的研究，可助力智能體更好地學(xué)會掌握抓取物品的力道。

任務(wù)設(shè)置：極高含金量與全場景覆蓋

在 ManipArena 的任務(wù)庫中，沒有任何毫無挑戰(zhàn)的簡單抓取測試。這 20 個真機任務(wù)（分為 15 個桌面任務(wù)和 5 個需要空間導(dǎo)航的移動操作任務(wù)）全部以推理為核心考量，區(qū)別僅僅在于推理的瓶頸發(fā)生在哪里。

桌面任務(wù)與移動操作任務(wù)的機器人平臺和評估環(huán)境

為了支撐起如此高難度的評測體系，團隊構(gòu)建了龐大的高質(zhì)量數(shù)據(jù)集，共計包含 10812 條遙操作軌跡，總時長約 188 小時，累計幀數(shù)超過 1350 萬幀。這批數(shù)據(jù)由 5 臺真機平臺并行采集完成，以扎實的規(guī)模確保了評測的有效性。

不同任務(wù)類別的任務(wù)統(tǒng)計數(shù)據(jù)

全方位推理：跨越感知與執(zhí)行的鴻溝

賽事將桌面任務(wù)細分為兩個維度。

其中 10 個任務(wù)側(cè)重于執(zhí)行推理。它們要求機器人在明確目標后，去解決具體的動作執(zhí)行難題，例如完成亞厘米級的精準插入、感知液體動力學(xué)進行力控倒水，以及進行雙臂協(xié)作遞交插線等。

一個將水壺的水倒入杯子任務(wù)，這里可以同時看到三個視角的畫面，右側(cè)還提供了任務(wù)描述以及場景細節(jié)

另外 5 個桌面任務(wù)則聚焦語義推理。機器人需要先理解復(fù)雜的語義關(guān)系才能采取行動，比如從雜物堆中識別出特定類型的耳機并進行分類，在多個食物中找到水果，或者讀取打印好的顏色序列并按照對應(yīng)順序按下按鈕。這種設(shè)定有效地檢驗了模型對物體類別與屬性的真實理解程度，篩選出真正具備認知能力的智能體。

一個將水果放入籃子任務(wù)

走向空間導(dǎo)航：移動操作任務(wù)的深度拓展

為了覆蓋更完整的操作場景，ManipArena 在同類賽事中引入了 5 個移動操作任務(wù)，包括收納衣物、掛畫以及整理鞋子等。這些任務(wù)將評測范圍從有限的桌面延展到了 3×3 米的真實物理空間。

移動任務(wù)要求機器人具備出色的導(dǎo)航與操作協(xié)同能力。根據(jù)統(tǒng)計，移動任務(wù)的平均執(zhí)行時長達到 144 秒左右（20 fps 幀率下平均 2878 幀），大約是桌面任務(wù)時長的 4.3 倍。

以最具挑戰(zhàn)性的衣物收納任務(wù)為例，機器人需要完成 3 次往返，經(jīng)歷 14 個連續(xù)的子步驟，平均耗時高達 194 秒。這種長序列的設(shè)定，對當前視覺語言動作模型在固定上下文窗口下的時序建模能力提出了極大的考驗。

一個衣物收納任務(wù)

「單一模型」規(guī)則：杜絕過度擬合的捷徑

尤為嚴苛的是，賽事官方制定了「一個模型應(yīng)對所有任務(wù)」的核心規(guī)則：參賽隊伍必須提交一個統(tǒng)一的推理端點來應(yīng)對決賽階段的所有 20 個挑戰(zhàn)，不被允許針對單一任務(wù)去訓(xùn)練專門的專家模型

這意味著同一套策略體系必須同時精通倒水、插線、分揀耳機以及按按鈕等截然不同的操作。這一規(guī)則強行封死了針對特定任務(wù)過度擬合的捷徑，迫使參賽者將研發(fā)重心回歸到打造真正具備通用推理與泛化能力的基礎(chǔ)模型上。

這場具身操作的大考

等你接招！

對于廣大研究者而言，參與真機評測的最大阻礙往往是極其高昂的硬件成本。ManipArena 創(chuàng)新性地采用了Server-Side 遠程真機評測架構(gòu)：參賽隊伍完全不需要購買或者調(diào)試任何真實的機器人硬件，僅僅需要擁有一臺 GPU 服務(wù)器并暴露一個 HTTP 推理端點即可。

這種架構(gòu)為學(xué)術(shù)界和工業(yè)界提供了一個極低成本的「真機實驗室」。賽事的官方基礎(chǔ)設(shè)施會接管所有的硬件控制與數(shù)據(jù)采集工作。這確保了所有模型都能在完全相同的物理條件下進行公平比較。

值得一提的是，ManipArena 的所有 20 個任務(wù)均統(tǒng)一采用自變量機器人（X Square Robot）的雙臂系統(tǒng)進行評測。這套專為 AI 而生的硬件結(jié)構(gòu)設(shè)計能夠更好地完成模型復(fù)現(xiàn)，從根本上消除了不同硬件平臺帶來的物理差異。這意味著在這里，最終的性能差異將純粹反映參賽團隊策略能力的強弱，真正實現(xiàn)了「評測從未如此簡單」的愿景。

同時，參賽者的模型權(quán)重和核心代碼始終保留在本地服務(wù)器上，實現(xiàn)了嚴格的知識產(chǎn)權(quán)保護

官方也非常鼓勵參賽者將 ManipArena 作為一個研究平臺，基于真實的評測結(jié)果去驗證新算法并發(fā)表學(xué)術(shù)論文。

為了進一步激勵整個技術(shù)社區(qū)的參與， ManipArena 官方還為賽事設(shè)置了實質(zhì)性獎勵。

在初賽階段，第 1 名至第 3 名的隊伍將獲得 500 美元，第 4 名至第 9 名將獲得 300 美元，第 10 名至第 20 名將獲得 200 美元。而在最終的決賽階段，冠軍隊伍將斬獲 5000 美元以及 2 臺 6 軸機械臂，亞軍和季軍也將分別獲得 3000 美元 + 2 臺 6 軸機械臂，以及 2000 美元 + 2 臺 6 軸機械臂的獎勵。

在評分機制上，ManipArena 摒棄了傳統(tǒng)的二元成功率標準，引入了子任務(wù)部分得分制。具體而言，每個任務(wù)包含 10 次測試（trial），每次滿分為 10 分。系統(tǒng)會根據(jù)子任務(wù)的完成度給出對應(yīng)分數(shù)。目前開放評測的 15 個桌面任務(wù)總分為 1500 分，最終排名將嚴格按照總分高低進行排序。

每個任務(wù)的子任務(wù)統(tǒng)計數(shù)據(jù)

例如在倒水任務(wù)中，如果模型成功抓取并舉起了水壺，即使最后倒水失敗，依然可以獲得相應(yīng)的過程分數(shù)。這種精細化的評分體系提供了更豐富的診斷信號。它能夠準確揭示模型到底在任務(wù)流水線的哪一個具體環(huán)節(jié)出現(xiàn)了失誤，從而為研發(fā)人員提供極具指導(dǎo)意義的工程反饋。

倒水任務(wù)的描述以及詳細操作和評分

那么，當前的具身大模型的表現(xiàn)如何呢？ManipArena 目前已經(jīng)測試了π?.?-Single（為每個任務(wù)獨立微調(diào)）、π?.?-OneModel（統(tǒng)一處理全部 15 個任務(wù)）和DreamZero三個模型（通過自回歸視頻擴散先「想象」未來畫面再從中提取動作），涵蓋視覺-語言-動作模型（VLA）和世界動作模型（WAM）這兩條當前具身領(lǐng)域備受矚目的技術(shù)路線，得到了一組基準成績。

從總分來看，在滿分 1500 分的挑戰(zhàn)中，π?.?-OneModel 以 640.5 分領(lǐng)跑，π?.?-Single 緊隨其后獲得 626.3 分，DreamZero 則為 500.3 分。觀察成功率（SR）可以發(fā)現(xiàn)，大量任務(wù)的成功率為 0%。這充分說明了該評測體系具有極高的挑戰(zhàn)性。詳見下表：

同時，這些結(jié)果也揭示了這兩種技術(shù)路線截然不同的能力邊界：

• VLA 具備跨任務(wù)遷移潛力，但存在程序性遺忘。π?.?-OneModel 的成績證明了多任務(wù)聯(lián)合訓(xùn)練的有效性，其在語義推理上實現(xiàn)了顯著的跨任務(wù)遷移。但代價是模型在需要讀取場景指示并執(zhí)行特定程序的任務(wù)中，出現(xiàn)了明顯的程序性知識遺忘，暴露出多任務(wù)訓(xùn)練的本質(zhì)取舍。
• 世界模型在空間泛化上極具優(yōu)勢，但精細操作存在軟肋。DreamZero 在純粹的抓取放置任務(wù)（pick_items_basket 任務(wù)上拿下了 97.8 的高分與 90% 的成功率）以及分布外泛化上表現(xiàn)出極強的魯棒性（在 pick_items_into_basket 任務(wù)中，籃子位置從右側(cè)逐步移到左側(cè)。π?.?-OneModel 的成績從 4.05 分暴跌到 2.25 分（-44%），π?.?-Single 更是從 4.25 跌到 1.83（-57%）。而 DreamZero 從 10.0 分到 9.25 分，僅下降 8%。），抗干擾能力遠超 VLA。但面對需要毫米級精度或雙臂協(xié)同的精細操作時，它往往只能完成粗粒度的初始步驟。這反映出世界模型在粗粒度視頻預(yù)測與精細動作控制之間存在天然的精度瓶頸，單步推理耗時極長（比 VLA 慢 50 至 70 倍）。

基于子任務(wù)評分體系提煉出的 5 維能力邊界圖譜進一步印證了這一點。

VLA 擅長精度控制和語義理解，世界模型在空間泛化和粗粒度規(guī)劃上更勝一籌。這清楚地揭示出，未來的通用操作模型需要深度融合 VLA 和 WAM 這兩種范式的優(yōu)勢。完整的測試數(shù)據(jù)與評測視頻均可在官方網(wǎng)站獲取，這為行業(yè)探索能力邊界提供了極具價值的實證基礎(chǔ)。

從更宏觀的行業(yè)視角來看，ManipArena 的出現(xiàn)恰逢其時。它不僅僅是一場單純的比賽，更是一個高標準的開放研發(fā)平臺。其構(gòu)建的分層 OOD 評估體系、多元化場景設(shè)計以及子任務(wù)部分得分機制，具備天然的學(xué)術(shù)實驗適配性，完全可以作為廣大研究者日常研發(fā)成果的 benchmark。

官方全力歡迎并支持參賽者依托 ManipArena 的權(quán)威評測成果發(fā)表高水平學(xué)術(shù)論文。未來，當各個頂尖團隊想要展示最前沿的模型能力以及想測試對不同模型的改進時，完全可以在 ManipArena 這個公開的平臺上同臺競技。

通過科研創(chuàng)新與產(chǎn)業(yè)驗證的雙向賦能，ManipArena 將為視覺語言動作模型和世界模型的持續(xù)迭代提供堅實的基礎(chǔ)，加速整個具身智能產(chǎn)業(yè)向真實世界的大規(guī)模部署邁進。

報名方式

參賽者可通過官方平臺注冊并獲取訓(xùn)練數(shù)據(jù)，訓(xùn)練統(tǒng)一模型后提交評測接口參與比賽。

• 更多信息請訪問：https://maniparena.x2robot.com/
• 聯(lián)系方式：maniparena@gmail.com

文中視頻鏈接：https://mp.weixin.qq.com/s/greKLeayuGqSYmVFdOBSFA