国产av一二三区|日本不卡动作网站|黄色天天久久影片|99草成人免费在线视频|AV三级片成人电影在线|成年人aV不卡免费播放|日韩无码成人一级片视频|人人看人人玩开心色AV|人妻系列在线观看|亚洲av无码一区二区三区在线播放

網(wǎng)易首頁 > 網(wǎng)易號 > 正文 申請入駐

Benchmark,具身智能研究最缺乏的“基礎設施”

0
分享至



作者:彭堃方

編輯:呂鑫燚

出品:具身研習社

具身智能模型的結構性矛盾在于,一面是飛速迭代的模型,另一面則是滯后的基準線。

換句話說,具身模型一直沒有一個科學、可靠的評測標準去讓它從發(fā)散地“野蠻生長”到牟足勁兒地“向上生長”。

“木受繩以直”,具身模型也需要一個科學的 Benchmark 去精細地評估、診斷甚至是指導未來研究方向。但現(xiàn)狀是,由于長期缺乏統(tǒng)一、高標準的真機測評體系,模型的迭代與產(chǎn)業(yè)化進程正深受制約。

事實上,任何產(chǎn)業(yè)從技術探索走向規(guī)模化,都會經(jīng)歷一個從“百花齊放”到“標準收斂”的階段。

這是從多個萬億級市場規(guī)模的產(chǎn)業(yè)中驗證過的成功路徑,互聯(lián)網(wǎng)時代,協(xié)議標準讓全球網(wǎng)絡互聯(lián)互通;深度學習的爆發(fā)也離不開評測體系。它們并不直接創(chuàng)造產(chǎn)品,卻決定了技術進步的方向與速度。

具身智能正處在類似的早期階段。過去兩年,從 VLA(Vision-Language-Action)模型到世界模型,技術路徑層出不窮,研究范式高度分散。但行業(yè)其實并不缺模型,也不缺演示視頻,缺的是一個能夠回答模型“在真實世界中究竟能做到什么程度”的統(tǒng)一標尺。

沒有 Benchmark,模型提升還更多停留在敘事層面。有了 Benchmark,技術進步才具備可驗證、可復現(xiàn)、可積累的產(chǎn)業(yè)價值。

在這樣的背景下,CVPR 2026 官方競賽 ManipArena 的啟動,其意義就不再是又多了一場比賽,而在于它試圖補齊具身智能領域最關鍵、卻長期缺位的一塊基礎設施:面向真實世界的統(tǒng)一評測體系。



更重要的是,一個可持續(xù)運行的研發(fā)平臺能夠不斷沉淀數(shù)據(jù)、驗證結論并反哺模型迭代,形成“評測-改進-再評測”的正向循環(huán),從而撬動整個領域從無序探索走向系統(tǒng)進化。



從表面看,ManipArena 是一項機器人操作競賽,但其設計邏輯更接近一次系統(tǒng)化能力測量。

長期以來,機器人評測依賴于仿真環(huán)境或精心布置、高度簡化的桌面抓取任務。這類基準雖然推動了算法進步,卻難以反映真實世界的復雜性。而真正能還原物理世界的長時序決策、空間移動、多模態(tài)感知、不可預測的物理交互,往往被排除在評測之外。這便導致,研發(fā)人員只能蒙眼狂奔,無法精準迭代,模型也可能是在實驗室表現(xiàn)亮眼,卻難以遷移到現(xiàn)實場景。

ManipArena 的核心目標正是填補這一鴻溝。賽事共設置 20 個真實機器人任務,并在統(tǒng)一環(huán)境下進行真機評測,覆蓋推理能力、泛化能力、長時序決策以及多模態(tài)感知等關鍵維度。相比過往那些“簡單的抓取”測試,這更接近對完整操作能力的系統(tǒng)審視。



ManipArena 賽事花了很多時間進行科學設計。其中一個重要設計是“一個模型完成全部任務”(One Model for All Tasks)。參賽者不能針對不同任務分別訓練模型,而必須依賴統(tǒng)一策略完成所有挑戰(zhàn)。這一規(guī)則本質(zhì)上是在篩選通用能力,而非單點技巧或任務過擬合。

另一項關鍵設計是分層 OOD(Out-of-Distribution)評估。每個任務通過物理屬性、空間布局和語義組合等多維變化,構造不同難度等級,從域內(nèi)變化到語義外推,系統(tǒng)測試模型在未知情況下的表現(xiàn)。這使評測不再只給出一個分數(shù),而是呈現(xiàn)能力曲線,揭示模型究竟卡在感知、推理還是執(zhí)行環(huán)節(jié)。

此外,ManipArena 將評測范圍從桌面操作擴展到包含導航與全身控制的移動任務,例如整理衣物、掛畫、收納物品等,覆蓋更接近真實生活的操作場景。這意味著它不再評估“機械臂技能”,而是評估“具身系統(tǒng)能力”。

換句話說,這項競賽的目標并不是展示機器人已經(jīng)能做什么,而是盡可能準確地界定它們暫時還做不到什么。

這正是產(chǎn)業(yè)決策最需要的信息。所以這次賽事,帶來的不一定是榜單上的狂歡,但一定會幫助研究人員認清技術的真實狀況。



ManipArena 更深遠的意義,或許在于它并不只是一次競賽,而是一個可持續(xù)運行的研究平臺,它有著“常態(tài)化評測”“持續(xù)性運營”“大幅降低門檻”等特色。

首先,它具備常態(tài)化評測能力。參賽者可以基于公開數(shù)據(jù)訓練模型,通過遠程接口提交算法,由平臺完成真機測試并返回結果。這種機制不僅適用于比賽,也適用于日常研究驗證,使其成為一個持續(xù)可用的 Benchmark,而非一次性活動。

其次,平臺提供了高質(zhì)量真實世界數(shù)據(jù)與精細評測體系,包括 188 小時高質(zhì)量真機數(shù)據(jù),并承諾未來持續(xù)開源數(shù)據(jù),為模型訓練與分析提供直接支撐。在機器人領域,獲取真實數(shù)據(jù)的成本極高,這種集中供給本身就是重要的科研基礎設施。

更關鍵的是,它顯著降低了參與門檻。研究團隊無需購買昂貴機器人設備,僅依托一臺 GPU 服務器即可參與全流程評測。

這是一個非常關鍵的轉(zhuǎn)折點,具身智能研究長期受制于硬件成本,只有少數(shù)實驗室擁有設備優(yōu)勢,而大多數(shù)團隊難以開展真實世界實驗。遠程真機評測機制使更多研究者能夠參與競爭,擴大創(chuàng)新來源。

額外多說一點,這種統(tǒng)一硬件的方式,避免了硬件差異對結果的影響。而且,由于自變量的“量子一號”等硬件設施是 AI 原生、為模型而生,其能夠更好的發(fā)揮模型性能。倘若 ManipArena 真能夠長續(xù)發(fā)展,也將有助于形成統(tǒng)一的硬件標準。



當性能差異主要由算法而非設備決定時,研究重點將更像模型聚焦,從而加速軟件層面的競爭與收斂。

“要想富,先修路”,今天的具身智能研究,想要從粗狂的野蠻生長走向規(guī)范化發(fā)展,正缺少這樣穩(wěn)定、科學的基礎設施建設。



外界可能會問,為什么是一家模型企業(yè)來推動這項工作?答案恰恰在于,只有真正開發(fā)過模型的人,才最清楚模型的能力邊界與潛在漏洞。

首先要認識到,Benchmark 從來不是中性的。它隱含著對未來技術方向的假設:

- 比方說,ManipArena 將推理、長時序決策和多模態(tài)融合放在核心位置,實際上是在對具身智能的主流發(fā)展路徑做出判斷,是對過去簡單任務評測的一次技術矯正; - 再者像,賽事中開源的多維數(shù)據(jù)里所特意強調(diào)的電機電流和關節(jié)速度,如官方所說“電機電流和關節(jié)速度可作為力和接觸的代理信號,當前主流模型(VLA、World Model)均未有效利用電流和關節(jié)速度信號”,ManipArena 此舉針對性開源將有助于推動力敏感策略研究;

- 此外,官方在表態(tài)中多次強調(diào) VLA 與世界模型同臺競技,是否各有千秋,到底孰優(yōu)孰劣在賽中見真章,某種程度上也昭示出技術的趨勢。

其次,做過模型的人更了解模型如何“取巧”。在許多基準測試中,模型可以通過統(tǒng)計偏差、環(huán)境規(guī)律或特定技巧獲得高分,而不具備真正的通用能力。ManipArena 的設計明顯試圖規(guī)避這些問題,例如統(tǒng)一環(huán)境、均勻分布變化、跨任務通用模型要求等,都旨在防止過擬合和投機行為。

再次,真正科學有效的 Benchmark 設計往往來自大量經(jīng)驗的積累。只有那些從零到一全鏈路自研,趟踩過足夠多的坑,才知道模型會在哪里崩潰。從這個角度看,“做題做多了的人更會出題”并非調(diào)侃,而是一種技術現(xiàn)實。評測體系本質(zhì)上是對過去研究經(jīng)驗的結構化沉淀,也是對未來技術路徑的引導。

而作為長期堅持端到端具身大模型路線的企業(yè),自變量深度參與了從 VLA 到世界模型融合范式的演進過程,對模型在真實物理世界中的能力邊界與失效模式有著一手認知。

其自研的 WALL-A 模型首創(chuàng)將 VLA 與世界模型深度融合,在統(tǒng)一多模態(tài)輸入輸出架構下引入具身多模態(tài)思維鏈,通過時空狀態(tài)預測、視覺因果推理與可學習記憶機制,使機器人能夠在非結構化環(huán)境中實現(xiàn)更強的零樣本泛化能力 。同時,依托大規(guī)模真機強化學習,模型在持續(xù)與物理世界交互中積累高質(zhì)量經(jīng)驗,自主修復長尾問題,形成“基礎模型—真實交互—能力進化”的技術閉環(huán) 。而在此基礎上開源的 WALL-OSS 也表現(xiàn)出優(yōu)異的長程操作能力、因果推理與空間理解能力。

正是這種從模型架構、訓練方法到真實部署的全鏈路實踐,使自變量不僅深諳模型訓練坑坑洼洼、與模型技術發(fā)展同頻脈動,也成為具身智能能力評測體系的積極塑造者。 對于一項技術革命來說,其福澤社會從來不論到底是哪家企業(yè)的技術強弱,反而是從行業(yè)逐漸沉淀出可靠的標尺開始。放在具身智能領域,也是如此。

模型的競賽只是見證技術迅猛發(fā)展一方面,如果 ManipArena 能夠持續(xù)運行,它記錄的將不僅是排行榜,更可能是具身智能走向產(chǎn)業(yè)化的時間刻度。

特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關推薦
熱點推薦
爆料瘋傳!中南醫(yī)院“王護士長”被扒,她到底有沒有問題?

爆料瘋傳!中南醫(yī)院“王護士長”被扒,她到底有沒有問題?

千言娛樂記
2026-04-22 13:31:23
威脅對中國加征50%關稅!用對臺售武交換中國軍售伊朗  否則免談

威脅對中國加征50%關稅!用對臺售武交換中國軍售伊朗 否則免談

軍評陳光文
2026-04-24 22:27:35
實力藏不住了!中國尖端科技重磅問世,美媒感嘆:先進得不像國產(chǎn)

實力藏不住了!中國尖端科技重磅問世,美媒感嘆:先進得不像國產(chǎn)

瞻史
2026-04-22 19:38:16
2次毀約拒絕賠償,墨西哥再次找中國建高鐵,中國這次不再慣著

2次毀約拒絕賠償,墨西哥再次找中國建高鐵,中國這次不再慣著

小蘭聊歷史
2026-04-24 15:54:29
國家一級女演員陳麗云被逮捕!

國家一級女演員陳麗云被逮捕!

許三歲
2026-03-28 09:24:30
馬蹄露迎來尊重,如今獲3位明星力挺,霍汶希毀掉英皇多年口碑

馬蹄露迎來尊重,如今獲3位明星力挺,霍汶希毀掉英皇多年口碑

娛貝勒
2026-04-24 21:57:58
五地迎來新任公安局長

五地迎來新任公安局長

上觀新聞
2026-04-24 16:31:04
只有秦昊能治孫楊,直男暴擊起來沒輕沒重

只有秦昊能治孫楊,直男暴擊起來沒輕沒重

陳意小可愛
2026-04-24 17:46:42
施明離世留市值千萬房產(chǎn),長子全家獨占,還怪父親弟弟沒出喪禮錢

施明離世留市值千萬房產(chǎn),長子全家獨占,還怪父親弟弟沒出喪禮錢

臨云史策
2026-04-24 14:13:09
天空體育預測英超34輪:阿森納1-0,曼聯(lián)2-1,利物浦2-1,熱刺1-2

天空體育預測英超34輪:阿森納1-0,曼聯(lián)2-1,利物浦2-1,熱刺1-2

郝小小看體育
2026-04-24 15:37:55
劉德華官宣!網(wǎng)友沸了

劉德華官宣!網(wǎng)友沸了

中國新聞周刊
2026-04-23 12:35:02
拿了錢還不放人!19歲花季少女被困柬埔寨56天,綁匪正臉照曝光!

拿了錢還不放人!19歲花季少女被困柬埔寨56天,綁匪正臉照曝光!

今朝牛馬
2026-04-07 22:43:23
八寶山有一座無名墓,高層一直保密,40多年后才公開身份

八寶山有一座無名墓,高層一直保密,40多年后才公開身份

談古論今歷史有道
2026-04-23 17:15:03
斯佳輝成笑柄,唯一出局種子輸?shù)锰C囊!最強16強陣容歷史第三次

斯佳輝成笑柄,唯一出局種子輸?shù)锰C囊!最強16強陣容歷史第三次

叮咚體壇
2026-04-24 09:49:05
我知道那兩名保安為啥不讓退伍老兵上廁所的原因

我知道那兩名保安為啥不讓退伍老兵上廁所的原因

筆桿論道
2026-04-23 01:25:03
個人收款被查了!2026年個人收款高于這個數(shù),要小心!

個人收款被查了!2026年個人收款高于這個數(shù),要小心!

新浪財經(jīng)
2026-04-21 22:04:32
如果在家突發(fā)心梗,黃金6分鐘自救法,快了解,關鍵時刻可自救

如果在家突發(fā)心梗,黃金6分鐘自救法,快了解,關鍵時刻可自救

健康科普365
2026-01-20 16:05:03
重磅出臺!《武漢市城市更新條例》全文來了

重磅出臺!《武漢市城市更新條例》全文來了

越喬
2026-04-22 22:31:27
博主:韓佳奇、何宇鵬、吳少聰、楊立瑜現(xiàn)身基地進行康復訓練

博主:韓佳奇、何宇鵬、吳少聰、楊立瑜現(xiàn)身基地進行康復訓練

懂球帝
2026-04-24 19:19:21
騎士為何慘敗猛龍?賽后哈登毫不避諱說出真實原因,說的非常實在

騎士為何慘敗猛龍?賽后哈登毫不避諱說出真實原因,說的非常實在

翰飛觀事
2026-04-24 16:57:35
2026-04-24 23:16:49
具身研習社
具身研習社
記錄具身智能浪潮迭代。
145文章數(shù) 1關注度
往期回顧 全部

科技要聞

DeepSeek V4牽手華為,價格依然"屠夫級"

頭條要聞

賴清德面臨彈劾投票 島內(nèi)網(wǎng)友:不記名投票一定過

頭條要聞

賴清德面臨彈劾投票 島內(nèi)網(wǎng)友:不記名投票一定過

體育要聞

上海男籃23連勝+主場全勝 姚明之后最強一季

娛樂要聞

停工16個月!趙露思證實接拍新劇

財經(jīng)要聞

LG財閥內(nèi)斗:百億美元商業(yè)帝國爭奪戰(zhàn)

汽車要聞

零跑Lafa5 Ultra北京車展上市:11.88-12.48萬

態(tài)度原創(chuàng)

時尚
藝術
游戲
數(shù)碼
家居

春天穿衣千萬別老氣橫秋!短長搭配、多穿裙子,優(yōu)雅舒適顯高

藝術要聞

2025最繪畫--第四屆中國青年油畫作品展 | 油畫選刊(三)

PS獨占登PC純屬被逼無奈!跨平臺只為活下去?

數(shù)碼要聞

RGB-Mini LED電視普及風暴,海信正式發(fā)布小墨E5S Pro

家居要聞

自然肌理 溫潤美學

無障礙瀏覽 進入關懷版