嘻瘋 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

國(guó)產(chǎn)具身智能基座模型，再次突破！

RoboChallenge真機(jī)評(píng)測(cè)榜單上，來(lái)自自變量機(jī)器人的端到端具身智能基礎(chǔ)模型WALL-OSS，以總分54.69、成功率35.33%的成績(jī)，超越美國(guó)具身智能明星公司Physical Intelligence的pi0（π0），排名全球第二。

在疊洗碗巾、掛口杯、按按鈕、澆盆栽、移物入盒、開(kāi)瓶器進(jìn)抽屜等多個(gè)單任務(wù)中，WALL-OSS均拿下單項(xiàng)第一

要知道，這可不是一場(chǎng)普通的測(cè)試。

RoboChallenge由Dexmal原力靈機(jī)聯(lián)合Hugging Face發(fā)起，是首個(gè)在真實(shí)物理環(huán)境中，由真實(shí)機(jī)器人執(zhí)行操作的大規(guī)模、多任務(wù)基準(zhǔn)測(cè)試。

與LLM測(cè)評(píng)不同，具身模型測(cè)評(píng)更像是一場(chǎng)“開(kāi)卷考”，任務(wù)描述和場(chǎng)景環(huán)境都是提前公開(kāi)的。

參賽方無(wú)需提交模型權(quán)重，只需提供可驅(qū)動(dòng)機(jī)器人的算法；最終，平臺(tái)通過(guò)統(tǒng)一的真機(jī)執(zhí)行，以動(dòng)作視頻和任務(wù)完成率作為評(píng)分依據(jù)。

格外關(guān)鍵的是，WALL-OSS是一個(gè)開(kāi)源模型

相較于閉源模型的測(cè)評(píng)結(jié)果存在較大操作空間（其性能可能源于對(duì)第三方模型的微調(diào)、接口層的特殊適配，或者存在黑箱內(nèi)的未公開(kāi)優(yōu)化），模型本身的原生能力不容易被外界驗(yàn)證，開(kāi)源模型的成績(jī)建立在完全透明的代碼與參數(shù)之上，其能力可被任何研究者復(fù)現(xiàn)、檢驗(yàn)和深入研究

而且，WALL-OSS的開(kāi)源程度也相當(dāng)徹底：不僅開(kāi)放了預(yù)訓(xùn)練模型權(quán)重、完整訓(xùn)練代碼和數(shù)據(jù)集接口，甚至還提供了詳盡的部署文檔。僅需RTX 4090級(jí)別的消費(fèi)級(jí)顯卡，就可以完成從訓(xùn)練到推理部署的完整流程。

另外，當(dāng)前榜單前三名，包括pi0、pi0.5，也都是來(lái)自開(kāi)源體系

具身智能的前沿發(fā)展，正在由開(kāi)源模型共同推動(dòng)向前。

“機(jī)器人腦”物理世界大PK

下面先具體來(lái)看WALL-OSS在測(cè)試中的實(shí)際表現(xiàn)。

RoboChallenge首發(fā)的Table 30任務(wù)集，包含30個(gè)真實(shí)日常操作任務(wù)，而在行業(yè)常見(jiàn)的真機(jī)評(píng)測(cè)中，任務(wù)數(shù)量通常只有3–5個(gè)。

該任務(wù)集從四個(gè)維度構(gòu)建評(píng)估體系：VLA方案難點(diǎn)、機(jī)器人類(lèi)型、任務(wù)場(chǎng)景環(huán)境、目標(biāo)物體屬性，覆蓋了具身模型在真實(shí)世界中可能遇到的多樣復(fù)雜情況。

以難度較高的“疊抹布”任務(wù)為例，WALL-OSS目前位列該單項(xiàng)第一。

在該任務(wù)中，WALL-OSS以41分的成績(jī)領(lǐng)先pi0。盡管其任務(wù)成功率仍只有10%，但已是當(dāng)前所有參賽模型中的最優(yōu)表現(xiàn)；相比之下，pi0在該任務(wù)中的成功率為0%，僅獲得部分步驟分。

RoboChallenge平臺(tái)集成了UR5、Franka Panda、Aloha、ARX-5等多款主流機(jī)器人，用于遠(yuǎn)程真機(jī)評(píng)測(cè)。

并且，其公開(kāi)了所有任務(wù)演示數(shù)據(jù)及測(cè)試中間結(jié)果，所有人都能看到機(jī)器人執(zhí)行任務(wù)的全過(guò)程監(jiān)控記錄。

打開(kāi)任務(wù)執(zhí)行詳情，可以看到左側(cè)上方是多視角視頻畫(huà)面，展示了任務(wù)現(xiàn)場(chǎng)的實(shí)際場(chǎng)景，能直觀看到機(jī)器人的操作過(guò)程

右側(cè)上方的arm圖表，記錄了機(jī)械臂6個(gè)關(guān)節(jié)（joint1–joint6）的角度變化，曲線波動(dòng)對(duì)應(yīng)關(guān)節(jié)運(yùn)動(dòng)；右側(cè)下方的arm_gripper圖表，則記錄了夾爪的開(kāi)合狀態(tài)。

最右側(cè)信息欄則展示任務(wù)ID、執(zhí)行時(shí)長(zhǎng)等基礎(chǔ)信息。

底部時(shí)間軸可以精準(zhǔn)定位某一時(shí)刻，同步查看該時(shí)間點(diǎn)的視頻畫(huà)面與機(jī)械臂/夾爪狀態(tài)，快速找到動(dòng)作異常的環(huán)節(jié)。

從公開(kāi)視頻中可以看到，WALL-OSS成功完成了抹布的一次抓取與對(duì)折操作：

在相對(duì)簡(jiǎn)單一些的“連續(xù)按下三個(gè)按鈕”任務(wù)中，WALL-OSS的優(yōu)勢(shì)更加明顯，得分顯著領(lǐng)先其它模型。

實(shí)際操作be like（以下展示均為加速畫(huà)面）：

在“將不同形狀雜物收納至筐中”的任務(wù)里，WALL-OSS同樣表現(xiàn)穩(wěn)定：

該任務(wù)中，無(wú)論是得分還是成功率，WALL-OSS都高于pi0。

在“拉開(kāi)抽屜并放入雜物”等需要連續(xù)規(guī)劃與空間判斷的任務(wù)中，也能看到其完整完成操作流程：

值得一提的是，RoboChallenge的真機(jī)測(cè)試規(guī)則本身并未限制模型進(jìn)行針對(duì)性優(yōu)化或微調(diào)。開(kāi)發(fā)者可以使用官方提供的任務(wù)示范數(shù)據(jù)對(duì)模型進(jìn)行訓(xùn)練。

模型訓(xùn)練完成后，需對(duì)接平臺(tái)標(biāo)準(zhǔn)化API。平臺(tái)提供統(tǒng)一的框架代碼，參賽方僅需補(bǔ)充自身邏輯，確保模型實(shí)現(xiàn)觀察-推理-停止的完整交互閉環(huán)，并可通過(guò)模擬測(cè)試進(jìn)行驗(yàn)證。

評(píng)估請(qǐng)求進(jìn)入人工調(diào)度隊(duì)列后，任務(wù)將在真實(shí)場(chǎng)景中執(zhí)行，最終結(jié)果由平臺(tái)自動(dòng)發(fā)布。

也正是在這樣的規(guī)則下，開(kāi)源模型的成績(jī)，含金量才顯得尤為突出。

目前，自變量團(tuán)隊(duì)已表示，WALL-OSS提交的復(fù)現(xiàn)結(jié)果示例，微調(diào)代碼和模型權(quán)重也將在近期全部開(kāi)源。除檢驗(yàn)測(cè)試結(jié)果的真實(shí)性，開(kāi)發(fā)者們也可以在平臺(tái)上根據(jù)源代碼和各個(gè)任務(wù)的微調(diào)代碼，結(jié)合自己的數(shù)據(jù)完成復(fù)現(xiàn)微調(diào)。

接下來(lái)問(wèn)題來(lái)了，WALL-OSS是如何做到的？

拆解背后技術(shù)突破

在模型的具體實(shí)現(xiàn)層面，官方已發(fā)布技術(shù)報(bào)告，對(duì)WALL-OSS的設(shè)計(jì)思路與訓(xùn)練路徑進(jìn)行了系統(tǒng)披露。

從視覺(jué)語(yǔ)言模型（VLM）走向視覺(jué)語(yǔ)言動(dòng)作模型（VLA），并不是一次簡(jiǎn)單的能力疊加。

在這一遷移過(guò)程中，行業(yè)普遍面臨兩大核心挑戰(zhàn)：

其一是災(zāi)難性遺忘。VLM在向動(dòng)作生成擴(kuò)展時(shí)，往往會(huì)犧牲原有的語(yǔ)言理解與視覺(jué)推理能力，導(dǎo)致模型“會(huì)動(dòng)了，卻不再真正理解任務(wù)”。

其二是模態(tài)解耦。不少模型雖然表面上同時(shí)具備視覺(jué)、語(yǔ)言與動(dòng)作模塊，但各模態(tài)之間協(xié)同不足，推理、規(guī)劃與執(zhí)行往往割裂存在，難以形成真正端到端的決策閉環(huán)。

這也直接導(dǎo)致了一個(gè)現(xiàn)實(shí)困境：認(rèn)知能力強(qiáng)的模型，動(dòng)作精度往往不足；而動(dòng)作控制表現(xiàn)穩(wěn)定的模型，又難以承擔(dān)復(fù)雜任務(wù)的理解與規(guī)劃。

如何在模態(tài)統(tǒng)一、動(dòng)作精度和能力泛化之間達(dá)成平衡？是VLA模型設(shè)計(jì)中最具挑戰(zhàn)性的問(wèn)題之一。

針對(duì)上述問(wèn)題，WALL-OSS首先在模型架構(gòu)層面進(jìn)行了重構(gòu)。

不同于傳統(tǒng)多模態(tài)模型常見(jiàn)的“模塊拼接”方案，WALL-OSS采用了共享注意力+專(zhuān)家分流（FFN）的架構(gòu)設(shè)計(jì)。語(yǔ)言、視覺(jué)與動(dòng)作信息被嵌入到同一表示空間中，通過(guò)共享注意力機(jī)制實(shí)現(xiàn)深度跨模態(tài)交互；同時(shí)，再借助專(zhuān)家FFN對(duì)不同任務(wù)需求進(jìn)行高效分流計(jì)算。

最終，模型得以在統(tǒng)一框架下同時(shí)承擔(dān)理解、規(guī)劃與動(dòng)作生成任務(wù)，形成緊耦合的認(rèn)知—行動(dòng)閉環(huán)。

在訓(xùn)練策略上，WALL-OSS設(shè)計(jì)了“啟發(fā)階段（Inspiration）→整合階段（Integration）”的階段式范式

啟發(fā)階段通過(guò)具身VQA、指令跟隨等任務(wù)強(qiáng)化空間推理，結(jié)合FAST tokenization離散動(dòng)作訓(xùn)練，讓模型保留原有認(rèn)知能力的同時(shí)，建立空間與動(dòng)作基礎(chǔ)認(rèn)知。

隨后，整合階段聚焦連續(xù)動(dòng)作建模，先凍結(jié)VLM僅訓(xùn)練Action FFN下的流匹配（Flow Matching）頭，精修高頻動(dòng)作生成。

最終，解凍VLM聯(lián)合優(yōu)化，將認(rèn)知能力與動(dòng)作執(zhí)行能力在同一模型中穩(wěn)定整合。

這種“先離散、后連續(xù)、再聯(lián)合”的訓(xùn)練路徑，讓VLM的語(yǔ)言視覺(jué)能力能夠無(wú)損地遷移并擴(kuò)展到物理動(dòng)作層面，避免了傳統(tǒng)端到端訓(xùn)練中常見(jiàn)的能力塌縮問(wèn)題。

結(jié)果是，模型既保留了懂任務(wù)的認(rèn)知深度，又具備了會(huì)執(zhí)行的動(dòng)作精度。

在此基礎(chǔ)上，WALL-OSS進(jìn)一步將思維鏈（Chain-of-Thought）能力內(nèi)化到具身決策過(guò)程中。

WALL-OSS構(gòu)建了一套統(tǒng)一的跨層級(jí)思維鏈框架：從指令理解，到中間推理，再到子任務(wù)拆解與規(guī)劃，最終映射為連續(xù)的物理動(dòng)作執(zhí)行。

這一機(jī)制使模型能夠在高層語(yǔ)義決策與底層動(dòng)作控制之間自由切換，在同一可微分框架內(nèi)完成跨抽象層級(jí)的推理與執(zhí)行。

因此，在面對(duì)未知環(huán)境或從未見(jiàn)過(guò)的任務(wù)組合時(shí)，WALL-OSS不再依賴預(yù)設(shè)流程，而是能夠自主拆解問(wèn)題、逐步思考，并在執(zhí)行過(guò)程中動(dòng)態(tài)調(diào)整策略，從而具備了承擔(dān)長(zhǎng)程、復(fù)雜具身任務(wù)的能力。

實(shí)驗(yàn)結(jié)果顯示，在Embodied VQA基準(zhǔn)測(cè)試及6類(lèi)機(jī)器人操作任務(wù)中，WALL-OSS均表現(xiàn)突出。

開(kāi)源破壁，真正推動(dòng)具身智能發(fā)展的路徑

最后再來(lái)介紹一下WALL-OSS背后的團(tuán)隊(duì)——自變量機(jī)器人

這是一家成立時(shí)間不長(zhǎng)、但在具身智能領(lǐng)域推進(jìn)速度極快的明星公司。核心團(tuán)隊(duì)長(zhǎng)期深耕機(jī)器人與多模態(tài)智能方向，并明確將“通用具身智能基座”作為長(zhǎng)期目標(biāo)。

創(chuàng)始人兼CEO王潛，本碩畢業(yè)于清華大學(xué)，后在美國(guó)南加州大學(xué)攻讀博士，從事Robotics Learning相關(guān)研究。他在神經(jīng)網(wǎng)絡(luò)注意力機(jī)制相關(guān)研究領(lǐng)域較早開(kāi)展探索，是較早將Attention思想引入神經(jīng)網(wǎng)絡(luò)體系的研究者之一。

聯(lián)合創(chuàng)始人兼CTO王昊，為北京大學(xué)計(jì)算物理博士，曾任職于粵港澳大灣區(qū)數(shù)字經(jīng)濟(jì)研究院（IDEA研究院），擔(dān)任大模型團(tuán)隊(duì)負(fù)責(zé)人，曾帶領(lǐng)團(tuán)隊(duì)發(fā)布過(guò)多個(gè)開(kāi)源大模型，在基礎(chǔ)模型與系統(tǒng)工程層面具備深厚積累。

目前團(tuán)隊(duì)已完成多輪融資。幾個(gè)月前，剛宣布了近10億元A+輪融資，阿里云、國(guó)科投資領(lǐng)投，國(guó)開(kāi)金融、紅杉、渶策、美團(tuán)、聯(lián)想之星、君聯(lián)資本均有參與。

相比單一場(chǎng)景或垂直應(yīng)用，自變量團(tuán)隊(duì)更關(guān)注如何構(gòu)建一個(gè)可以被反復(fù)驗(yàn)證、持續(xù)演化的“機(jī)器人通用大腦”

也正因?yàn)槿绱耍琖ALL-OSS從一開(kāi)始就被定位為面向真實(shí)物理世界、端到端統(tǒng)一的基座模型，而不是為某個(gè)Demo、某個(gè)任務(wù)定制優(yōu)化的解法。

如果僅從榜單成績(jī)來(lái)看，WALL-OSS已經(jīng)足夠亮眼。但真正值得被反復(fù)討論的，并不是名次本身，而是它選擇以開(kāi)源的方式，參與真實(shí)物理世界的能力驗(yàn)證

在RoboChallenge這樣的第三方測(cè)評(píng)中，WALL-OSS的表現(xiàn)很難被簡(jiǎn)單歸因?yàn)檎{(diào)參、特化或運(yùn)氣好。它更像一次赤裸而直接的證明：一個(gè)開(kāi)源的、可復(fù)現(xiàn)的具身基礎(chǔ)模型，確實(shí)可以在真實(shí)世界任務(wù)中具備很強(qiáng)的競(jìng)爭(zhēng)力

而把視角拉遠(yuǎn)一步，長(zhǎng)期以來(lái)，具身智能領(lǐng)域一直存在一個(gè)結(jié)構(gòu)性矛盾：

真正有想法、有算法能力的高校與中小團(tuán)隊(duì)，往往缺算力、缺數(shù)據(jù)、缺機(jī)器人；而具備資源的大公司，又很難把底層能力完全開(kāi)放出來(lái)，供行業(yè)共同驗(yàn)證和改進(jìn)。

在這樣的背景下，一個(gè)可以在消費(fèi)級(jí)顯卡上完成訓(xùn)練、推理和部署的開(kāi)源具身模型，在行業(yè)中的意義就不僅是共享成果，而是彌補(bǔ)了行業(yè)空白，實(shí)質(zhì)性地降低整個(gè)行業(yè)的創(chuàng)新門(mén)檻

研究者不必從零構(gòu)建，創(chuàng)業(yè)團(tuán)隊(duì)不必重復(fù)造輪子，更多精力可以投入到真正有價(jià)值的問(wèn)題上，比如：如何提升泛化能力？處理更長(zhǎng)程、更復(fù)雜的任務(wù)？如何讓機(jī)器人在不可控環(huán)境中更可靠地工作？

這正是開(kāi)源生態(tài)最理想的狀態(tài)，不是把精力消耗在基礎(chǔ)設(shè)施的重復(fù)建設(shè)上，而是在同一個(gè)高起點(diǎn)上競(jìng)爭(zhēng)真正的創(chuàng)新

正如自變量機(jī)器人聯(lián)合創(chuàng)始人&CTO王昊曾在硅谷101播客中所說(shuō)：

我一直都覺(jué)得開(kāi)源是非常重要的事情，開(kāi)源意味著我們可以站在巨人的肩膀上繼續(xù)前進(jìn)。我們可以基于已有成果做更多的改進(jìn)，社區(qū)開(kāi)發(fā)者的反饋也會(huì)幫助到開(kāi)源的公司，開(kāi)源公司可以從中吸取到經(jīng)驗(yàn)，然后把這個(gè)技術(shù)路線思考得更加深入。

而對(duì)自變量自身而言，選擇開(kāi)源同樣不是一筆短期收益最大化的生意。

在多次訪談中，自變量團(tuán)隊(duì)反復(fù)強(qiáng)調(diào)，他們并不把開(kāi)源視為一次技術(shù)展示或品牌露出，而是將其視為一種“行業(yè)基礎(chǔ)設(shè)施”的長(zhǎng)期投入

他們更關(guān)心的是，這個(gè)模型是否足夠先進(jìn)，足夠稀缺，從而足夠有資格成為“基座”；或者模型又能否真的能被社區(qū)用起來(lái)，經(jīng)得起復(fù)現(xiàn)、質(zhì)疑和改造，在真實(shí)世界的任務(wù)中不斷暴露問(wèn)題，最終通過(guò)生態(tài)的反向推動(dòng)，從而完成自我迭代與進(jìn)化。

在具身智能這樣一個(gè)高度依賴真實(shí)世界反饋的領(lǐng)域，沒(méi)有什么比開(kāi)源社區(qū)的持續(xù)檢驗(yàn)更殘酷、也更有效

社區(qū)會(huì)放大模型的優(yōu)點(diǎn)，也會(huì)毫不留情地揭示它的短板。而正是這種持續(xù)地被使用、被對(duì)抗、被改造，才有可能推動(dòng)模型真正走向成熟。

從這個(gè)角度看，WALL-OSS的開(kāi)源，本質(zhì)上是一種姿態(tài)——愿意把模型交給世界，用真實(shí)應(yīng)用來(lái)檢驗(yàn)技術(shù)路線是否成立

具身智能的長(zhǎng)期發(fā)展中，擁抱開(kāi)源，或許不是理想主義，而是一條繞不開(kāi)的現(xiàn)實(shí)路徑。

至少，WALL-OSS已經(jīng)用一次真實(shí)世界的大考，給出了一個(gè)有分量的示范答案。

最后話說(shuō)回來(lái)，以后打榜是不是要給開(kāi)源和閉源搞個(gè)分賽道？裸奔的，和穿著絨褲、棉褲、毛褲、秋褲、打底褲的相比，到底是不一樣。