機(jī)器人前瞻（公眾號(hào)：robot_pro）
作者 許麗思
編輯 漠影

機(jī)器人前瞻1月20日?qǐng)?bào)道，今天， Being Beyond發(fā)布跨本體VLA模型Being-H0.5，并已在GitHub、HuggingFace上進(jìn)行完整開(kāi)源。

Being Beyond不僅公開(kāi)了預(yù)訓(xùn)練與后訓(xùn)練的全部模型參數(shù)，還提供完整的訓(xùn)練與評(píng)估代碼，以及一套可復(fù)現(xiàn)1000+ GPU小時(shí)訓(xùn)練的詳細(xì)配方。未來(lái)，其還將逐步開(kāi)源真機(jī)部署代碼與接口。

Being-H0.5通過(guò)整合數(shù)萬(wàn)小時(shí)人類(lèi)視頻以及當(dāng)前全球幾乎所有主流機(jī)器人構(gòu)型的操作數(shù)據(jù)，在視覺(jué)?語(yǔ)言?動(dòng)作（VLA）任務(wù)中展現(xiàn)出較強(qiáng)的跨本體泛化能力——無(wú)論硬件形態(tài)如何差異，模型皆能快速適應(yīng)、穩(wěn)定執(zhí)行。

Being-H0.5基于human-centric learning，涵蓋30種不同本體（是π0.5的5倍），能夠?qū)崿F(xiàn)超強(qiáng)跨本體泛化，對(duì)同樣一批任務(wù)，只需訓(xùn)練一次，就能部署在5個(gè)不同本體上。

性能方面，Being-H0.5在大規(guī)模預(yù)訓(xùn)練加持下，即使只微調(diào)2%的模型參數(shù)也能達(dá)到90%以上的相對(duì)performance；其在LIBERO和RoboCasa達(dá)到SoTA，還實(shí)現(xiàn)了全球最快的端側(cè)部署速度，在Orin-NX上達(dá)到實(shí)時(shí)。

一、構(gòu)建全球規(guī)模最大的訓(xùn)練數(shù)據(jù)集，總時(shí)長(zhǎng)超3.5萬(wàn)小時(shí)

UniHand2.0數(shù)據(jù)集總時(shí)長(zhǎng)超過(guò)3.5萬(wàn)小時(shí)，囊括14,000 小時(shí)的機(jī)器人操作數(shù)據(jù)， 16,000 小時(shí)的人類(lèi)視頻數(shù)據(jù)，以及5000小時(shí)通用多模態(tài)數(shù)據(jù)，總訓(xùn)練 token 數(shù)突破 1200 億。這是全球首次在機(jī)器人領(lǐng)域進(jìn)行如此大規(guī)模、跨本體的數(shù)據(jù)整合嘗試。

與以往僅基于“輪式底盤(pán) + 雙臂夾爪”范式的研究（如 π 系列工作）不同，UniHand2.0 首次實(shí)現(xiàn)了跨本體的大規(guī)模數(shù)據(jù)融合，匯集了超過(guò)30種不同硬件構(gòu)型的多樣化數(shù)據(jù)，涵蓋了從桌面機(jī)械臂到雙足機(jī)器人在內(nèi)幾乎所有已知的機(jī)器人形態(tài)。

▲UniHand與現(xiàn)有VLA數(shù)據(jù)集規(guī)模對(duì)比：超3.5萬(wàn)小時(shí)和30余本體，在規(guī)模和多樣性上提升了3倍以上

在Being?H0.5 之前，尚未有研究嘗試將如此多異構(gòu)本體數(shù)據(jù)統(tǒng)一用于訓(xùn)練——其核心挑戰(zhàn)在于，不同機(jī)器人的狀態(tài)空間與動(dòng)作空間差異巨大，直接混合訓(xùn)練極易引發(fā)“數(shù)據(jù)沖突”，導(dǎo)致模型難以收斂或泛化。

為解決上述難題，BeingBeyond 團(tuán)隊(duì)提出了 統(tǒng)一動(dòng)作空間框架，將雙足人形、輪式底盤(pán)、桌面機(jī)械臂、夾爪、靈巧手等形態(tài)各異的機(jī)器人，映射到同一特征表示空間中，從而有效支撐跨本體聯(lián)合訓(xùn)練與知識(shí)遷移。

二、以人為中心的訓(xùn)練范式

當(dāng)前具身行業(yè)，無(wú)論是機(jī)器人設(shè)計(jì)、數(shù)據(jù)采集方案（如 UMI、傳統(tǒng)遙操作），還是任務(wù)設(shè)計(jì)，本質(zhì)上都在模仿人類(lèi)，以人為中心。而人類(lèi)本身，就可被視為所有下游機(jī)器人的“原型模板”。

針對(duì)人類(lèi)視頻普遍缺乏高質(zhì)量標(biāo)注的痛點(diǎn)，團(tuán)隊(duì)還設(shè)計(jì)了一套名為 UniCraftor 的便攜、可擴(kuò)展、低成本的人類(lèi)視頻采集系統(tǒng)：

在統(tǒng)一動(dòng)作空間的基礎(chǔ)上，Being?H0.5 提出了一套完整的以人為中心的預(yù)訓(xùn)練范式。具體包括：

統(tǒng)一序列化建模：不再為人類(lèi)演示、機(jī)器人軌跡和視覺(jué)文本數(shù)據(jù)設(shè)立獨(dú)立的訓(xùn)練流水線，而是將它們轉(zhuǎn)化成統(tǒng)一的多模態(tài)token序列。在這個(gè)序列中，視覺(jué)和文本負(fù)責(zé)提供背景信息，而統(tǒng)一的“狀態(tài)/動(dòng)作”Token 則承載物理交互信號(hào)。

混合監(jiān)督（多目標(biāo)優(yōu)化）：在同一個(gè)序列上根據(jù)數(shù)據(jù)特點(diǎn)應(yīng)用不同的損失函數(shù)。如針對(duì)文本數(shù)據(jù)（如 VQA、運(yùn)動(dòng)描述）的Next-token Prediction；針對(duì)離散人類(lèi)動(dòng)作的Masked Token Prediction，針對(duì)連續(xù)人類(lèi)和機(jī)器人數(shù)據(jù)，則在統(tǒng)一空間內(nèi)進(jìn)行動(dòng)作預(yù)測(cè)（Action Prediction）等。

這種融合的預(yù)訓(xùn)練方式能讓模型能在從人類(lèi)行為中提取高層級(jí)的、可遷移的交互邏輯（先驗(yàn)）的同時(shí)，從機(jī)器人數(shù)據(jù)中提煉高精度的運(yùn)動(dòng)控制知識(shí)。

三、面向跨本體的模型架構(gòu)升級(jí)

傳統(tǒng)的VLA，尤其是近期流行的基于flow-matching架構(gòu)的模型，其模型容量由于參數(shù)大小存在限制，這導(dǎo)致VLA在混合異構(gòu)數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練時(shí)的性能下降，同時(shí)也阻礙了模型泛化到各種復(fù)雜下游任務(wù)的能力。為了克服這個(gè)問(wèn)題， 團(tuán)隊(duì)針對(duì)性地進(jìn)行了一系列架構(gòu)創(chuàng)新。

首先，受大模型 MoE 架構(gòu)啟發(fā)，團(tuán)隊(duì)設(shè)計(jì)了 Mixture-of-Flow（MoF） 架構(gòu)，將動(dòng)作專(zhuān)家（action expert）解耦為負(fù)責(zé)學(xué)習(xí)通用的運(yùn)動(dòng)原語(yǔ)（如：物體如何運(yùn)動(dòng)）的共享專(zhuān)家，以及通過(guò)機(jī)器人感知路由，負(fù)責(zé)特定形態(tài)精準(zhǔn)執(zhí)行的特化專(zhuān)家。

▲MPG和UAC模塊示意圖

此外，針對(duì)現(xiàn)實(shí)部署中的抖動(dòng)和延遲問(wèn)題，團(tuán)隊(duì)引入了 流形保持門(mén)控（Manifold-Preserving Gating, MPG）以確保在感知模糊時(shí)模型能退回到魯棒的先驗(yàn)分布；以及通用異步分塊（Universal Async Chunking, UAC）技術(shù)，使同一個(gè)模型能完美適配不同控制頻率和延遲的機(jī)器人硬件。

四、跨本體復(fù)雜任務(wù)執(zhí)行能力強(qiáng)，基準(zhǔn)測(cè)試超越π0.5、GR00T

為驗(yàn)證 Being?H0.5 的跨本體能力，研究團(tuán)隊(duì)在 PND、G1、Franka 等不同構(gòu)型的人形機(jī)器人、機(jī)械臂本體上進(jìn)行了大量真機(jī)實(shí)驗(yàn)。

▲B(niǎo)eing-H0.5在不同構(gòu)型本體上均進(jìn)行了廣泛驗(yàn)證實(shí)驗(yàn)

在海量、多源數(shù)據(jù)的加持下，模型展現(xiàn)出較強(qiáng)的跨本體與復(fù)雜任務(wù)執(zhí)行能力，甚至能夠完成 “用按壓噴壺澆花” 這類(lèi)以往夾爪式機(jī)器人難以實(shí)現(xiàn)的操作。

▲跨本體真機(jī)任務(wù)

在四組任務(wù)上展開(kāi)的定量評(píng)測(cè)實(shí)驗(yàn)中，Being-H0.5無(wú)論是generalist（多本體數(shù)據(jù)混合訓(xùn)練，難度更大）還是specialist（單一本體數(shù)據(jù)分開(kāi)訓(xùn)練，較簡(jiǎn)單），性能表現(xiàn)都遠(yuǎn)優(yōu)于僅能依托單一本體訓(xùn)練的 π-0.5模型。同時(shí)，Being-H0.5-generalist模型在平均性能表現(xiàn)上和specialist持平，展現(xiàn)出其跨本體維度上的強(qiáng)大泛化能力。

▲真機(jī)實(shí)驗(yàn)性能對(duì)比

為定量評(píng)估模型性能，團(tuán)隊(duì)在 LIBERO、RoboCasa 等廣泛使用的評(píng)測(cè)基準(zhǔn)上進(jìn)行了測(cè)試。在僅依賴(lài)模仿學(xué)習(xí)與純 RGB 視覺(jué)輸入的條件下，模型平均取得了 98.9% 與 54% 的成功率，不僅超越了 π0.5、GR00T 等所有已知 VLA 模型，甚至優(yōu)于部分借助強(qiáng)化學(xué)習(xí)與 3D 模態(tài)的方案，展現(xiàn)出較強(qiáng)的SOTA性能和競(jìng)爭(zhēng)力。

▲RoboCasa對(duì)比結(jié)果，Being-H顯著超過(guò)π0.5、GR00T等先進(jìn)VLA

結(jié)語(yǔ)：依托以人為中心的技術(shù)范式，降低具身智能研發(fā)門(mén)檻

Being-H0.5的推出，為具身智能領(lǐng)域提供了一種新的技術(shù)范式思路：高質(zhì)量訓(xùn)練數(shù)據(jù)并非必須源于自建的高成本機(jī)器人集群。針對(duì)“如何高效適配多元本體、低成本獲取優(yōu)質(zhì)訓(xùn)練數(shù)據(jù)”這一核心行業(yè)挑戰(zhàn)，Being-H0.5將視角轉(zhuǎn)向人類(lèi)本身這一最豐富、最自然的數(shù)據(jù)源泉。

這一技術(shù)路徑在一定程度上降低了具身智能技術(shù)的研發(fā)門(mén)檻，使得企業(yè)無(wú)需投入巨額資金構(gòu)建數(shù)據(jù)“護(hù)城河”，便可依托以人為中心的學(xué)習(xí)范式（human-centric learning），開(kāi)發(fā)適配多元本體的通用算法。