國(guó)家地方共建人形機(jī)器人創(chuàng)新中心（以下簡(jiǎn)稱“國(guó)地中心”）與北京理工大學(xué)聯(lián)合研發(fā)的人形機(jī)器人“身外化身”小腦模型——“龍馭”，目前已正式發(fā)布。

人形機(jī)器人“身外化身”通常是指，讓機(jī)器人實(shí)時(shí)復(fù)刻人體全身高動(dòng)態(tài)動(dòng)作。不同于傳統(tǒng)機(jī)器人的遙操作，僅在固定基座上復(fù)刻上肢準(zhǔn)靜態(tài)動(dòng)作，“身外化身”需要在控制全身更多自由度的基礎(chǔ)上兼顧本體的運(yùn)動(dòng)平衡，甚至包含騰空起跳等高動(dòng)態(tài)運(yùn)動(dòng)與落地平衡，對(duì)機(jī)器人運(yùn)控算法提出了極高的要求。

此次推出的“龍馭”小腦模型，僅需前期少量動(dòng)作數(shù)據(jù)訓(xùn)練，即可零樣本泛化至真實(shí)場(chǎng)景的實(shí)時(shí)動(dòng)捕、視頻衍生動(dòng)作及全身遙操作等多樣輸入，在實(shí)體人形機(jī)器人上成功跟蹤行走、奔跑、跳躍、舞蹈乃至武術(shù)等復(fù)雜技能，并包含抗擾動(dòng)，摔倒自動(dòng)恢復(fù)能力，具備可用、耐用、能用的業(yè)界領(lǐng)先身外化身系統(tǒng)技術(shù)特征和優(yōu)勢(shì)。

“龍馭”具備三大核心特點(diǎn)：

1. 胃口小——打破數(shù)據(jù)等于智能的傳統(tǒng)思維，利用模型設(shè)計(jì)精簡(jiǎn)與訓(xùn)練策略創(chuàng)新，僅需少量動(dòng)作數(shù)據(jù)即可達(dá)到高泛化性能力；

2. 動(dòng)作精——一絲不茍地復(fù)現(xiàn)人體快速、劇烈的運(yùn)動(dòng)，無(wú)論是奔跑、跳躍、武術(shù)招式，還是搬運(yùn)物品，都能流暢跟隨；

3. 響應(yīng)快——遇到碰撞或干擾時(shí)可自行調(diào)整恢復(fù)，即使摔倒，也能像人一樣迅速起身平衡。

基于“龍馭”小腦模型，我們致力于實(shí)現(xiàn)：

■ 遠(yuǎn)程全身操控

不同于桌面遙操作，操作者可遠(yuǎn)程操控機(jī)器人完成一系列需要全身協(xié)調(diào)的任務(wù)，例如工廠作業(yè)、遠(yuǎn)程會(huì)議、養(yǎng)老看護(hù)、火災(zāi)救援、危險(xiǎn)排爆等，未來(lái)甚至可參與月球基地建設(shè)。

■ 機(jī)器人全身動(dòng)作數(shù)據(jù)集

不同于現(xiàn)階段大部分專注上肢操作的數(shù)據(jù)集，結(jié)合真人全身操作與實(shí)機(jī)同步操作，“龍馭”可協(xié)助采集人體、機(jī)體同步的高質(zhì)量素材，幫助機(jī)器人智慧積累。

■ 打造全能“機(jī)器人小腦”

“龍馭”為機(jī)器人構(gòu)建身體協(xié)調(diào)與控制的基礎(chǔ)能力，實(shí)時(shí)響應(yīng)上層決策指令，為未來(lái)實(shí)現(xiàn)機(jī)器人高度自主行動(dòng)奠定基礎(chǔ)。

01.

技術(shù)介紹

論文預(yù)印本：

https://arxiv.org/abs/2601.23080

網(wǎng)站：

https://zeonsunlightyu.github.io/RGMT.github.io/

02.

核心方法

“龍馭”小腦模型的核心方法由高質(zhì)量數(shù)據(jù)集構(gòu)建與創(chuàng)新的策略架構(gòu)兩部分組成，二者協(xié)同實(shí)現(xiàn)高效、魯棒的全身運(yùn)動(dòng)控制。

高質(zhì)量數(shù)據(jù)集構(gòu)建

策略訓(xùn)練基于一個(gè)約3.5小時(shí)的精煉運(yùn)動(dòng)數(shù)據(jù)集，其數(shù)據(jù)源選自LAFAN1與AMASS兩大動(dòng)捕數(shù)據(jù)庫(kù)的精選子集，并利用通用運(yùn)動(dòng)重定向技術(shù)將全部動(dòng)作序列適配至目標(biāo)人形機(jī)器人模型。

針對(duì)原始動(dòng)捕數(shù)據(jù)中普遍存在的冗余性、低質(zhì)量片段及接觸狀態(tài)不一致等問題，研究團(tuán)隊(duì)實(shí)施了質(zhì)量控制流程，剔除了不可行與低質(zhì)量的運(yùn)動(dòng)序列。

這種以質(zhì)量為導(dǎo)向的構(gòu)建策略至關(guān)重要，它避免了大規(guī)模原始數(shù)據(jù)中重復(fù)和低效片段對(duì)模型優(yōu)化的干擾，提供了更清晰、信息密度更高的監(jiān)督信號(hào)，從而提升了策略的泛化能力與閉環(huán)跟蹤精度。

控制框架創(chuàng)新

“龍馭”小腦模型采用了一種基于動(dòng)態(tài)條件命令聚合的創(chuàng)新控制框架。該框架的核心是一個(gè)由因果歷史編碼器與多頭交叉注意力命令編碼器組成的策略網(wǎng)絡(luò)，通過注意力機(jī)制使策略能夠依據(jù)當(dāng)前物理動(dòng)態(tài)，有選擇地聚合并解讀上下文中的參考命令。

■ 觀察與動(dòng)作空間

策略網(wǎng)絡(luò)的觀察輸入包含本體感覺（如機(jī)體坐標(biāo)系下的重力投影、角速度、關(guān)節(jié)位置/速度偏差）和來(lái)自參考運(yùn)動(dòng)的命令（如基座線/角速度、重力方向、關(guān)節(jié)位置目標(biāo)）。

策略網(wǎng)絡(luò)的輸出為殘差關(guān)節(jié)位置命令，該命令與參考關(guān)節(jié)位置相加后，通過PD控制器生成最終關(guān)節(jié)扭矩。這種殘差形式將探索錨定在參考姿態(tài)附近，提升了訓(xùn)練效率與跟蹤精度。

■ 策略架構(gòu)與訓(xùn)練

歷史編碼器：輕量化的因果Transformer，用于處理近期的本體感覺序列，并通過逐元素最大池化聚合并提取出表征當(dāng)前機(jī)器人動(dòng)態(tài)的嵌入特征。

■ 命令編碼器

將歷史編碼器輸出的動(dòng)態(tài)嵌入作為“查詢”，對(duì)上下文的參考命令窗口執(zhí)行多頭交叉注意力操作。這使得策略能夠根據(jù)當(dāng)前物理狀態(tài)的可行性，以自適應(yīng)的方式選擇出可靠的命令片段，并抑制存在的異常片段如噪聲、身體穿透或不一致接觸等。

得益于動(dòng)態(tài)條件命令聚合機(jī)制對(duì)噪聲和異常命令的過濾能力，3.5小時(shí)的精煉數(shù)據(jù)集足以訓(xùn)練出強(qiáng)大的策略網(wǎng)絡(luò)。該網(wǎng)絡(luò)不僅能在閉環(huán)執(zhí)行中保持穩(wěn)定，還能對(duì)全新的運(yùn)動(dòng)實(shí)現(xiàn)零樣本泛化。

性能評(píng)估

■ 基線對(duì)比

在基線對(duì)比實(shí)驗(yàn)中，“龍馭”小腦模型采用的框架與當(dāng)前的代表性框架Any2Track和GMT在相同數(shù)據(jù)集上進(jìn)行了比較。評(píng)估涵蓋三種運(yùn)動(dòng)源：基于LAFAN1和AMASS的動(dòng)捕數(shù)據(jù)、視頻衍生運(yùn)動(dòng)以及地面交互運(yùn)動(dòng)。

實(shí)驗(yàn)結(jié)果表明，在所有數(shù)據(jù)子集上，該框架均取得了最高的任務(wù)成功率與最低的平均關(guān)節(jié)位置誤差。其中在視頻衍生運(yùn)動(dòng)上的性能提升尤為顯著，這證明了框架對(duì)參考運(yùn)動(dòng)分布偏移具備強(qiáng)大的適應(yīng)能力。

■ 架構(gòu)消融

策略架構(gòu)消融實(shí)驗(yàn)驗(yàn)證了因果歷史編碼器與交叉注意力命令編碼器的關(guān)鍵作用。將因果歷史編碼器替換為CNN變體（Ours CNN HistEnc）會(huì)導(dǎo)致性能一致下降，而將交叉注意力命令編碼器改為自注意力變體（Ours SelfAttn CmdEnc）則引發(fā)更大幅度的性能劣化，特別是在視頻衍生與地面交互子集上。這凸顯了動(dòng)態(tài)條件交叉注意力機(jī)制在分布偏移和命令噪聲下的核心價(jià)值。

03.

框架特性

■ 高動(dòng)態(tài)運(yùn)動(dòng)泛化與跟蹤

實(shí)現(xiàn)高動(dòng)態(tài)運(yùn)動(dòng)的精準(zhǔn)、穩(wěn)定跟蹤，是人形機(jī)器人控制領(lǐng)域的一項(xiàng)核心挑戰(zhàn)。這類運(yùn)動(dòng)（如快速跑跳、武術(shù)踢打、Breaking舞蹈等）特點(diǎn)在于全身協(xié)調(diào)復(fù)雜、運(yùn)動(dòng)速度高，且伴隨著頻繁且劇烈的接觸狀態(tài)轉(zhuǎn)換。

傳統(tǒng)方法在此類場(chǎng)景下常面臨兩大難題：一是閉環(huán)執(zhí)行會(huì)放大參考動(dòng)作中局部的缺陷或噪聲，導(dǎo)致機(jī)器人狀態(tài)漂移甚至失穩(wěn)；二是針對(duì)單一動(dòng)作訓(xùn)練的策略泛化能力差，無(wú)法適應(yīng)多樣的、未經(jīng)事先訓(xùn)練的運(yùn)動(dòng)模式。

本框架通過核心方法中所提到的動(dòng)態(tài)條件命令聚合機(jī)制，為破解高動(dòng)態(tài)運(yùn)動(dòng)跟蹤難題提供了通用解決方案。其核心在于，策略并非同等地選擇并執(zhí)行每一幀參考命令，而是依據(jù)機(jī)器人的實(shí)時(shí)本體感知，有選擇地參考與聚合上下文中的命令信息。

這種“條件化篩選”能力，使得框架在面對(duì)高動(dòng)態(tài)、多接觸運(yùn)動(dòng)時(shí)，能顯著減少參考數(shù)據(jù)中噪聲和不一致性的影響，極大提升了閉環(huán)跟蹤的穩(wěn)定性。同時(shí)，正因?yàn)椴呗詫W(xué)會(huì)了依據(jù)物理可行性而非盲目跟隨參考信號(hào)，它獲得了強(qiáng)大的零樣本泛化能力——即使對(duì)于訓(xùn)練數(shù)據(jù)中從未出現(xiàn)過的運(yùn)動(dòng)風(fēng)格（如從網(wǎng)絡(luò)視頻中直接估計(jì)出的舞蹈動(dòng)作），也能基于其內(nèi)在的動(dòng)力學(xué)邏輯進(jìn)行穩(wěn)健復(fù)現(xiàn)。

■ 集成倒地恢復(fù)

為實(shí)現(xiàn)人形機(jī)器人的可靠部署，研究團(tuán)隊(duì)將自動(dòng)倒地恢復(fù)能力集成至全身控制框架。該機(jī)制通過隨機(jī)恢復(fù)初始訓(xùn)練環(huán)境與漸進(jìn)式輔助力設(shè)計(jì)，使單一策略能夠自主應(yīng)對(duì)失衡狀態(tài)，顯著提升系統(tǒng)在動(dòng)態(tài)接觸場(chǎng)景下的安全性與連續(xù)性。

在訓(xùn)練過程中，系統(tǒng)以15%的概率將并行環(huán)境設(shè)為恢復(fù)訓(xùn)練環(huán)境，并在這些環(huán)境中將機(jī)器人重置至隨機(jī)生成的不穩(wěn)定姿態(tài)。這種隨機(jī)初始化使策略能夠廣泛接觸復(fù)雜環(huán)境與接觸條件，同時(shí)通過反復(fù)的“跌倒-站起”循環(huán)自然積累豐富的地面接觸經(jīng)驗(yàn)，從而提升對(duì)復(fù)雜環(huán)境與過渡動(dòng)作的跟蹤精度與泛化能力。

為提高訓(xùn)練初期的探索效率，在恢復(fù)環(huán)境中施加幅度均勻采樣于[0, 200]范圍的向上牽引力，通過增加可恢復(fù)狀態(tài)的出現(xiàn)頻率加速策略學(xué)習(xí)。該輔助力隨訓(xùn)練進(jìn)程線性衰減至可忽略水平，確保最終策略僅依靠自身控制完成恢復(fù)動(dòng)作。

在狀態(tài)終止機(jī)制方面，系統(tǒng)設(shè)定了基座姿態(tài)過度偏移、高度不足及關(guān)鍵身體鏈路高度異常等判據(jù)。特別針對(duì)恢復(fù)環(huán)境設(shè)置了3秒恢復(fù)窗口，在此時(shí)間內(nèi)暫停因不穩(wěn)定觸發(fā)的提前終止，允許策略在同一回合內(nèi)完成站起與重穩(wěn)定過程。若超時(shí)未恢復(fù)則終止回合，避免不可恢復(fù)狀態(tài)下的無(wú)效訓(xùn)練，保障訓(xùn)練效率。

這一設(shè)計(jì)使機(jī)器人能夠在發(fā)生跟蹤失敗或受外部擾動(dòng)時(shí)，快速?gòu)牡沟貭顟B(tài)自主恢復(fù)至穩(wěn)定站立姿態(tài)，為長(zhǎng)期任務(wù)執(zhí)行提供了關(guān)鍵保障。

■ 多源輸入兼容性

本框架具備多源輸入的兼容性，能夠靈活處理從高精度動(dòng)捕到便捷遙操作等多種類型的參考命令，展現(xiàn)出泛化與抗干擾能力。其支持的輸入模態(tài)、技術(shù)特點(diǎn)與性能表現(xiàn)如下表所示：

綜上所述，該框架能夠適應(yīng)從離線高質(zhì)量數(shù)據(jù)到在線含噪聲輸入的多種信號(hào)源。無(wú)論是面對(duì)視頻估計(jì)的分布偏移、VR設(shè)備的傳感噪聲，還是運(yùn)動(dòng)合成產(chǎn)生的非連續(xù)命令，其動(dòng)態(tài)條件命令聚合機(jī)制都能有效過濾異常，確保穩(wěn)定、精確的跟蹤。這種能力使其能夠無(wú)縫對(duì)接從專業(yè)動(dòng)畫生成到便捷實(shí)時(shí)控制的各種上游系統(tǒng)，在實(shí)際部署中具有靈活性和魯棒性。

04.

實(shí)際應(yīng)用

■ 數(shù)據(jù)采集

框架支持VR設(shè)備與專業(yè)動(dòng)作捕捉服雙模式遙操作，這為采集多樣化、高質(zhì)量的機(jī)器人示范數(shù)據(jù)提供了靈活高效的解決方案。

VR設(shè)備：基于消費(fèi)級(jí)硬件（如PICO），該系統(tǒng)部署便捷、成本相對(duì)較低。操作員通過頭顯與手柄進(jìn)行直觀控制，能高效產(chǎn)生用于全身運(yùn)動(dòng)、交互任務(wù)的遙操作數(shù)據(jù)，適合快速構(gòu)建大規(guī)?；A(chǔ)運(yùn)動(dòng)庫(kù)。

動(dòng)作捕捉服：可提供更高精度、更專業(yè)的人體動(dòng)作數(shù)據(jù)。它能精準(zhǔn)捕捉操作員全身細(xì)微的運(yùn)動(dòng)姿態(tài)，適合采集高保真、高動(dòng)態(tài)的復(fù)雜技能數(shù)據(jù)（如武術(shù)、舞蹈），為訓(xùn)練高級(jí)別策略提供優(yōu)質(zhì)樣本。

這種雙模式設(shè)計(jì)使研究人員能根據(jù)數(shù)據(jù)精度、成本與場(chǎng)景需求，靈活選擇采集工具，高效構(gòu)建用于訓(xùn)練通用機(jī)器人策略的多模態(tài)數(shù)據(jù)集。

■ 集成全身VLA模型

該框架可作為底層運(yùn)動(dòng)模型，與上層的全身VLA模型集成，共同實(shí)現(xiàn)復(fù)雜的具身任務(wù)，如物流搬運(yùn)等。

在此協(xié)作架構(gòu)中：

全身VLA模型擔(dān)任“大腦”，負(fù)責(zé)解析“請(qǐng)將那個(gè)藍(lán)色箱子搬到門口”的自然語(yǔ)言指令，結(jié)合攝像頭視覺，理解任務(wù)目標(biāo)、識(shí)別物體位置，并規(guī)劃出需要執(zhí)行的高級(jí)動(dòng)作序列（如“走近箱子”、“蹲下”、“抓取”、“轉(zhuǎn)身”、“走向門口”、“放下”）。

本框架擔(dān)任“小腦”，接收VLA模型生成的抽象動(dòng)作軌跡（如目標(biāo)基座位移、末端執(zhí)行器位姿），并將其轉(zhuǎn)換為穩(wěn)定、魯棒、適應(yīng)實(shí)際物理環(huán)境的全身關(guān)節(jié)運(yùn)動(dòng)。在搬運(yùn)過程中，它能自主維持身體平衡，抵抗箱體重心變化帶來(lái)的擾動(dòng)，在遇到地面不平時(shí)調(diào)整步態(tài)，甚至能在意外滑倒時(shí)自主恢復(fù)并繼續(xù)任務(wù)。

未來(lái)的“機(jī)器人小腦”已上線，全身操控玩到爽！歡迎圍觀，攜手搞事情！來(lái)解鎖專屬你的機(jī)器人小腦和海量動(dòng)作數(shù)據(jù)！