ROBOT INDUSTRY

想象一下，一個(gè)AI小腦，既能指揮雙足機(jī)器人優(yōu)雅漫步，又能讓四足機(jī)器狗敏捷奔跑，還能操控雙輪足機(jī)器人進(jìn)行多地形移動(dòng)，甚至連復(fù)雜的人形機(jī)器人也能輕松駕馭。南方科技大學(xué)、圣母大學(xué)、浙江大學(xué)-UIUC聯(lián)合學(xué)院與逐際動(dòng)力的最新研究成果，把這個(gè)大家夢(mèng)寐以求的能力實(shí)現(xiàn)了。

你是否想過(guò)，為什么一個(gè)智能家居App就能同時(shí)控制家里所有燈光和家電，但教一個(gè)機(jī)器人學(xué)會(huì)走路卻要耗費(fèi)巨大的時(shí)間進(jìn)行訓(xùn)練？更別提讓一個(gè)AI程序去控制所有機(jī)器人了。

傳統(tǒng)上，每一種機(jī)器人，因?yàn)椤吧聿摹保ㄐ螒B(tài)）、“骨骼”（關(guān)節(jié)）和“運(yùn)動(dòng)方式”（動(dòng)力學(xué)）都不同，幾乎都需要一個(gè)“私人教練”—一個(gè)專(zhuān)門(mén)為它量身定制的AI模型（控制策略）。這不僅耗時(shí)耗力，也限制了機(jī)器人技術(shù)的泛化和快速發(fā)展。

而Multi-Loco打破了這一局限，是邁向“機(jī)器人通用AI”目標(biāo)的重要一步。

1

Multi-Loco：一腦多形，用同一個(gè)策略控制多種形態(tài)的機(jī)器人

在2025年9月公布的CoRL 2025論文收錄名單中，逐際動(dòng)力作為聯(lián)合科研團(tuán)隊(duì)再有成果入選。本次由南方科技大學(xué)、圣母大學(xué)、浙江大學(xué)-UIUC聯(lián)合學(xué)院與逐際動(dòng)力共同完成的研究《Multi-Loco：Unifying Multi-Embodiment Legged Locomotion via Reinforcement Learning Augmented Diffusion》（《基于強(qiáng)化學(xué)習(xí)的多形態(tài)足式機(jī)器人運(yùn)動(dòng)統(tǒng)一控制框架》），提出了Multi-Loco，一個(gè)基于強(qiáng)化學(xué)習(xí)的多形態(tài)足式機(jī)器人運(yùn)動(dòng)統(tǒng)一控制框架，是一次在跨形態(tài)足式機(jī)器人運(yùn)動(dòng)控制領(lǐng)域的前沿探索與重要突破。

收錄地址：https://www.corl.org/program

核心目標(biāo)就一句話(huà)：用同一個(gè)AI策略，控制多種形態(tài)迥異的足式機(jī)器人。

如圖1所示，下面有四款構(gòu)型、步態(tài)、運(yùn)動(dòng)模式完全不同的足式機(jī)器人，從最簡(jiǎn)構(gòu)型的雙點(diǎn)足機(jī)器人，到注重移動(dòng)效率的雙輪足機(jī)器人，再到更靈活、系統(tǒng)也更復(fù)雜的四足狗和全身運(yùn)動(dòng)控制難度更高的人形機(jī)器人，背后都是由同一個(gè)Multi-Loco策略在指揮。

圖1 Multi-Loco驅(qū)動(dòng)四種機(jī)器人（雙點(diǎn)足、雙輪足、四足、人形）

在草地、斜坡、樓梯等復(fù)雜地形上穩(wěn)定行走

Multi-Loco真正實(shí)現(xiàn)了“一腦多形”，展現(xiàn)了穩(wěn)定的魯棒性和泛化能力。

2

雙管齊下，讓策略兼具泛化性與適應(yīng)性

那么，這個(gè)“機(jī)器人通用小腦”是如何煉成的呢？Multi-Loco的核心突破在于一套組合拳：生成式擴(kuò)散模型(Diffusion Model)+殘差強(qiáng)化學(xué)習(xí) (Residual RL)。

圖1 Multi-Loco框架圖解。“運(yùn)動(dòng)分析師”（擴(kuò)散模型，Diffusion Model）離線(xiàn)提煉通用原理，“私人教練”（殘差策略，Residual Policy）在線(xiàn)實(shí)時(shí)微調(diào)

3

生成式擴(kuò)散模型：洞察全局的“運(yùn)動(dòng)分析師”

想象一位頂級(jí)的運(yùn)動(dòng)分析師，他的任務(wù)不是只研究一個(gè)運(yùn)動(dòng)員，而是同時(shí)分析籃球、足球、體操等多個(gè)不同項(xiàng)目的運(yùn)動(dòng)員。

面臨的挑戰(zhàn)：每一個(gè)項(xiàng)目的運(yùn)動(dòng)原理、動(dòng)作要領(lǐng)不同；每個(gè)運(yùn)動(dòng)員的身材和技術(shù)數(shù)據(jù)也不同。

解決方案：“分析師”使用一種標(biāo)準(zhǔn)化的數(shù)據(jù)對(duì)齊方式（Zero Padding）來(lái)處理信息維度的差異，再通過(guò)同一個(gè)生成式模型，從不同的運(yùn)動(dòng)員數(shù)據(jù)中，抽取不同運(yùn)動(dòng)的共性信息。

這并不僅僅是去模仿一個(gè)運(yùn)動(dòng)員，或是某個(gè)單一動(dòng)作，而是從所有這些不同的運(yùn)動(dòng)員和項(xiàng)目中，提煉出關(guān)于平衡、協(xié)調(diào)和力量控制的通用運(yùn)動(dòng)原理。這個(gè)擴(kuò)散模型就扮演著“運(yùn)動(dòng)分析師”的角色。它通過(guò)學(xué)習(xí)不同構(gòu)型機(jī)器人的運(yùn)動(dòng)數(shù)據(jù)，掌握了機(jī)器人在不同運(yùn)動(dòng)場(chǎng)景下的基礎(chǔ)規(guī)律，形成了一個(gè)強(qiáng)大的通用知識(shí)庫(kù)。

4

殘差強(qiáng)化學(xué)習(xí)：臨場(chǎng)指揮的“私人教練”

“運(yùn)動(dòng)分析師”提供的通用原理雖然非常重要，但針對(duì)不同的比賽和具體的運(yùn)動(dòng)員，還是需要有針對(duì)性的戰(zhàn)術(shù)調(diào)整，才能讓他們的表現(xiàn)更加出色。

這時(shí)，“私人教練”就上場(chǎng)了。在Multi-Loco中，它是一個(gè)輕量級(jí)的殘差強(qiáng)化學(xué)習(xí)（Residual RL）模塊。它的任務(wù)不是從頭教起，而是在“分析師”給出的通用策略基礎(chǔ)上，根據(jù)每一個(gè)機(jī)器人的實(shí)時(shí)狀態(tài)和運(yùn)動(dòng)場(chǎng)景，進(jìn)行精準(zhǔn)的“戰(zhàn)術(shù)修正”（即殘差）。

這個(gè)“私人教練”會(huì)根據(jù)機(jī)器人的實(shí)時(shí)表現(xiàn)，比如是否平穩(wěn)、有沒(méi)有跟上目標(biāo)速度等進(jìn)行獎(jiǎng)勵(lì)或懲罰，動(dòng)態(tài)優(yōu)化動(dòng)作細(xì)節(jié)。

“分析師”負(fù)責(zé)制定宏觀戰(zhàn)略，“私人教練”負(fù)責(zé)臨場(chǎng)戰(zhàn)術(shù)微調(diào)。兩者結(jié)合，讓Multi-Loco既有強(qiáng)大的泛化能力，又有精準(zhǔn)的適應(yīng)能力。

5

實(shí)踐驗(yàn)證：更快更穩(wěn)，還會(huì)自主領(lǐng)悟新技能

實(shí)驗(yàn)結(jié)果證明，Multi-Loco不僅可行，而且性能卓越。

圖3 策略性能對(duì)比圖。紫色代表的是使用Single-Robot Diffusion Policy(SR-DP)單一機(jī)器人數(shù)據(jù)訓(xùn)練的擴(kuò)散策略，以此為基準(zhǔn)，橙色使用的是Cross-Robot Diffusion Policy(CR-DP)多機(jī)器人數(shù)據(jù)訓(xùn)練的擴(kuò)散策略，藍(lán)色代表的是相應(yīng)機(jī)器人的專(zhuān)家強(qiáng)化學(xué)習(xí)策略（RL expert），綠色是我們的方法（CR-DP+RA），多機(jī)器人數(shù)據(jù)訓(xùn)練的擴(kuò)散策略+殘差強(qiáng)化學(xué)習(xí)微調(diào)。如圖所示，Multi-Loco在所有機(jī)器人上都表現(xiàn)更優(yōu)

對(duì)比傳統(tǒng)方法，即通過(guò)強(qiáng)化學(xué)習(xí)方法（PPO）對(duì)每個(gè)機(jī)器人單獨(dú)進(jìn)行訓(xùn)練的專(zhuān)家策略，Multi-Loco的平均性能提升了10.35%，在雙輪足機(jī)器人上的提升最大，達(dá)到了13.57%。

除了更快的訓(xùn)練效率和更高的部署穩(wěn)定性，在訓(xùn)練過(guò)程中，機(jī)器人還出現(xiàn)了“技能涌現(xiàn)”現(xiàn)象。

以雙輪足機(jī)器人為例，在使用專(zhuān)家強(qiáng)化學(xué)習(xí)策略進(jìn)行單獨(dú)訓(xùn)練時(shí)，它只學(xué)會(huì)了在平坦地形上的移動(dòng)，遇到臺(tái)階就束手無(wú)策。但通過(guò)Multi-Loco進(jìn)行訓(xùn)練，機(jī)器人僅靠觀摩其他雙足和人形機(jī)器人的訓(xùn)練數(shù)據(jù)，就無(wú)師自通地學(xué)會(huì)了“抬腿”這個(gè)新技能，從而實(shí)現(xiàn)了階梯障礙跨越。

圖4 原本只會(huì)平地移動(dòng)的雙輪足機(jī)器人，在通過(guò)Multi-Loco結(jié)合其他機(jī)器人的數(shù)據(jù)進(jìn)行訓(xùn)練（CR-DP）后，展現(xiàn)出了在各類(lèi)復(fù)雜地形的高通過(guò)率。而當(dāng)我們引入“私人教練”，即殘差強(qiáng)化學(xué)習(xí)（Residual Adaptation）稍加指點(diǎn)后，它在各類(lèi)復(fù)雜地形的表現(xiàn)（右圖綠線(xiàn)）不僅遠(yuǎn)優(yōu)于過(guò)去的自己（左圖黃線(xiàn)），更優(yōu)于強(qiáng)化學(xué)習(xí)單獨(dú)訓(xùn)練的策略（右圖藍(lán)線(xiàn)）

這證明了Multi-Loco在跨形態(tài)學(xué)習(xí)的巨大潛力—通過(guò)學(xué)習(xí)不同機(jī)器人的運(yùn)動(dòng)數(shù)據(jù)，機(jī)器人之間可以互相“啟發(fā)”，學(xué)到自己原本學(xué)不會(huì)的本領(lǐng)。

6

通往“機(jī)器人通用AI”的堅(jiān)實(shí)一步

Multi-Loco為解決跨形態(tài)機(jī)器人統(tǒng)一控制這一核心挑戰(zhàn)提供了一條全新的、高效的路徑，是逐際動(dòng)力聯(lián)合高校及科研機(jī)構(gòu)，在基于強(qiáng)化學(xué)習(xí)的小腦全身運(yùn)動(dòng)控制這一技術(shù)策略上的成功探索。它不僅展示了生成式模型與強(qiáng)化學(xué)習(xí)結(jié)合對(duì)機(jī)器人掌握通用移動(dòng)能力帶來(lái)的增益，也為具身智能“通用驅(qū)動(dòng)”提供了一條可行且高效的進(jìn)化路徑。

加速開(kāi)發(fā)：無(wú)需針對(duì)單一機(jī)器人形態(tài)重新開(kāi)發(fā)控制算法，提升訓(xùn)練和研發(fā)效率。

提升性能：跨形態(tài)學(xué)習(xí)也能解鎖新技能，讓機(jī)器人具備更強(qiáng)大的運(yùn)動(dòng)泛化潛力

邁向通用：一套運(yùn)動(dòng)控制基礎(chǔ)模型可復(fù)用于不同形態(tài)的機(jī)器人，是通往“一個(gè)AI驅(qū)動(dòng)所有設(shè)備”的通用人工智能的堅(jiān)實(shí)一步。

未來(lái)，逐際動(dòng)力將進(jìn)一步優(yōu)化Multi-Loco的能力，通過(guò)學(xué)習(xí)更多不同形態(tài)的機(jī)器人運(yùn)動(dòng)規(guī)律，提升算法泛化性和適應(yīng)性，乃至適配從未預(yù)先見(jiàn)過(guò)的新形態(tài)機(jī)器人。

我們期待，機(jī)器人像智能手機(jī)一樣，輕松“下載”新技能的時(shí)代早日到來(lái)！

本文作者：深圳逐際動(dòng)力科技有限公司

閱讀更多內(nèi)容，歡迎訂購(gòu)《機(jī)器人產(chǎn)業(yè)》雜志。

點(diǎn)擊跳轉(zhuǎn)！圈內(nèi)人都在看的專(zhuān)家觀點(diǎn)