一水 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

還得是大學(xué)生會(huì)玩啊（doge）！

網(wǎng)上正高速?zèng)_浪中，結(jié)果意外發(fā)現(xiàn)：有男大竟找了個(gè)機(jī)器人隊(duì)友？而且機(jī)器人還相當(dāng)黏人（bushi~

白天超市打工它要跟著，一看東西裝好就立馬樂(lè)顛顛幫忙拉小推車，上樓下樓忙個(gè)不停：

等到中午去食堂兼職，它也自告奮勇幫忙推餐車，而且指哪打哪（拍拍頭就知道你想讓它停下）：

甚至，一天勞作結(jié)束后，連健身它也要一起。既然來(lái)都來(lái)了，男大表示：那就練起來(lái)！

笑死，感覺(jué)可以以機(jī)器人視角去拍vlog了，標(biāo)題就叫《高能量之機(jī)器人的一天》。

言歸正傳，不知道大家發(fā)現(xiàn)沒(méi)有，圖中男大和機(jī)器人伙伴的交流都是通過(guò)拍拍頭、拉拉身體搞定的，既沒(méi)有遙控、也沒(méi)有語(yǔ)音

這就有點(diǎn)東西了！要知道目前絕大多數(shù)機(jī)器人都是靠外部傳感器（攝像頭、激光雷達(dá)等）和遙控驅(qū)動(dòng)的，而這群男大竟提出了一種全新的方式——僅通過(guò)“本體感知（Proprioception）”就能和外界交互。

好好好，搞半天人家這還是個(gè)技術(shù)含量很高的正經(jīng)研究，而且連論文都有。

速去扒了一扒，結(jié)果發(fā)現(xiàn)里面還真有不少好東西、新東西——

強(qiáng)化學(xué)習(xí)新方法：僅依賴本體感知搬運(yùn)各種物體

先說(shuō)說(shuō)他們想解決什么問(wèn)題吧。

在“人機(jī)協(xié)作搬東西”這一核心場(chǎng)景中，相關(guān)技術(shù)已在機(jī)械臂上驗(yàn)證充分，但在人形機(jī)器人領(lǐng)域仍探索不足。

這主要是因?yàn)槿诵螜C(jī)器人復(fù)雜的“全身動(dòng)力學(xué)” ——相比機(jī)械臂僅需控制局部關(guān)節(jié)，人形機(jī)器人需要協(xié)調(diào)軀干、四肢等多個(gè)部位，且運(yùn)動(dòng)過(guò)程極易受自身平衡、環(huán)境接觸等多因素影響。

于是，他們?cè)O(shè)定了一個(gè)大膽的目標(biāo)：實(shí)現(xiàn)人形機(jī)器人與人類完美協(xié)作搬運(yùn)各種東西

為此，他們?cè)谡撐闹刑岢隽艘环N全新的強(qiáng)化學(xué)習(xí)方法COLA——不依賴攝像頭、激光雷達(dá)等外部傳感器，機(jī)器人僅通過(guò)“本體感知（Proprioception）”就能和外界進(jìn)行交互

具體而言，COLA的設(shè)計(jì)思路可以拆解為以下3點(diǎn)：

讓機(jī)器人學(xué)會(huì)“眼里有活兒”

第一點(diǎn)就是教會(huì)機(jī)器人如何“眼里有活”。

想象你正在和機(jī)器人一起搬柜子。傳統(tǒng)機(jī)器人往往比較呆板——需要分別設(shè)計(jì)“機(jī)器人主導(dǎo)（領(lǐng)導(dǎo)者）” 和“人類主導(dǎo)（跟隨者）” 兩種獨(dú)立策略，切換時(shí)容易卡頓。

而COLA將這兩種情況整合到一個(gè)統(tǒng)一策略中：

• 當(dāng)你發(fā)力穩(wěn)定、方向明確時(shí)，機(jī)器人就化身“跟隨者”，配合你的動(dòng)作。
• 當(dāng)你猶豫或柜子有傾斜風(fēng)險(xiǎn)時(shí)，它會(huì)立刻切換成“主導(dǎo)者”，主動(dòng)調(diào)整動(dòng)作穩(wěn)住平衡。

無(wú)需任何人工干預(yù)或額外指令，機(jī)器人自己就能實(shí)現(xiàn)兩種角色的絲滑切換。

不信你瞅，它現(xiàn)在搬東西上斜坡也不在話下：

在動(dòng)態(tài)實(shí)戰(zhàn)中訓(xùn)練

此外，為了讓COLA能應(yīng)對(duì)真實(shí)世界的混亂，它的訓(xùn)練場(chǎng)是一個(gè)高度動(dòng)態(tài)的閉環(huán)環(huán)境

一方面，為避免模型僅在固定軌跡搬運(yùn)中有效，他們?cè)谟?xùn)練時(shí)模擬了各種突發(fā)狀況，例如人類突然轉(zhuǎn)向、物體重量分布變化、手部打滑……主打一個(gè)實(shí)戰(zhàn)演練。

另一方面，訓(xùn)練過(guò)程中會(huì)逐漸形成一個(gè)閉環(huán)——機(jī)器人的動(dòng)作會(huì)實(shí)時(shí)反饋給環(huán)境（如物體位置變化），環(huán)境變化又反過(guò)來(lái)影響機(jī)器人的決策（如物體傾斜后機(jī)器人需調(diào)整力度），形成“決策-反饋-再?zèng)Q策”的循環(huán)，就像真實(shí)搬運(yùn)中持續(xù)的“你拉我推”。

點(diǎn)擊就看人機(jī)反復(fù)推拉之術(shù)（手動(dòng)狗頭）：

僅依賴 “本體感知”，無(wú)需外部傳感器

“崗前培訓(xùn)”結(jié)束后，接下來(lái)真進(jìn)入實(shí)戰(zhàn)環(huán)節(jié)了。

前面也反復(fù)提到，COLA的關(guān)鍵優(yōu)勢(shì)之一是“不依賴外部傳感器”，僅通過(guò)機(jī)器人的“本體感知”就能接收獲取信息。

所謂“本體感受”是指機(jī)器人自身的內(nèi)置感知數(shù)據(jù)，比如關(guān)節(jié)角度、肌肉執(zhí)行器的力度反饋、自身的位置/速度信息等。采用這種設(shè)計(jì)，機(jī)器人這下不僅能免受外部環(huán)境干擾（如光線昏暗影響攝像頭），而且交互方式也大變樣了。

很直觀的一點(diǎn)就是，一直以來(lái)廣受吐槽的遙控這下真沒(méi)了。

搬箱子一人一機(jī)就能搞定：

之所以能拋棄傳感器，這主要得益于關(guān)鍵兩步：

• 殘差教師微調(diào)：先讓機(jī)器人學(xué)會(huì)穩(wěn)定的運(yùn)動(dòng)策略，然后引入一個(gè)殘差教師模型，專門學(xué)習(xí)在搬運(yùn)協(xié)作中需要做出的額外調(diào)整（如何打配合），最終將兩者結(jié)合微調(diào)出一個(gè)完整的協(xié)作策略；
• 仿真訓(xùn)練與知識(shí)蒸餾：上述過(guò)程全部在仿真環(huán)境中完成，可以快速、安全地模擬數(shù)百萬(wàn)次訓(xùn)練。訓(xùn)練出強(qiáng)大的“教師”后，再通過(guò)知識(shí)蒸餾技術(shù)，將其能力遷移到一個(gè)更輕便、更適合在實(shí)體機(jī)器人上運(yùn)行的“學(xué)生策略”中。

正是這個(gè)精巧的設(shè)計(jì)，讓它徹底告別了傳感器。 因?yàn)樵谡麄€(gè)過(guò)程中，無(wú)論是基礎(chǔ)的運(yùn)動(dòng)能力，還是高級(jí)的協(xié)作技巧，模型學(xué)習(xí)和決策的全部依據(jù)，都來(lái)自于機(jī)器人的本體感知數(shù)據(jù)。

而且值得一提的是，這種設(shè)計(jì)也降低了硬件成本和系統(tǒng)復(fù)雜度，畢竟現(xiàn)在無(wú)需耗費(fèi)時(shí)間金錢在外部傳感器的采購(gòu)和軟硬件集成上了。

整體而言，COLA的終極目標(biāo)不是去“猜”人類具體在想什么，而是通過(guò)本體感知數(shù)據(jù)“隱式預(yù)測(cè)（Implicitly Predict）”兩個(gè)關(guān)鍵信息：

• 物體的運(yùn)動(dòng)趨勢(shì)（會(huì)不會(huì)翻？要往哪倒？）
• 人類的協(xié)作意圖（他想轉(zhuǎn)彎嗎？需要我多出力嗎？）

最終，以“維持負(fù)載平衡”為核心指標(biāo)，整個(gè)過(guò)程通過(guò)協(xié)調(diào)的軌跡規(guī)劃來(lái)實(shí)現(xiàn)安全、順滑的人機(jī)協(xié)作。

仿真/真實(shí)世界/人類用戶實(shí)驗(yàn)，均驗(yàn)證了COLA的有效性

更多實(shí)驗(yàn)也驗(yàn)證了COLA設(shè)計(jì)的有效性。

在仿真實(shí)驗(yàn)中，通過(guò)可控虛擬環(huán)境，他們想精確測(cè)量COLA對(duì)人類effort（指用力大小、肌肉疲勞度）和物體穩(wěn)定性的影響。

結(jié)果發(fā)現(xiàn)，不管是運(yùn)動(dòng)的精準(zhǔn)度（線速度、角速度、高度誤差），還是減輕人類搬運(yùn)時(shí)的負(fù)擔(dān)（平均外力），COLA系列都比之前的顯式目標(biāo)估計(jì)、Transformer方法強(qiáng)很多。

而且其中以“領(lǐng)導(dǎo)者”思路設(shè)計(jì)的COLA-L比“跟隨者”COLA-F表現(xiàn)更突出，能更好地幫人類分擔(dān)負(fù)載、保持穩(wěn)定。

在真實(shí)世界中，面向不同類型物體（如規(guī)則形狀的箱子、柔性物體擔(dān)架等）和不同運(yùn)動(dòng)模式（如直線走、轉(zhuǎn)彎等），他們還測(cè)試了COLA的泛化性。

結(jié)果發(fā)現(xiàn)，COLA在所有測(cè)試場(chǎng)景中均實(shí)現(xiàn)了“穩(wěn)健的協(xié)作搬運(yùn)”，相關(guān)定量結(jié)果如下：

除此之外，他們還找來(lái)了23名人類參與者，讓他們分別體驗(yàn)與“COLA控制的機(jī)器人”和“其他基線方法控制的機(jī)器人”進(jìn)行協(xié)作，然后通過(guò)問(wèn)卷和動(dòng)作傳感器來(lái)收集主客觀感受。

結(jié)果顯示，COLA方法在參與者的評(píng)估中表現(xiàn)最好，無(wú)論是在高度跟蹤還是平滑性方面都拿到了最高分。

“人機(jī)協(xié)作新范式”中國(guó)團(tuán)隊(duì)造

最后再來(lái)看看COLA背后的團(tuán)隊(duì)，成員清一色來(lái)自國(guó)內(nèi)。

三位同等貢獻(xiàn)作者均來(lái)自北京通用人工智能研究院：

Yushi Du，目前是香港大學(xué)電機(jī)及電子工程系剛?cè)雽W(xué)新生，由于個(gè)人相對(duì)低調(diào)所以網(wǎng)上資料很少。

Yixuan Li，北京理工大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院博士生。

從已發(fā)表的論文來(lái)看，他對(duì)人形機(jī)器人、3D場(chǎng)景理解與導(dǎo)航、以及人機(jī)協(xié)作等領(lǐng)域感興趣。

Baoxiong Jia（兼通訊作者），北京通用人工智能研究院研究科學(xué)家。

本科畢業(yè)于北京大學(xué)，后獲得加州大學(xué)洛杉磯分校碩博學(xué)位，對(duì)計(jì)算機(jī)視覺(jué)、AI和認(rèn)知科學(xué)的交叉領(lǐng)域尤為感興趣。

光是今年他就有多篇論文入選頂會(huì)，最新一篇關(guān)于統(tǒng)一力與位置控制的新論文就被CoRL 2025接收，并獲得口頭報(bào)告的機(jī)會(huì)（Oral）。

其他通訊作者分別為Wei Liang、Yanchao Yang和Siyuan Huang。

Wei Liang（梁瑋），北理計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院教授，負(fù)責(zé)領(lǐng)導(dǎo)感知、交互與具身化實(shí)驗(yàn)室（PIE Lab）。

她于2005年獲得北理計(jì)算機(jī)科學(xué)博士學(xué)位，對(duì)計(jì)算機(jī)視覺(jué)、用于培訓(xùn)和教育的虛擬現(xiàn)實(shí)（VR）以及認(rèn)知科學(xué)感興趣。

前面提到的Yixuan Li大概率是她的學(xué)生，因?yàn)槎硕啻魏习l(fā)論文。

Yanchao Yang，香港大學(xué)助理教授，由電氣與計(jì)算機(jī)工程系和數(shù)據(jù)科學(xué)研究所聯(lián)合聘任。

本科畢業(yè)于中國(guó)科學(xué)技術(shù)大學(xué)，后獲得沙特阿卜杜拉國(guó)王科技大學(xué)碩士學(xué)位，隨后輾轉(zhuǎn)至加州大學(xué)洛杉磯分校讀博，并且曾在斯坦福大學(xué)做博士后研究。

他對(duì)具身智能感興趣，致力于開(kāi)發(fā)適用于低標(biāo)注場(chǎng)景的自監(jiān)督/半監(jiān)督學(xué)習(xí)技術(shù)，以推動(dòng)具身智能體的自主進(jìn)化。

Siyuan Huang，北京通用人工智能研究院研究員，并擔(dān)任該研究院具身人工智能與機(jī)器人研究中心主任。

本科畢業(yè)于清華大學(xué)自動(dòng)化系，曾獲得加州大學(xué)洛杉磯分校統(tǒng)計(jì)學(xué)博士學(xué)位，在讀博期間還去了DeepMind和 Facebook Reality Lab實(shí)習(xí)。

目前他還在北京大學(xué)任教，對(duì)計(jì)算機(jī)視覺(jué)、機(jī)器學(xué)習(xí)等感興趣，致力于開(kāi)發(fā)通用機(jī)器人的泛化模型。

其余兩位作者分別為Yutang Lin和Pei Zhou。

Yutang Lin，目前是北京大學(xué)元培學(xué)院大三學(xué)生，同時(shí)在北京通用人工智能研究院實(shí)習(xí)。

其研究興趣集中在機(jī)器人技術(shù)、 計(jì)算機(jī)視覺(jué)和強(qiáng)化學(xué)習(xí)的交叉領(lǐng)域。

Pei Zhou，目前是香港大學(xué)電機(jī)及電子工程系博士生。和另一位同校同專業(yè)的朋友一樣，網(wǎng)上資料也相對(duì)較少。

對(duì)于這項(xiàng)新研究，由于拋棄了目前常見(jiàn)的一些人機(jī)交互方式，人們預(yù)測(cè)它可能帶來(lái)新的范式轉(zhuǎn)變。

你看呢？

論文：
https://www.arxiv.org/abs/2510.14293
項(xiàng)目主頁(yè)：
https://yushi-du.github.io/COLA/

https://x.com/siyuanhuang95/status/1980517755163185642