人形機(jī)器人走向?qū)嵱茫铍y的從來(lái)不是 “能走”，而是走得穩(wěn)、學(xué)得快、能從仿真順利落地現(xiàn)實(shí)。豐田未來(lái)創(chuàng)生中心，正用一套全新的強(qiáng)化學(xué)習(xí) + Sim2Real 路線，讓旗下 CUE 籃球機(jī)器人實(shí)現(xiàn)行走、站立乃至運(yùn)球。盡管CUE目前還不具備行走能力，但通過(guò)這套技術(shù)路線，有望把雙足控制與動(dòng)態(tài)交互能力推到新高度。

左側(cè)：森田光典。右側(cè)：伊藤貴弘

近日，豐田官方采訪了 R-Frontier 部門的伊藤貴弘、森田光典兩位研發(fā)人員，披露了CUE人形機(jī)器人的最新進(jìn)展。

伊藤貴弘現(xiàn)任豐田 R-Frontier 人形機(jī)器人團(tuán)隊(duì)運(yùn)動(dòng)控制 / 全身動(dòng)力學(xué)核心工程師、研究員，主攻雙足行走穩(wěn)定、力矩控制與 MPC 模型預(yù)測(cè)控制，參與 T-HR3 及下一代人形平臺(tái)研發(fā)。加入豐田僅一年多，便成為運(yùn)動(dòng)控制方向核心研究者。

森田光典同為該團(tuán)隊(duì)研究員，主攻機(jī)器人學(xué)習(xí)、行為生成與模仿學(xué)習(xí)，擅長(zhǎng)從人類示范和大規(guī)模數(shù)據(jù)中學(xué)習(xí)通用操作技能，聚焦人形機(jī)器人手眼協(xié)調(diào)與靈巧操作。

01.

強(qiáng)化學(xué)習(xí)+Sim2Real：豐田機(jī)器人的動(dòng)作訓(xùn)練底層邏輯

伊藤貴弘認(rèn)為，人形機(jī)器人要自主掌握復(fù)雜動(dòng)作，強(qiáng)化學(xué)習(xí)是當(dāng)下最有效的路徑。

它和監(jiān)督學(xué)習(xí)不同，不需要大量標(biāo)注好的完美軌跡，本質(zhì)是讓 AI 在環(huán)境里不斷試錯(cuò)，根據(jù)獎(jiǎng)勵(lì)機(jī)制調(diào)整行為，最終收斂到最優(yōu)策略。

實(shí)驗(yàn)中使用的測(cè)試機(jī)的模擬環(huán)境（左圖）用于虛擬仿真訓(xùn)練。使用實(shí)際設(shè)備（右圖）進(jìn)行評(píng)估。

而讓這套方案真正具備工程價(jià)值的，是 Sim2Real（仿真到現(xiàn)實(shí)）。先在虛擬環(huán)境里讓機(jī)器人跑完海量場(chǎng)景與極端工況，再把訓(xùn)練好的模型遷移到實(shí)體機(jī)器人上。這能大幅減少真機(jī)損耗、縮短訓(xùn)練周期，也是目前全球人形機(jī)器人落地的主流技術(shù)路線。

豐田的思路和國(guó)內(nèi)頭部人形機(jī)器人企業(yè)基本一致：用仿真補(bǔ)足數(shù)據(jù)不足，再靠產(chǎn)品迭代解決仿真偏差問(wèn)題。

02.

走路這件事：仿真1-2小時(shí)學(xué)會(huì)，真機(jī)磨了無(wú)數(shù)輪

行走是人形機(jī)器人的基本功，卻是工程上的老大難。豐田團(tuán)隊(duì)把強(qiáng)化學(xué)習(xí)完整嵌入行走控制。

他們?cè)诜抡胬镌O(shè)置了很簡(jiǎn)單的獎(jiǎng)勵(lì)規(guī)則：朝著目標(biāo)速度走就加分，滑倒、失衡就扣分。為了加快訓(xùn)練，團(tuán)隊(duì)直接在仿真中并行跑上千個(gè)機(jī)器人實(shí)例，同步學(xué)習(xí)、同步迭代。

測(cè)試結(jié)果顯示，只用 1–2 小時(shí)，虛擬機(jī)器人就學(xué)會(huì)了前進(jìn)、后退、轉(zhuǎn)彎，能維持基本平衡。

但模型一搬到真機(jī)上，問(wèn)題就立刻暴露出來(lái)。

森田光典坦言，仿真和現(xiàn)實(shí)之間存在一道很難跨越的鴻溝：同樣的控制指令，虛擬里流暢自然，真機(jī)上卻會(huì)抖動(dòng)、拖腳，甚至突然失穩(wěn)。這也是行業(yè)普遍頭疼的 “仿真-現(xiàn)實(shí)差距”。

為了填平差距，豐田研究團(tuán)隊(duì)同時(shí)用了兩套技術(shù)方案。

Real2Sim：優(yōu)化模擬器的執(zhí)行器模型，使其與真實(shí)世界數(shù)據(jù)相匹配。

第一套是域隨機(jī)化：人為給編碼器、IMU 等傳感器加噪聲，隨機(jī)改變地面摩擦力，讓機(jī)器人在 “不完美環(huán)境” 里訓(xùn)練，提升策略魯棒性。

第二套更硬核：Real2Sim 實(shí)物反哺仿真。用真機(jī)關(guān)節(jié)電機(jī)的實(shí)際運(yùn)行數(shù)據(jù)，反向校準(zhǔn)仿真模型。靜摩擦、動(dòng)摩擦、粘性摩擦、轉(zhuǎn)動(dòng)慣量，全都通過(guò)黑箱優(yōu)化一一匹配，讓虛擬執(zhí)行器的行為無(wú)限貼近真實(shí)硬件。

即便這樣，真機(jī)驗(yàn)證仍是漫長(zhǎng)的循環(huán)。

每訓(xùn)一個(gè)新模型，都必須上真機(jī)測(cè)試。走不穩(wěn)，就分析問(wèn)題、改獎(jiǎng)勵(lì)、重訓(xùn)，再放回真機(jī)驗(yàn)證。一圈圈迭代下來(lái)，原型機(jī)才真正實(shí)現(xiàn)穩(wěn)定行走，甚至被推動(dòng)時(shí)也能穩(wěn)住姿態(tài)不摔倒。

03.

比走路更難的運(yùn)球：時(shí)機(jī)轉(zhuǎn)瞬即逝，獎(jiǎng)勵(lì)根本沒(méi)法手工調(diào)

如果說(shuō)行走只是控制機(jī)器人自身，運(yùn)球還要同時(shí)兼顧動(dòng)態(tài)球體，難度直接上了一個(gè)臺(tái)階。

研發(fā)這項(xiàng)技術(shù)，主要是為豐田的 AI 籃球機(jī)器人 CUE 做鋪墊。CUE 最早由豐田工程師志愿者發(fā)起，后來(lái)歸入 R?Frontier 部門，是一款專用投籃機(jī)器人，主打高精度投射技術(shù)驗(yàn)證，并非通用服務(wù)型機(jī)器人。它和 T?HR3 及下一代人形平臺(tái)共用底層運(yùn)動(dòng)控制技術(shù)，但定位不同。項(xiàng)目始于 2017 年，靈感來(lái)自《灌籃高手》，現(xiàn)已迭代到 CUE6。

CUE 身高約 2.08 米，依靠全身動(dòng)力學(xué)、力矩控制、MPC 模型預(yù)測(cè)控制和 AI 視覺(jué)感知，實(shí)現(xiàn)籃筐定位、彈道計(jì)算與實(shí)時(shí)姿態(tài)修正，能完成罰球、三分甚至超遠(yuǎn)投籃。憑借穩(wěn)定的閉環(huán)控制，CUE 已拿下兩項(xiàng)吉尼斯紀(jì)錄：連續(xù)罰球 2020 次命中、24.55 米超遠(yuǎn)投籃命中。

伊藤貴弘說(shuō)，運(yùn)球和行走的控制邏輯完全不一樣。行走時(shí)雙腳支撐的時(shí)機(jī)相對(duì)寬松，可運(yùn)球時(shí)觸球只有一瞬間，時(shí)機(jī)稍差就失敗。球一直在動(dòng)，不會(huì)等機(jī)器人，對(duì)感知、預(yù)判和控制精度要求極高。

團(tuán)隊(duì)最先卡在獎(jiǎng)勵(lì)函數(shù)設(shè)計(jì)上。森田光典表示，行走的獎(jiǎng)勵(lì)機(jī)制有很多成熟參考，很好定義；但運(yùn)球要控制球速、方向、持續(xù)接觸，手工設(shè)計(jì)獎(jiǎng)勵(lì)不僅費(fèi)勁，還容易讓動(dòng)作僵硬不自然。人工反復(fù)調(diào)參，效率低、容錯(cuò)也差。

他們最終放棄手工設(shè)計(jì)獎(jiǎng)勵(lì)，改用模仿人類運(yùn)動(dòng)的思路。團(tuán)隊(duì)用動(dòng)作捕捉記錄人類自然運(yùn)球的全過(guò)程，把關(guān)節(jié)角度、運(yùn)動(dòng)速度等數(shù)據(jù)映射到機(jī)器人的骨骼結(jié)構(gòu)和運(yùn)動(dòng)范圍，以人類動(dòng)作為參考目標(biāo)。機(jī)器人動(dòng)作越接近，獎(jiǎng)勵(lì)越高。

這種方式不用設(shè)計(jì)復(fù)雜指標(biāo)，還能直接從人體數(shù)據(jù)里拿到精準(zhǔn)觸球時(shí)機(jī)，讓機(jī)器人在正確時(shí)間擊球。最終訓(xùn)練出的運(yùn)球動(dòng)作流暢、接近人類，還能在真機(jī)上穩(wěn)定復(fù)現(xiàn)。

04.

Sim2Real 運(yùn)球再遇坎：視覺(jué)識(shí)別誤差險(xiǎn)些毀掉全部訓(xùn)練

運(yùn)球環(huán)節(jié)，仿真到現(xiàn)實(shí)的遷移又遇到了新問(wèn)題。

在仿真里，系統(tǒng)能直接拿到球的精準(zhǔn)位置和速度；但現(xiàn)實(shí)中，機(jī)器人只能靠頭部攝像頭加識(shí)別算法去估算。誤差、延遲都會(huì)嚴(yán)重影響動(dòng)作，導(dǎo)致仿真里完美的策略，一上真機(jī)就失靈。

團(tuán)隊(duì)沒(méi)有死磕算法優(yōu)化，而是選擇把現(xiàn)實(shí)誤差直接搬進(jìn)仿真。

他們用動(dòng)作捕捉測(cè)出真實(shí)環(huán)境里視覺(jué)識(shí)別的誤差和延遲，把這些特性寫進(jìn)仿真的觀測(cè)模型，讓虛擬訓(xùn)練環(huán)境和現(xiàn)實(shí)保持一致。這一調(diào)整后，運(yùn)球動(dòng)作終于成功從仿真遷移到真機(jī)。

05.

未來(lái)規(guī)劃：先落地 CUE，再打造通用機(jī)器人框架

對(duì)于后續(xù)計(jì)劃，伊藤貴弘表示，近期目標(biāo)就是把行走和運(yùn)球能力遷移到 CUE 籃球機(jī)器人上。先把整套學(xué)習(xí)框架部署到 CUE，實(shí)現(xiàn)穩(wěn)定運(yùn)球，再逐步提升動(dòng)作的流暢度與觀賞性，接近人類籃球運(yùn)動(dòng)員的表現(xiàn)。

森田光典則看得更遠(yuǎn)并表示：團(tuán)隊(duì)會(huì)聚焦通用人形機(jī)器人控制框架，不只依賴強(qiáng)化學(xué)習(xí)，而是融合多種技術(shù)，打造能像人一樣應(yīng)對(duì)多樣任務(wù)、適應(yīng)復(fù)雜環(huán)境的通用平臺(tái)。