近，浙江大學(xué)公布了“基于人類動(dòng)作預(yù)測模型的多指靈巧手操作強(qiáng)化學(xué)習(xí)方法”的新專利，屬于人形機(jī)器人靈巧手具身操作領(lǐng)域。

來源：章國鋒.基于人類動(dòng)作預(yù)測模型的多指靈巧手操作強(qiáng)化學(xué)習(xí)方法

隨著具身智能技術(shù)的快速發(fā)展，如何以數(shù)據(jù)驅(qū)動(dòng)方式賦予人形機(jī)器人通用操作技能，已成為當(dāng)前機(jī)器人領(lǐng)域的研究熱點(diǎn)。其中，多指靈巧手憑借仿人化結(jié)構(gòu)設(shè)計(jì)，可在多種復(fù)雜場景下完成精細(xì)操作，實(shí)現(xiàn)擬人化的多指靈巧操控，是邁向通用人形機(jī)器人的關(guān)鍵環(huán)節(jié)。

在數(shù)據(jù)驅(qū)動(dòng)的多指靈巧手操作學(xué)習(xí)領(lǐng)域，現(xiàn)有方法主要分為三類。

第一類為傳統(tǒng)強(qiáng)化學(xué)習(xí)方法，該類方法依靠獎(jiǎng)勵(lì)函數(shù)驅(qū)動(dòng)智能體進(jìn)行大量探索，通常需要針對不同任務(wù)重新設(shè)計(jì)獎(jiǎng)勵(lì)函數(shù)。

第二類方法直接利用數(shù)據(jù)集中的人手軌跡，通過重映射生成靈巧手的專家軌跡，再借助模仿學(xué)習(xí)復(fù)現(xiàn)對應(yīng)的操作行為。

第三類方法基于神經(jīng)網(wǎng)絡(luò)，根據(jù)預(yù)先硬編碼的物體軌跡預(yù)測靈巧手的未來運(yùn)動(dòng)軌跡，并結(jié)合殘差強(qiáng)化學(xué)習(xí)對底層控制進(jìn)行優(yōu)化。

當(dāng)前主流方法均有一些短板。第一類方法受限于靈巧手遠(yuǎn)超平行夾爪的空間自由度和復(fù)雜度，訓(xùn)練時(shí)探索空間過大，導(dǎo)致收斂速度慢、成功率不穩(wěn)定；同時(shí)，靈巧手與物體的非線性交互特性，需人工針對不同場景設(shè)計(jì)獎(jiǎng)勵(lì)函數(shù)，難以實(shí)現(xiàn)通用化。第二類方法過度依賴人類數(shù)據(jù)記憶，泛化能力薄弱，無法應(yīng)對全新物體和位姿，且忽視了對被操作物體的感知與理解。第三類方法需預(yù)先掌握物體完整軌跡，不僅增加了開放世界部署成本，還對物體初始位姿要求極高，難以處理位姿偏離訓(xùn)練數(shù)據(jù)的情況。

綜上，現(xiàn)有方法多單純模仿人手行為，忽視物體感知理解及人手-物體交互的整體建模，導(dǎo)致其在不同物體、位姿和任務(wù)下泛化性能不佳。因此，引入物體感知理解、實(shí)現(xiàn)人手-物體交互過程整體預(yù)測，成為亟待解決的核心技術(shù)難題。

針對這一痛點(diǎn)，浙大團(tuán)隊(duì)提出了一套高效解決方案。團(tuán)隊(duì)利用標(biāo)注了人手與物體三維位姿的數(shù)據(jù)，訓(xùn)練人類動(dòng)作預(yù)測模型，實(shí)現(xiàn)了人手與物體交互三維軌跡的泛化生成?；谠擃A(yù)測軌跡，團(tuán)隊(duì)構(gòu)建通用獎(jiǎng)勵(lì)函數(shù)，應(yīng)用于仿真環(huán)境中靈巧手強(qiáng)化學(xué)習(xí)策略的訓(xùn)練。隨后，通過仿真參數(shù)域隨機(jī)化與課程學(xué)習(xí)，有效提升策略從仿真到現(xiàn)實(shí)的遷移性能，最終將訓(xùn)練成熟的強(qiáng)化學(xué)習(xí)策略成功部署至真實(shí)機(jī)器人系統(tǒng)，為靈巧手的實(shí)用化應(yīng)用提供了可行路徑。

此專利通過引入對被操作物體的未來姿態(tài)的理解，將人手和物體的交互過程作為一個(gè)整體來預(yù)測，并基于此構(gòu)建統(tǒng)一、簡潔、高效的獎(jiǎng)勵(lì)函數(shù)，適用于不同的操作任務(wù)、不同類型的靈巧手，具有泛化性強(qiáng)、成功率高、獎(jiǎng)勵(lì)函數(shù)通用性強(qiáng)等優(yōu)點(diǎn)。

來源：章國鋒.基于人類動(dòng)作預(yù)測模型的多指靈巧手操作強(qiáng)化學(xué)習(xí)方法