由Meta FAIR開發(fā)的OSMO手套通過在人類演示過程中捕捉豐富的觸覺反饋，這一用例的實(shí)現(xiàn)標(biāo)志著人類到機(jī)器人技能轉(zhuǎn)移的突破。

挑戰(zhàn)

大多數(shù)在演示管道中學(xué)習(xí)的機(jī)器人嚴(yán)重依賴于基于視覺的手部跟蹤。當(dāng)指尖被物體、工具或表面遮擋時(shí)，這些方法在真實(shí)世界操作中就會失效。同時(shí)，視覺無法推斷壓力、剪切力或抓握穩(wěn)定性等接觸力。因此在沒有觸覺信息的情況下訓(xùn)練的策略經(jīng)常會因不一致的壓力應(yīng)用、滑動或在執(zhí)行期間失去接觸而失敗。

解決辦法

OSMO觸覺手套在指尖和手掌上集成了12個(gè)三軸磁性觸覺傳感器，以捕捉法向力和剪切力。為了防止接觸期間視覺遮擋頻繁發(fā)生的手部跟蹤退化，其選用了MANUS Metagloves與OSMO系統(tǒng)集成。

MANUS Metagloves 手套可提供不依賴于攝像機(jī)可視性的直接手指關(guān)節(jié)感測，提供干凈的關(guān)節(jié)水平運(yùn)動學(xué)而不會限制人類雙手的自然靈巧性，并且可在不干擾OSMO磁性觸覺傳感器的感測頻率下操作。這種組合確保了在遮擋情況下連續(xù)和準(zhǔn)確的手姿態(tài)跟蹤，實(shí)現(xiàn)了手部運(yùn)動和觸覺力之間的可靠對準(zhǔn)，并使得觸覺驅(qū)動的人到機(jī)器人的技能轉(zhuǎn)移更加實(shí)用和穩(wěn)定。

結(jié)果

MANUS和OSMO系統(tǒng)在使用帶有靈巧機(jī)械手的Franka機(jī)械臂的接觸豐富的擦拭任務(wù)上進(jìn)行評估。機(jī)器人使用MANUS手套和OSMO觸覺反饋捕獲的人類演示上進(jìn)行訓(xùn)練，而無需使用人機(jī)交互數(shù)據(jù)。

利用MANUS手部跟蹤和觸覺感知的策略O(shè)SMO實(shí)現(xiàn)了72%的成功率，相比之下，只使用視覺和本體感知的成功基線只有56%。觸覺感知策略消除了與接觸相關(guān)的故障模式，如壓力不足、施力不均勻和抓地力喪失。其余的失敗主要是由于任務(wù)覆蓋不完整，而不是因?yàn)榻佑|執(zhí)行沖突，這突出了MANUS手套推動穩(wěn)定可靠的觸覺驅(qū)動機(jī)器人學(xué)習(xí)的重要性。