實(shí)現(xiàn)人類(lèi)水平的靈活性需要精確、低延遲的機(jī)器人控制。通過(guò)整合MANUS Quantum Metagloves和Meta Quest 3，ByteDexter系統(tǒng)能夠?qū)崿F(xiàn)20自由度連桿驅(qū)動(dòng)的擬人機(jī)器人手的實(shí)時(shí)遙控操作。該系統(tǒng)實(shí)現(xiàn)了精確的捏夾、穩(wěn)定的力量抓握和實(shí)時(shí)手動(dòng)操作，為靈巧機(jī)器人、遙操作和具體化人工智能研究提供了高質(zhì)量的演示數(shù)據(jù)。

機(jī)器人靈活性的挑戰(zhàn)

機(jī)器人的靈巧性很難實(shí)現(xiàn)，因?yàn)闄C(jī)器人面臨兩個(gè)關(guān)鍵挑戰(zhàn)：硬件限制和人與機(jī)器人運(yùn)動(dòng)之間的差異性。

1. 硬件限制

制造一只能像人手一樣移動(dòng)的機(jī)器手遠(yuǎn)非易事。不同的設(shè)計(jì)方法各有利弊：

直接電機(jī)驅(qū)動(dòng)

簡(jiǎn)單但笨重

難以小型化

肌腱驅(qū)動(dòng)

高度仿生

電纜容易磨損，需要復(fù)雜的維護(hù)

致動(dòng)器通常放置在前臂上，使集成變得復(fù)雜

聯(lián)動(dòng)驅(qū)動(dòng)

緊湊、耐用且易于維護(hù)

驅(qū)動(dòng)器安裝在手掌內(nèi)部

是高自由度靈巧手的理想選擇，但由于耦合運(yùn)動(dòng)和有限的空間，拇指設(shè)計(jì)極具挑戰(zhàn)性

ByteDexter通過(guò)混合設(shè)計(jì)解決了這些問(wèn)題：

四個(gè)手指使用緊湊的并行-串行連接結(jié)構(gòu)。

拇指采用了一種新設(shè)計(jì)的機(jī)制，具有三個(gè)驅(qū)動(dòng)4自由度的致動(dòng)器，能夠在彎曲、伸展和外展之間實(shí)現(xiàn)去耦的類(lèi)似人類(lèi)手部運(yùn)動(dòng)。

該系統(tǒng)由用于實(shí)時(shí)控制的微秒級(jí)運(yùn)動(dòng)學(xué)解算器支持。

2. 運(yùn)動(dòng)映射失真

人手和機(jī)器人手在關(guān)節(jié)類(lèi)型、運(yùn)動(dòng)范圍和幾何比例方面有所不同。這些不匹配會(huì)導(dǎo)致復(fù)雜任務(wù)的失真，如捏、多指協(xié)調(diào)和手動(dòng)操作。傳統(tǒng)的指尖IK和關(guān)鍵點(diǎn)匹配方法難以保持人類(lèi)運(yùn)動(dòng)的高保真再現(xiàn)。

高保真靈巧控制的集成遙操作體系結(jié)構(gòu)

ByteDexter將硬件和軟件結(jié)合成一個(gè)緊密結(jié)合的高性能遙操作系統(tǒng)。

l 20自由度擬人機(jī)器人手

l 優(yōu)化的運(yùn)動(dòng)重定向算法

l MANUS手套的高保真?zhèn)鞲衅鬏斎?/p>

l 通過(guò)Meta Quest跟蹤進(jìn)行實(shí)時(shí)arm映射

操作員的手指運(yùn)動(dòng)被轉(zhuǎn)化為ByteDexter手的關(guān)節(jié)命令，而Quest控制器則提供連續(xù)的手腕姿勢(shì)輸入。然后，F(xiàn)R3手臂和ByteDexter手實(shí)時(shí)再現(xiàn)操作員的動(dòng)作，創(chuàng)建一個(gè)自然的全手控制界面。

基于關(guān)鍵向量的運(yùn)動(dòng)重定向

ByteDexter不是直接映射關(guān)節(jié)角度或指尖位置，而是使用keyvectors，即表示手部關(guān)鍵點(diǎn)之間空間關(guān)系的幾何向量。

手指捕捉：

手指到指尖的幾何學(xué)

手指間的空間關(guān)系

拇指-手指協(xié)調(diào)信號(hào)

自適應(yīng)加權(quán)策略?xún)?yōu)先考慮用于精確拇指食指或拇指中指控制的捏合相關(guān)向量、用于減少碰撞的分離向量以及用于連續(xù)穩(wěn)定運(yùn)動(dòng)的平滑項(xiàng)。這個(gè)框架有效地協(xié)調(diào)了人手和機(jī)器手掌的差異，并保持了協(xié)調(diào)的靈巧動(dòng)作。

結(jié)果

該系統(tǒng)提供更緊密、更穩(wěn)定的捏握動(dòng)作，準(zhǔn)確再現(xiàn)拇指與手指的協(xié)調(diào)運(yùn)動(dòng)，并顯著減少意外碰撞。它支持靈巧的手動(dòng)操作，包括平滑捏合到抓握的轉(zhuǎn)換，雙對(duì)象處理，通過(guò)推動(dòng)或控制旋轉(zhuǎn)打開(kāi)蓋子，以及其他協(xié)調(diào)的多自由度動(dòng)作。

該圖比較了ByteDexter的重定目標(biāo)方法(紅色)和基線方法DexPilot(藍(lán)色)在捏取任務(wù)期間的指尖距離跟蹤性能。ByteDexter的重定目標(biāo)功能可以產(chǎn)生更真實(shí)跟隨人類(lèi)手指運(yùn)動(dòng)的指尖軌跡，從而實(shí)現(xiàn)更準(zhǔn)確、更穩(wěn)定的擠壓。

專(zhuān)為遠(yuǎn)程操作、數(shù)據(jù)收集和嵌入人工智能而打造

MANUS數(shù)據(jù)手套和連桿驅(qū)動(dòng)的ByteDexter靈巧手組合使得該系統(tǒng)能夠可靠地復(fù)制人手運(yùn)動(dòng)，保持協(xié)調(diào)的手臂控制，執(zhí)行連續(xù)的多步任務(wù)，并有效地操縱現(xiàn)實(shí)世界中的各種物體。該平臺(tái)非常適合遠(yuǎn)程操作、高質(zhì)量的數(shù)據(jù)收集、模仿學(xué)習(xí)和嵌入AI的開(kāi)發(fā)流程。