機器人靈巧手正在成為具體化人工智能的基石。運動捕捉、模擬、強化學習和自我監(jiān)督基礎(chǔ)模型的最新進展使機器人能夠執(zhí)行越來越像人類的操縱技能。

人手由27塊骨頭、幾十塊肌肉和肌腱以及近30個自由度組成。復制人手的精確性、適應性和觸覺控制仍然是機器人領(lǐng)域最大的挑戰(zhàn)之一。

建造一只與人手靈活性、靈敏性和協(xié)調(diào)性相匹配的機器人手不僅需要機械設(shè)計，還需要能夠?qū)⑷祟愡\動轉(zhuǎn)化為智能控制的先進訓練管道。

本文比較了兩個領(lǐng)先的培訓策略，RialTo和V-JEPA 2，并概述了MANUS手套如何支持這兩種方法實現(xiàn)遙操作機器人靈巧手。

通過模擬協(xié)調(diào)現(xiàn)實：一種用于遙操作的真實對比模擬仿真的方法(麻省理工學院計算機科學與人工智能實驗室)

V-JEPA 2：自我監(jiān)督視頻模型實現(xiàn)理解、預測和規(guī)劃(Meta AI)

兩種培訓策略：RialTo vs. V-JEPA 2

RialTo：從真實-模擬-真實的培訓方案

RialTo將模仿學習(IL)和強化學習(RL)結(jié)合起來，為特定的操縱任務訓練提供數(shù)據(jù)高效的控制策略。

該過程從真實世界的演示開始，在模擬中擴展學習，并將改進的策略用于物理部署。

它是如何工作的

捕捉專家演示：演示可以通過人類操作員通過遠程操作或運動捕捉執(zhí)行任務來獲得，這為初始學習提供了高質(zhì)量的演示數(shù)據(jù)。

建立一個數(shù)字孿生：具有精確三維物理和視覺感官真實的環(huán)境數(shù)字孿生，以創(chuàng)造一個適用于模擬的訓練空間。

模擬訓練：機器人執(zhí)行強化學習試驗，對物體位置、照明和物理干擾進行領(lǐng)域隨機化，以建立穩(wěn)定性。

虛擬現(xiàn)實部署：優(yōu)化的基于視覺的策略部署在機器人上，在現(xiàn)實條件下保持穩(wěn)定性和精確性。

這種真實到模擬到真實的循環(huán)允許機器人大規(guī)模安全訓練，彌合模擬與現(xiàn)實之間的差距，并在動態(tài)環(huán)境中實現(xiàn)可靠的表現(xiàn)。

虛擬JEPA新策略——自我監(jiān)督的世界模型

V-JEPA 2使用自我監(jiān)督學習(SSL)來建立一個連接感知和物理行為的通用世界模型。

它不是掌握一項任務，而是學習運動和因果關(guān)系的廣泛表示，從而能夠在不熟悉的環(huán)境中進行零樣本學習。

它是如何工作的

無動作預訓練(V-JEPA 2)：大型視覺轉(zhuǎn)換器(ViT)通過預測不同在線視頻中的掩蔽區(qū)域來學習對運動、外觀和物理動態(tài)的總體理解。

動作條件后訓練(V-JEPA-AC)：一個較小的改變在來自大型機器人操作數(shù)據(jù)集中未標記機器人視頻微調(diào)，以促使其能夠?qū)W習已執(zhí)行動作和環(huán)境變化之間的核心關(guān)系。

規(guī)劃和控制：該系統(tǒng)使用模型預測控制(MPC)來預測未來狀態(tài)，并選擇使其最接近目標的行動，不需要特定任務的獎勵或再培訓。

這種自我監(jiān)督的過程使機器人能夠跨任務進行歸納，適應新環(huán)境，并在沒有特定任務經(jīng)驗的情況下智能地行動。

通過MANUS手套捕捉人體運動

RialTo和V-JEPA 2都依靠高保真的人類和機器人運動數(shù)據(jù)來連接感知和行動。

這些數(shù)據(jù)通常通過使用高級手部跟蹤解決方案的遙控操作來收集，MANUS手套可以高精度、低延遲地捕捉手指的細微動作。

通過實時記錄自然的手部運動，MANUS為創(chuàng)建靈巧手遙操作和訓練的數(shù)據(jù)集提供了基礎(chǔ)，從而推動了應用化人工智能研究。

運動數(shù)據(jù)表示

關(guān)節(jié)角度數(shù)據(jù)

最常見的格式是將人類手指關(guān)節(jié)旋轉(zhuǎn)直接映射到機器人手關(guān)節(jié)。這種方法快速簡單，但是當人和機器人的運動學不同步時將會失去準確性。

指尖軌跡映射

一種新興的方法將關(guān)注指尖位置和方向，而非關(guān)節(jié)旋轉(zhuǎn)。這減少了運動不匹配，并提高了精細任務的精度，如手動操作和工具使用。

模擬策略培訓

在RialTo風格的管道中，遠程操作的運動數(shù)據(jù)可以傳輸?shù)侥M訓練中，在模擬中，強化學習和域隨機化可以幫助機器人適應照明、紋理和物理動態(tài)的變化。

NVIDIA Isaac Sim等模擬平臺可為機器人訓練提供了安全、可擴展的環(huán)境。

有了機器人訓練框架，Isaac實驗室2.3，研究人員可以加速全身控制，集成多個遙操作接口(包括MANUS手套、Apple Vision Pro和Vive手部跟蹤)，更高效地評估策略性能。

結(jié)論

RialTo和V-JEPA 2的核心是通過捕捉到的高保真人體運動數(shù)據(jù)來訓練機器人。

在RialTo中，這些數(shù)據(jù)為數(shù)字孿生模擬中的模仿學習提供了基礎(chǔ)事實。

在V-JEPA 2中，其提供了因果基礎(chǔ)，幫助AI理解人類運動如何影響現(xiàn)實世界的結(jié)果。

憑借毫米級的精確度和真實程度，MANUS手套證明了精確的動作捕捉將有巨大的潛力把人類的靈活性和機器的智能連接在一起。

隨著人工智能的不斷發(fā)展，人類運動和機器人學習之間的協(xié)同作用將塑造下一代更靈巧、適應性更強的機器人，實現(xiàn)與世界自然互動。