案例基于EgoScale：用不同的以自我為中心的人類數(shù)據(jù)來(lái)衡量靈巧手的操作。

挑戰(zhàn)

像擰開(kāi)蓋子、使用工具和精細(xì)的手指控制等靈巧的機(jī)器人操作訓(xùn)練成本很高。目前的方法依賴于大量的遙操作機(jī)器人演示，這種演示速度慢，而且規(guī)模昂貴。與此同時(shí)，人類每天都會(huì)產(chǎn)生大量靈巧的操作數(shù)據(jù)，但將這些知識(shí)轉(zhuǎn)移到機(jī)器人身上仍然具有挑戰(zhàn)性。

解決方案

EgoScale將大規(guī)模以人為中心的視頻作為主要訓(xùn)練資料來(lái)源，并通過(guò)以下方式將其與精確的MANUS數(shù)據(jù)手套運(yùn)動(dòng)校準(zhǔn)相結(jié)合并應(yīng)用于三級(jí)流水線中。

NVIDIA推出的EgoScale是一個(gè)三階段的培訓(xùn)管道，用于擴(kuò)展機(jī)器人遙操作靈活性。

步驟1-人工預(yù)訓(xùn)練

視覺(jué)-語(yǔ)言-動(dòng)作(VLA)模型在總時(shí)長(zhǎng)長(zhǎng)達(dá)20，854小時(shí)動(dòng)作標(biāo)記的以自我為中心的人類視頻上進(jìn)行預(yù)訓(xùn)練。使用21個(gè)關(guān)鍵點(diǎn)提取人手運(yùn)動(dòng)，并將其重定向到22-DoF機(jī)器手關(guān)節(jié)空間，手腕運(yùn)動(dòng)表示為相對(duì)3D平移和旋轉(zhuǎn)。

研究小組揭示了一個(gè)對(duì)數(shù)線性標(biāo)度定律：隨著人類數(shù)據(jù)的增加，驗(yàn)證損失可預(yù)見(jiàn)地減少，并開(kāi)始與真實(shí)機(jī)器人的性能相關(guān)起來(lái)。這表明大規(guī)模人類視頻是靈巧機(jī)器人學(xué)習(xí)的可擴(kuò)展和監(jiān)督來(lái)源。

從以動(dòng)作為標(biāo)簽的以自我為中心的人類視頻中提取了21個(gè)關(guān)鍵點(diǎn)的人類動(dòng)作。

步驟2–人-機(jī)器人校準(zhǔn)

階段1：從無(wú)約束的人類數(shù)據(jù)中學(xué)習(xí)一般的操作，但不與機(jī)器人的傳感和控制設(shè)置匹配。

階段2：彌補(bǔ)了真正開(kāi)始機(jī)器人時(shí)的差距。

在人類和遙操作機(jī)器人使用相同的攝像機(jī)設(shè)置執(zhí)行相同的344個(gè)桌面任務(wù)的情況下，研究人員收集了小數(shù)量、仔細(xì)對(duì)齊的數(shù)據(jù)集。在此過(guò)程中，操作人員穿著MANUS手套捕捉每只手的25個(gè)關(guān)節(jié)變換高保真手指數(shù)據(jù)，Vive追蹤器被用于記錄手腕運(yùn)動(dòng)。相同的運(yùn)動(dòng)捕捉設(shè)置用于機(jī)器人遠(yuǎn)程操作，確保人和機(jī)器人的動(dòng)作信號(hào)是直接可比較的。

利用大約50小時(shí)的對(duì)齊人類數(shù)據(jù)和4小時(shí)的機(jī)器人數(shù)據(jù)，該模型將人類操縱知識(shí)錨定到機(jī)器人控制中。

使用MANUS手套、Vive追蹤器和以自我為中心的攝像機(jī)來(lái)捕捉手部動(dòng)作和與機(jī)器人傳感配置一致的視覺(jué)輸入，從而調(diào)整人-機(jī)器人數(shù)據(jù)收集設(shè)置。

步驟3 -任務(wù)調(diào)整

在這個(gè)階段，模型已經(jīng)具有來(lái)自階段1的一般操作和來(lái)自階段2的機(jī)器人對(duì)齊。第三階段針對(duì)特定任務(wù)對(duì)其進(jìn)行微調(diào)。

在標(biāo)準(zhǔn)設(shè)置中，大約有100個(gè)遙控機(jī)器人演示用于使模型適應(yīng)目標(biāo)任務(wù)。因?yàn)榛A(chǔ)很強(qiáng)，這個(gè)相對(duì)較小的數(shù)據(jù)集足以在復(fù)雜靈巧的任務(wù)上獲得更好表現(xiàn)。

在一次性設(shè)置中，該模型只需要一個(gè)機(jī)器人演示，輔以一致的人類演示，就可以有效地進(jìn)行歸納。這突出了早期階段所實(shí)現(xiàn)的強(qiáng)大的快速記錄能力。

基于流的VLA策略架構(gòu)，具有VLM主干和DiT動(dòng)作專家，使用腕級(jí)動(dòng)作表示和輕量級(jí)體現(xiàn)適配器來(lái)統(tǒng)一人類和機(jī)器人數(shù)據(jù)。

測(cè)量結(jié)果

大規(guī)模人工預(yù)訓(xùn)練和人工校準(zhǔn)的結(jié)合帶來(lái)了明顯的性能提升。

在五個(gè)復(fù)雜的操作訓(xùn)練任務(wù)中，完整的預(yù)訓(xùn)練和中間訓(xùn)練模型比沒(méi)有預(yù)訓(xùn)練的基線提高了54%的平均成功率。在所有單項(xiàng)任務(wù)中，預(yù)訓(xùn)練和中間訓(xùn)練模式也明顯優(yōu)于從頭開(kāi)始的訓(xùn)練。在單鏡頭設(shè)置中，單個(gè)機(jī)器人演示能夠?qū)崿F(xiàn)高達(dá)88%的襯衫折疊成功率，展示了強(qiáng)大的少鏡頭泛化能力。

重要的是，學(xué)習(xí)到的操作在機(jī)器人之間轉(zhuǎn)移。在高自由度靈巧手?jǐn)?shù)據(jù)上預(yù)處理的策略可以適用于具有7自由度三指手的Unitree G1，在成功率上實(shí)現(xiàn)了超過(guò)30%的絕對(duì)提高，并證明了高自由度人類操作可以推廣到低自由度機(jī)器人手上。

使用22自由度靈巧手的人類預(yù)訓(xùn)練策略同樣也適用于具有7自由度三指手的Unitree G1機(jī)器人，展示了跨不同機(jī)器人機(jī)器人的通用性。

結(jié)果

EgoScale為機(jī)器人靈巧手學(xué)習(xí)建立了一個(gè)可擴(kuò)展的范例，一是通過(guò)于模擬訓(xùn)練的方式實(shí)現(xiàn)MANUS手套提供人體運(yùn)動(dòng)空間和機(jī)器人關(guān)節(jié)空間之間的關(guān)鍵對(duì)齊層。其二通過(guò)充當(dāng)人類運(yùn)動(dòng)和機(jī)器人關(guān)節(jié)空間之間的精確動(dòng)作轉(zhuǎn)換層，MANUS手套降低了機(jī)器人數(shù)據(jù)成本，同時(shí)加快了通用靈巧系統(tǒng)的部署。