上海人工智能實驗室近日創(chuàng)建了一個以模擬器為中心的雙臂靈巧遙操作基準測試，該測試并排比較了四個遙操作管道。在他們的評估中，使用Xsens Link和Manus的Xsens Metagloves的運動捕捉管道在短時間內(nèi)實現(xiàn)了高精度的任務(wù)。

挑戰(zhàn)

遠程操作工具很難進行公平比較。不同的硬件、操作員和任務(wù)設(shè)置使得對比難以統(tǒng)一的數(shù)據(jù)表現(xiàn)出哪個界面能為雙臂靈巧作業(yè)提供速度和精度組合。

解決方案

上海人工智能實驗室團隊在NVIDIA Isaac Sim中構(gòu)建了TeleOpBench，涵蓋三種商業(yè)機器人（Unitree Robotics H1-2，F(xiàn)ourier GR1-T2，Unitree G1）的30個操作任務(wù)。

關(guān)鍵成果

本研究對動作捕捉（Xsens Link和Manus Gloves）、VR、外骨骼及單目視覺四類遠程操作管道進行了系統(tǒng)性對比。在報告的評估中，動作捕捉技術(shù)實現(xiàn)了高任務(wù)精度且完成時間短，展現(xiàn)出顯著優(yōu)勢。

為構(gòu)建可重復(fù)的基準測試體系，研究設(shè)計了跨任務(wù)、操作員和機器人平臺的統(tǒng)一框架。該框架通過標準化環(huán)境配置與評估指標，旨在為遙操作決策提供更可靠的量化依據(jù)，減少因硬件差異、環(huán)境設(shè)置或任務(wù)變化導(dǎo)致的結(jié)果偏差。

在具身機器人雙臂操作學習領(lǐng)域，遠程操作被視為獲取高質(zhì)量演示數(shù)據(jù)的快速途徑。然而，其挑戰(zhàn)不僅在于數(shù)據(jù)收集本身，更在于如何選擇值得信賴的遙操作界面并公平比較替代方案。TeleOpBench通過引入雙臂靈巧遙操作模擬器中心基準，填補了這一空白，使不同遙操作管道間的嚴格、可重復(fù)比較成為可能。

TeleOpBench的測量維度與意義

現(xiàn)實世界中比較遠程操作系統(tǒng)常面臨多重干擾因素。硬件差異、環(huán)境設(shè)置和任務(wù)變化易主導(dǎo)實驗結(jié)果。為此，TeleOpBench基于NVIDIA Isaac Sim構(gòu)建了固定環(huán)境與機器人實體，采用統(tǒng)一成功標準，以任務(wù)成功率和完成時間作為核心評估指標，實現(xiàn)跨平臺的公平對比。

為驗證模擬結(jié)果的實際有效性，研究在物理雙臂平臺復(fù)現(xiàn)了實驗，觀察到模擬與現(xiàn)實世界結(jié)果的高度一致性，證實了基準的實踐指導(dǎo)價值。

基準設(shè)置概覽

機器人平臺：選用三款不同比例與手型的商用仿人機器人——Unitree H1-2、Fourier GR1-T2和Unitree G1，覆蓋多樣化硬件特性。

任務(wù)設(shè)計：包含30個雙手操作環(huán)境，涵蓋拾取放置、工具使用和協(xié)作操作三大類，按復(fù)雜度梯度設(shè)計，確保低/高保真界面均能進行有意義的性能對比。

接口方案：統(tǒng)一協(xié)議下實現(xiàn)四大代表性管道——動作捕捉（Xsens Link+Manus Gloves）、VR設(shè)備、手臂/手外骨骼及單目視覺跟蹤，形成標準化對比條件。

評估方法：從完整任務(wù)庫中精選10個代表性任務(wù)開展用戶研究，邀請4名操作員參與，同步記錄任務(wù)成功率與完成時間雙指標。

四大管道特性解析

TeleOpBench的核心價值在于具象化技術(shù)權(quán)衡空間。視覺跟蹤方案可降低硬件依賴，但對遮擋與幀率敏感；VR通過腕部/手部跟蹤提升精度，性能常介于視覺與高精度系統(tǒng)之間；外骨骼憑借運動學對齊與直接映射優(yōu)勢，但移動限制受設(shè)計約束；慣性動作捕捉（如Xsens Link）則聚焦人體段運動精準捕捉，并實現(xiàn)穩(wěn)健的機器人映射。

Xsens Link與Manus Gloves的突出表現(xiàn)

TeleOpBench的動作捕捉管道基于Xsens Link與Manus Gloves構(gòu)建。Xsens Link通過17個IMU（慣性測量單元）附著人體關(guān)鍵部位實現(xiàn)肢體運動追蹤；Manus手套則提供每只手20個自由度測量，精準捕捉指關(guān)節(jié)細微運動。

實驗結(jié)果表明，基于Xsens的方案在運動平滑性與精度上表現(xiàn)卓越，不僅能準確完成任務(wù)，還常以短時間達成目標。完成時間曲線分析顯示，慣性運動捕捉管道速度快，且模擬/真實世界性能呈現(xiàn)強正相關(guān)，驗證了其跨域一致性。

對工程與機器人團隊的實踐意義

對于需要擴展演示數(shù)據(jù)收集的團隊，TeleOpBench提供了具體的技術(shù)選型分析工具。從吞吐量視角，更快的完成時間意味著單位時間內(nèi)更多有效演示；從可靠性視角，更高的成功率可減少數(shù)據(jù)集構(gòu)建中的無效運行與后期清理成本，整體提升研發(fā)效率與數(shù)據(jù)質(zhì)量。