讓人形機器人能夠像人一樣完成裝箱、搬運、推車等移動操作任務(wù)，一直是人們對具身智能的期待。近日，來自香港大學(xué)、智元AGIBOT、復(fù)旦大學(xué)和上海創(chuàng)智學(xué)院的聯(lián)合研究團隊提出了WholeBodyVLA，一種面向真實世界的人形機器人全身Vision–Language–Action 框架。該工作基于智元靈犀X2研究發(fā)布，將VLA（視覺語言動作模型）擴展至雙足人形機器人的全身控制，驗證了其在全身移動操作任務(wù)中的可行性。

與原地操作相比，移動操作的難點不在于單一技能，而在于行走與操作必須在同一任務(wù)中長期、穩(wěn)定地協(xié)同發(fā)生。圍繞這一挑戰(zhàn)，WholeBodyVLA 總結(jié)出限制移動操作發(fā)展的兩個核心問題：真機數(shù)據(jù)稀缺和運動執(zhí)行中的不穩(wěn)定性。

相比原地操作，人形機器人在移動操作任務(wù)中的數(shù)據(jù)采集要“貴”得多。往往需要不止一個數(shù)采員同時遙操機器人上半身進行操作、下半身完成行走，這通常只能通過混合方案實現(xiàn)（例如 VR 控制上半身、遙控器控制下半身），這種方式操作流程長、效率低；或者使用全身動捕系統(tǒng)，但價格高昂。

相比純粹的操作，移動操作對運動精準性和穩(wěn)定性的要求高的多，任何偏離都可能導(dǎo)致目標操作物體脫離相機視野和工作空間。即使VLA輸出了正確的運動指令，下半身控制器仍然有概率執(zhí)行失敗，例如出現(xiàn)走歪、踉蹌等現(xiàn)象。

為了解決這些挑戰(zhàn)，研究團隊提出了WholeBodyVLA，并引入了兩個關(guān)鍵創(chuàng)新：從人類視頻中學(xué)習(xí)和面向移動操作的RL控制器。前者是WholeBodyVLA 通過從第一視角人類視頻中學(xué)習(xí)移動與操作的潛在動作，操作相關(guān)的潛在動作則基于 AgiBot World 數(shù)據(jù)集進行建模，后者是通用連續(xù)運動控制目標簡化為一組離散運動指令，僅保留移動操作必要的強化學(xué)習(xí)訓(xùn)練目標，從而顯著提升了控制器在運動執(zhí)行時的穩(wěn)定性。

研究團隊在 智元靈犀X2人形機器人上進行了大量真機實驗驗證，發(fā)現(xiàn) WholeBodyVLA 具備大范圍、長程移動操作任務(wù)，距離泛化性和操作泛化性，地形泛化性?？偟膩碚f，WholeBodyVLA 展示了 VLA 擴展到雙足人形機器人自主全身控制的可行路徑。