擰螺絲、緊螺母，這些人類看似輕松的精細操作，對機器人來說卻是巨大挑戰(zhàn)。復(fù)雜的接觸面摩擦、難以預(yù)判的螺紋咬合，再加上指尖觸覺反饋的精準(zhǔn)模擬難題，讓機器人在這類接觸密集型任務(wù)中屢屢受挫。

加州大學(xué)伯克利分校的研究團隊給出了一套全新解決方案——DexScrew框架。它跳出了“必須高保真仿真”的思維定式，用簡化仿真學(xué)核心技能，靠真實世界數(shù)據(jù)補全細節(jié)，最終讓機器人在無視覺依賴的情況下，憑借觸覺和時序信息，精準(zhǔn)完成螺母螺栓緊固與螺絲刀操作，甚至能應(yīng)對未見過的零件形狀和外部干擾。

▍三步流程：從簡化仿真到真實操作的完整落地

研究方法概述

第一步：簡化仿真中練出“核心旋轉(zhuǎn)技能”

研究團隊沒有在仿真中復(fù)刻螺母、螺絲刀的復(fù)雜細節(jié)，而是做了極致簡化：把螺母簡化成厚三角形，把螺絲刀手柄簡化成球形或多邊形，通過旋轉(zhuǎn)關(guān)節(jié)和固定底座連接。這種設(shè)計完全忽略螺紋結(jié)構(gòu)和復(fù)雜摩擦，只保留“旋轉(zhuǎn)”這一核心動作需求。

簡化物體模型。每個螺母或手柄均被建模為一個剛體，通過旋轉(zhuǎn)關(guān)節(jié)與固定底座相連。這種抽象建模方式忽略了螺紋層面的力學(xué)特性，同時保留了學(xué)習(xí)過程中所需的核心旋轉(zhuǎn)動力學(xué)特征。

之所以這么設(shè)計，是因為團隊發(fā)現(xiàn)：機器人操作這類零件的關(guān)鍵，是掌握手指的旋轉(zhuǎn)步態(tài)（比如拇指和食指如何交替用力），而這種核心運動模式，不需要依賴高保真仿真。簡化模型能讓強化學(xué)習(xí)快速收斂，還能避免機器人學(xué)到依賴仿真細節(jié)的“壞毛病”——比如厚三角形螺母的設(shè)計，就是為了防止機器人學(xué)會“從底部用力頂”這種在真實世界中行不通的動作。

訓(xùn)練時，團隊采用了“先知策略+感官運動策略”的兩步法。先知策略能獲取仿真中的全部“內(nèi)幕信息”，包括零件的質(zhì)量、摩擦系數(shù)、手指位置等97維數(shù)據(jù)，快速找到最優(yōu)旋轉(zhuǎn)動作；之后再通過蒸餾技術(shù)，把這些技能轉(zhuǎn)移到感官運動策略中，讓它僅靠關(guān)節(jié)運動歷史就能完成動作，為后續(xù)真實世界部署做準(zhǔn)備。

為了提升魯棒性，訓(xùn)練過程中還加入了域隨機化——隨機調(diào)整零件的質(zhì)量、尺寸、摩擦系數(shù)，甚至加入微小的外力干擾，讓策略在仿真中就具備應(yīng)對變化的能力。

第二步：遙操作收集真實世界“多感官數(shù)據(jù)”

仿真訓(xùn)練的策略雖然能完成旋轉(zhuǎn)動作，但缺少真實世界的物理反饋和觸覺信息，無法應(yīng)對螺紋咬合等實際情況。這一步的核心，是用仿真學(xué)到的技能當(dāng)“助手”，降低人類遙操作的難度，高效收集真實數(shù)據(jù)。

遙操作界面：操作人員通過VR控制器的按鍵控制腕部位置，并借助操縱桿調(diào)節(jié)偏航角與俯仰角。該設(shè)置使操作人員能夠在數(shù)據(jù)收集過程中引導(dǎo)機械臂運動，同時依托已習(xí)得的手指旋轉(zhuǎn)技能完成精細操作。

團隊設(shè)計了一套技能輔助遙操作系統(tǒng)：人類操作員不用控制每個手指的關(guān)節(jié)，只需通過VR手柄控制機器人手臂的腕部位置（比如上下移動、調(diào)整角度），并在合適時機觸發(fā)仿真訓(xùn)練好的“手指旋轉(zhuǎn)技能”。簡單說，人類負責(zé)“對準(zhǔn)位置”，機器人負責(zé)“精細擰動”。

這種方式極大降低了操作門檻，操作員不用糾結(jié)于手指的復(fù)雜協(xié)調(diào)，能快速收集大量高質(zhì)量數(shù)據(jù)。數(shù)據(jù)收集過程中，系統(tǒng)會同步記錄兩部分關(guān)鍵信息：一是機器人的關(guān)節(jié)運動數(shù)據(jù)（包括手部12個關(guān)節(jié)和手臂6個關(guān)節(jié)的位置），二是指尖的觸覺信號——每個指尖有120個壓力傳感單元，能捕捉三軸方向的微小力變化，最小可檢測0.05N的力，相當(dāng)于一根頭發(fā)的重量。

最終，團隊為螺母螺栓任務(wù)收集了50條軌跡（每條約80秒），為螺絲刀任務(wù)收集了72條軌跡（每條120-180秒），構(gòu)建了包含運動和觸覺的多感官數(shù)據(jù)集。

第三步：行為克隆訓(xùn)練“精準(zhǔn)觸覺策略”

有了真實世界的多感官數(shù)據(jù)，接下來就是訓(xùn)練能落地的最終策略。團隊采用行為克隆（BC）方法，讓機器人“模仿”遙操作中的成功動作，同時融入觸覺反饋和時序信息，提升精準(zhǔn)度和魯棒性。

策略的神經(jīng)網(wǎng)絡(luò)設(shè)計很有針對性：輸入過去5個時間步的關(guān)節(jié)運動數(shù)據(jù)和觸覺信號，輸出未來16個時間步的動作序列。這種“預(yù)測未來動作”的設(shè)計，能讓機器人更好地把握動作的連貫性，避免單次決策的偏差。

觸覺信號的處理是關(guān)鍵：先將5個手指、每個手指120個單元、三軸方向的信號扁平化，通過神經(jīng)網(wǎng)絡(luò)提取特征，再和關(guān)節(jié)運動數(shù)據(jù)融合。這樣一來，機器人能通過觸覺判斷是否打滑、是否對準(zhǔn)，及時調(diào)整腕部角度或手指力度。

訓(xùn)練過程中，用均方誤差損失函數(shù)讓預(yù)測動作盡可能貼近真實遙操作動作，經(jīng)過200個epoch的訓(xùn)練，最終得到兼具穩(wěn)定性和泛化能力的策略。值得一提的是，整個策略完全不依賴視覺，即便在昏暗或遮擋環(huán)境中也能正常工作。

▍實測效果：跨形狀泛化，抗干擾能力拉滿

團隊在UR5e機械臂+12自由度XHand靈巧手上做了全面測試，覆蓋螺母螺栓緊固和螺絲刀操作兩大任務(wù)，結(jié)果遠超傳統(tǒng)方法。

▍螺母螺栓任務(wù)：四種形狀全拿下，觸覺是關(guān)鍵

測試用了方形、三角形、六邊形、十字形四種螺母，其中六邊形和十字形是訓(xùn)練中沒見過的“新形狀”，專門用來考驗泛化能力。

真實世界緊固性能測試結(jié)果

結(jié)果顯示，融合觸覺和時序信息的DexScrew策略表現(xiàn)最佳：所有螺母的緊固進度比都超過95%，十字形螺母更是達到98.75%，平均完成時間在75-125秒之間。對比之下，沒有觸覺的策略在三角形螺母上的進度比只有30%左右，即便有了時序信息，也難以穩(wěn)定完成操作。

關(guān)鍵原因在于，觸覺能幫機器人快速糾錯：當(dāng)螺母輕微錯位或打滑時，指尖觸覺信號會立刻變化，策略會及時調(diào)整腕部orientation 或施加向下的校正力，重新建立穩(wěn)定接觸；而沒有觸覺的策略，一旦錯位就會持續(xù)失效，無法恢復(fù)。

▍螺絲刀任務(wù)：攻克打滑難題，穩(wěn)定性碾壓基線

螺絲刀操作比螺母螺栓更難——刀桿沒有沿螺絲軸線的約束，稍微傾斜就會打滑，且螺絲刀與螺絲的咬合關(guān)系極難仿真。

測試結(jié)果顯示，傳統(tǒng)直接仿真到現(xiàn)實的策略，進度比只有41.6%，從未完成一次完整擰緊；專家數(shù)據(jù)回放的進度比也只有50.8%，無法適應(yīng)部署時的細微變化。

真實世界螺絲刀操作性能

觸覺信息對操作模式的影響

而DexScrew策略在融合觸覺和時序信息后，進度比飆升至95%，平均完成時間僅187.87秒�？梢暬@示，有觸覺的策略能維持拇指和食指的交替接觸模式，始終牢牢“抓”住螺絲刀手柄；沒有觸覺的策略則頻繁出現(xiàn)接觸不穩(wěn)定、刀桿偏移，最終導(dǎo)致操作失敗。

▍抗干擾測試：外力拖拽、反向旋轉(zhuǎn)都能恢復(fù)

團隊還測試了策略的抗干擾能力：故意用外力拖拽機器人手指，或反向旋轉(zhuǎn)螺母、螺絲刀。

策略抗干擾恢復(fù)性能

結(jié)果顯示，DexScrew策略能快速調(diào)整——被拖拽后會重新定位手指和腕部，恢復(fù)穩(wěn)定接觸；遇到反向旋轉(zhuǎn)時，會先穩(wěn)住姿態(tài)，再重新啟動正確的旋轉(zhuǎn)方向，全程不會中斷任務(wù)。

▍消融實驗：這些設(shè)計缺一不可

為了驗證各組件的作用，團隊在仿真中做了對比實驗。

特權(quán)信息很重要：訓(xùn)練時給策略提供零件質(zhì)量、摩擦系數(shù)等“內(nèi)幕信息”，能讓episode獎勵大幅提升，沒有這些信息的策略，性能會明顯下降；

時序信息是補充：僅靠單次觀測的策略，難以判斷零件形狀和旋轉(zhuǎn)進度，加入過去5個時間步的歷史數(shù)據(jù)后，泛化能力顯著提升；

觸覺是核心：在復(fù)雜形狀或易打滑的場景中，觸覺反饋能讓進度比提升30%以上，是穩(wěn)定完成任務(wù)的關(guān)鍵。

螺絲刀操作策略訓(xùn)練的仿真消融實驗

這些結(jié)果證明，DexScrew的三步流程、觸覺+時序信息融合的設(shè)計，不是多余的“疊加”，而是相互支撐的核心競爭力。

▍結(jié)語與未來：

DexScrew的突破，不僅在于解決了擰螺絲、緊螺母這兩個具體任務(wù)，更在于提供了一套“低成本、可擴展”的靈巧操作落地方案。它不追求完美仿真，而是用“簡化仿真學(xué)技能+真實數(shù)據(jù)補細節(jié)”的思路，避開了傳統(tǒng)方法的短板，讓普通實驗室也能訓(xùn)練出高性能的靈巧操作策略。同時，它驗證了觸覺反饋在接觸密集型任務(wù)中的不可替代性，為后續(xù)機器人在工業(yè)裝配、家庭服務(wù)、精密制造等領(lǐng)域的應(yīng)用打下了基礎(chǔ)。

論文鏈接：https://arxiv.org/pdf/2512.02011