最近，在某些繁華城市的街頭，總能看到一些新奇的畫面：機(jī)器人身著衣服，與常人無異，行走在街上。它們有著看似人類的舉動，但實(shí)際上，它們很難理解一些行動背后所帶有的目的，尤其是這些動作與交互息息相關(guān)。

這就是現(xiàn)代人機(jī)協(xié)作的根本瓶頸：機(jī)器人掌握視覺、感知和操作能力，卻缺少真正理解人的方法。針對這種情況，加州大學(xué)圣地亞哥分校（University of California San Diego）的一支團(tuán)隊(duì)給出了一種全新思路：用可穿戴多模態(tài)信號 + AI 推理，實(shí)現(xiàn)可靠的現(xiàn)實(shí)環(huán)境中的手勢識別。

相關(guān)的研究內(nèi)容以「A noise-tolerant human–machine interface based on deep learning-enhanced wearable sensors」為題，于 2025 年 11 月 17 日發(fā)布在《Nature Sensors》。

論文鏈接：https://www.nature.com/articles/s44460-025-00001-3

可穿戴設(shè)備的增強(qiáng)

可穿戴設(shè)備在生活中的許多地方都展現(xiàn)出前所未有的潛力。當(dāng)前的人機(jī)協(xié)作方式之所以不夠順暢，其根本原因在于機(jī)器人能夠接收到的有效信息太少。視覺系統(tǒng)可以看見手的移動，卻無法區(qū)分動作背后的語義；語音控制對于處理復(fù)雜任務(wù)幾乎無能為力；按鈕、界面和遠(yuǎn)程操控更是與自然動作相距甚遠(yuǎn)。

更深層的問題在于，機(jī)器對人的內(nèi)部狀態(tài)完全「不可見」。視覺系統(tǒng)看不到疲勞、看不到微小的肌肉變化、看不到用戶即將失穩(wěn)的趨勢，而這些恰恰是影響協(xié)作效率和安全的關(guān)鍵因素。信息不足導(dǎo)致誤解，誤解又進(jìn)一步降低協(xié)作效果。

為了打破這些限制，AI 的加入帶來了更廣闊的解決思路。相關(guān)研究團(tuán)隊(duì)的核心思想很簡單：用 AI 捕獲環(huán)境信息與手勢信號并推理其中的信息，處理完后再發(fā)送給設(shè)備。

圖 1：抗噪聲人機(jī)界面概述。

他們所設(shè)計(jì)的深度學(xué)習(xí)增強(qiáng)型可穿戴傳感器，能夠在存在多種真實(shí)世界運(yùn)動偽影的情況下準(zhǔn)確識別手勢。這包括一個六通道慣性測量單元（IMU）、一個肌電圖（EMG）模塊、一個藍(lán)牙微控制器單元和一個定制電池，全部安裝在織物基板上。

在信號采集層面，可穿戴設(shè)備不僅記錄動作軌跡，還同步采集肌電、姿態(tài)、加速度等生理信息。這些信號是視覺看不到的，卻是人類動作意圖最直接的映射。

圖 2：多通道采集手勢信號和運(yùn)動偽影。

在推理層面，AI 模型成為整個系統(tǒng)的「大腦」。它將這些多模態(tài)信號融合，提取出「用戶接下來要做什么」「用戶此刻的目標(biāo)是什么」等深層語義。機(jī)器人可以根據(jù)這些推斷，提前規(guī)劃自己的動作，包括跟隨、避讓、協(xié)助、減速或接管任務(wù)。

通過在復(fù)合數(shù)據(jù)訓(xùn)練集上進(jìn)行三種深度學(xué)習(xí)網(wǎng)絡(luò)的比較，與實(shí)驗(yàn)后進(jìn)一步驗(yàn)證模型在未預(yù)訓(xùn)練的真實(shí)世界中會有怎樣的表現(xiàn)，團(tuán)隊(duì)所采用的模型在所有條件下的識別準(zhǔn)確率均保持高度穩(wěn)定（>94%），應(yīng)用基于參數(shù)的遷移學(xué)習(xí)也進(jìn)一步增強(qiáng)了模型的泛化能力。后者將所有 19 種手勢的最小識別準(zhǔn)確率從 >51% 提高到 >92%。

圖 3：基于深度學(xué)習(xí)和遷移學(xué)習(xí)的手勢分類。

最終，在執(zhí)行層面，這套系統(tǒng)讓機(jī)器人具備了「共享智能」。它可以在用戶剛準(zhǔn)備發(fā)力時就開始提供支撐；在用戶逐漸疲勞時主動接管負(fù)載。

協(xié)作更快、更穩(wěn)

團(tuán)隊(duì)在多種實(shí)際任務(wù)中測試了該框架，包括協(xié)作搬運(yùn)、精細(xì)裝配、共同移動負(fù)載等，結(jié)果一致表明，系統(tǒng)顯著提升了協(xié)作效率和整體自然度。即使是存在大量偽影的情況下，團(tuán)隊(duì)依然實(shí)現(xiàn)了相當(dāng)?shù)氖謩葑R別性能：手勢與機(jī)械臂動作之間的延遲約為 1.3 秒。

當(dāng)配備在復(fù)合數(shù)據(jù)集上訓(xùn)練的 CNN 時，即使受試人員處在跑動中，機(jī)械臂也能夠精確執(zhí)行預(yù)期動作。這種穩(wěn)定也擴(kuò)展到了試管溶液轉(zhuǎn)移、高頻振動、方向變化等組合中。

圖 4：抗噪聲人機(jī)界面的水生應(yīng)用。

通過大量采集海洋波浪的數(shù)據(jù)，生成的模擬潛水員在疊加模擬海浪干擾的 IMU 信號上進(jìn)行測試時，召回率、精確率、特異性和 F1 分?jǐn)?shù)均接近~1。

更廣泛的影響

團(tuán)隊(duì)意識到，運(yùn)動干擾并非僅限于水下環(huán)境。這是可穿戴技術(shù)領(lǐng)域普遍面臨的挑戰(zhàn)，長期以來限制了此類系統(tǒng)在日常生活中的表現(xiàn)。

即使這項(xiàng)技術(shù)仍有更大的優(yōu)化空間（比如減少延遲與簡化的識別任務(wù)），但它仍然是一種全新的可穿戴傳感器的可靠抗噪方法。它能為下一代可拉伸的無線穿戴設(shè)備指引了方向。