具身智能通過與環(huán)境的實時互動，在“感知?決策?執(zhí)行”的閉環(huán)中優(yōu)化自身行為，從而突破了傳統(tǒng)人工智能在非結(jié)構(gòu)化場景中的能力限制。即時獲取環(huán)境反饋并動態(tài)調(diào)整策略，顯著提升了系統(tǒng)在多種現(xiàn)實任務(wù)中的表現(xiàn)。觸覺感知能提供直接的物理狀態(tài)信息，輔助實時行為調(diào)控，但由于其依賴接觸的特性，在非接觸狀態(tài)下難以形成連續(xù)完整的空間感知。視覺感知雖可對環(huán)境狀態(tài)進行整體估計，卻無法獲得直接的接觸反饋。這一局限性促使視觸融合機制成為關(guān)鍵發(fā)展方向，即通過結(jié)合視覺的態(tài)勢估計與觸覺的接觸信息，突破單一模態(tài)的感知約束，實現(xiàn)更接近人類的環(huán)境理解水平。此類跨模態(tài)融合將推動具身智能的演進，并借助自主閉環(huán)優(yōu)化，以實現(xiàn)具身系統(tǒng)物理交互能力的躍遷。

近日，廈門大學(xué)廖新勤團隊提出了一種新型的織物基事件驅(qū)動觸覺界面（FED觸覺界面）。通過巧妙利用織物固有的編織結(jié)構(gòu)并采用交叉纖維電極設(shè)計，該界面在實現(xiàn)超高壓力靈敏度的同時，保持了寬廣的檢測范圍。其獨特的事件驅(qū)動特性，建立了適用于具身智能感知的“接觸事件?力學(xué)映射”范式。得益于防水與可水洗的特性，該界面拓展了具身系統(tǒng)在水下環(huán)境中進行精細(xì)操作與探索的可能性。更為重要的是，受人類跨模態(tài)協(xié)同機制的啟發(fā)，該團隊進一步構(gòu)建了視觸融合架構(gòu)（VTF架構(gòu)），通過跨模態(tài)感知協(xié)同與決策級融合，開辟了自適應(yīng)優(yōu)化的新路徑。該仿生架構(gòu)實現(xiàn)了視覺路徑規(guī)劃與實時觸覺力校正之間的良好協(xié)調(diào)，突破了水下透明物體抓取等復(fù)雜環(huán)境中操作的局限性。并在對易混淆物體的識別中通過并行特征融合的方式實現(xiàn)了97.7%的準(zhǔn)確率，較單模態(tài)方法有顯著提升。通過視觸覺模態(tài)間的信息深度耦合，該研究在環(huán)境交互與認(rèn)知決策之間建立了連接，推動了面向?qū)嶋H應(yīng)用的智能自適應(yīng)系統(tǒng)的發(fā)展，是機器人智能向前邁進的重要一步。相關(guān)工作以“Bioinspired Cross-Modal Self-Adaptive Machine Intelligence for Event-Driven and Ultrahigh-Precision Underwater Grasping”發(fā)表在《Advanced Materials》（IF 26.8，一區(qū)TOP）上。

【VTF架構(gòu)的概念和說明】

在人類與環(huán)境的交互中，視覺與觸覺感知各有其優(yōu)勢與局限。觸覺感知能通過直接接觸獲取物體的物理屬性并提供實時力反饋以輔助抓取操作，但受限于局部接觸信息，難以精確定位且缺乏預(yù)感知判斷，導(dǎo)致抓取效率受限。相比之下，視覺感知能有效獲取物體的形狀、顏色和空間位置，為交互提供初步評估與路徑規(guī)劃，但其易受光學(xué)條件影響，且無法直接感知物理屬性。受人類多感官協(xié)同啟發(fā)，研究團隊設(shè)計了VTF架構(gòu)，通過跨模態(tài)整合實現(xiàn)閉環(huán)決策與動態(tài)優(yōu)化，顯著提升了機器人系統(tǒng)的感知與交互性能?；谠摷軜?gòu)開發(fā)了視觸覺融合物品識別系統(tǒng)、自適應(yīng)抓取系統(tǒng)以及水下交互系統(tǒng)，以驗證其在非結(jié)構(gòu)化動態(tài)場景下的廣泛的適用性與巨大應(yīng)用潛力。

圖1 VTF架構(gòu)的概念和說明

【 FED觸覺界面的設(shè)計原理與性能】

FED觸覺界面是VTF架構(gòu)的核心感知部件，器件由交叉纖維電極、織物導(dǎo)電層以及中空墊片以層對層堆疊組裝的形式構(gòu)成。該結(jié)構(gòu)利用交叉纖維電極的應(yīng)力集中效應(yīng)與織物編織結(jié)構(gòu)的接觸面積調(diào)節(jié)能力，實現(xiàn)了超過450 kPa的壓力檢測范圍以及246.3 kPa?1的最大檢測靈敏度。此外，F(xiàn)ED觸覺界面具備與人類皮膚相當(dāng)?shù)目焖夙憫?yīng)能力（<40 ms）與壓力檢測極限（<8 Pa），并在超過5,000次壓力循環(huán)測試后仍保持信號穩(wěn)定，克服了織物壓縮形變?nèi)毕?，展現(xiàn)出優(yōu)異的耐久性。得益于碳納米管/水基聚氨酯導(dǎo)電復(fù)合材料在織物表面的牢固附著，F(xiàn)ED觸覺界面具備可水洗性能，且在水下的壓力響應(yīng)能力與在空氣中基本一致，從而為水下環(huán)境中的觸覺反饋提供了可靠支持。在實際抓取應(yīng)用測試中，該柔性界面可貼合于機械夾爪表面，在多種抓握姿態(tài)下穩(wěn)定工作，并能通過檢測接觸區(qū)應(yīng)力分布的周期性波動，實現(xiàn)對物體多向滑移的感知。

圖2 FED觸覺界面的設(shè)計原理與性能

【VTF自適應(yīng)抓取系統(tǒng)的構(gòu)建與應(yīng)用驗證】

自適應(yīng)抓取是一種智能抓取技術(shù)，可根據(jù)目標(biāo)物體的特性動態(tài)調(diào)整抓取策略和力度。然而，傳統(tǒng)抓取系統(tǒng)只限于機械化完成抓取控制，缺乏對不同物體的適應(yīng)性觸覺反饋，且存在無法預(yù)先感知物體特征與在非結(jié)構(gòu)化環(huán)境中定位困難的局限。為了解決上述問題，研究團隊開發(fā)了基于VTF架構(gòu)的自適應(yīng)抓取系統(tǒng)。VTF自適應(yīng)抓取系統(tǒng)通過視覺進行抓取路徑規(guī)劃，并評估各類物體的抓取力閾值。同時，F(xiàn)ED觸覺界面負(fù)責(zé)在抓取過程中感知施加力大小、接觸界面滑動和物體形狀變化，為系統(tǒng)提供實時觸覺反饋信號。在視覺識別和觸覺反饋的協(xié)同作用下，VTF自適應(yīng)抓取系統(tǒng)實現(xiàn)了對不同材料和尺寸物體無損壞、無滑動的高效抓取。

圖3 VTF自適應(yīng)抓取系統(tǒng)的構(gòu)建與應(yīng)用驗證

【基于VTF架構(gòu)的鋼琴演奏系統(tǒng)和水下抓取系統(tǒng)】

研究團隊構(gòu)建了基于VTF架構(gòu)的機器人鋼琴演奏系統(tǒng)。該系統(tǒng)通過視覺識別樂譜并轉(zhuǎn)化為機械臂動作，同時利用FED觸覺界面感知按鍵力度。虛擬鋼琴子系統(tǒng)根據(jù)彈奏力度，實時調(diào)整音量并以顏色梯度反饋力度大小，從而實現(xiàn)自主動態(tài)力彈奏行為，反映出系統(tǒng)在視觸覺協(xié)同指導(dǎo)下接近人類的交互能力。在高度動態(tài)的水下環(huán)境中，由于水的獨特光學(xué)特性，視覺定位面臨著重大挑戰(zhàn)。受人類在視覺受限場景下探索行為的啟發(fā)，本研究提出了觸覺輔助定位策略。借助FED觸覺界面優(yōu)異的水下傳感性能，以接觸信息補全視覺缺失的方式，有效克服了水下視覺的局限性，從而實現(xiàn)對非透明/透明水下物體的可靠抓取。

圖4 基于VTF架構(gòu)的鋼琴演奏系統(tǒng)和水下抓取系統(tǒng)

【基于VTF架構(gòu)的物品識別系統(tǒng)】

針對單一感知模態(tài)在物體識別中的局限性（如觸覺易混淆材質(zhì)相似物體、視覺易受外觀相似性干擾），本研究基于VTF架構(gòu)提出了并行特征融合物體識別策略。該策略分別通過視覺識別模型與觸覺卷積神經(jīng)網(wǎng)絡(luò)并行提取外觀描述性特征與柔軟度特征，有效避免了跨模態(tài)間識別干擾。該策略通過在決策層面對跨模態(tài)描述性特征進行互補性整合，構(gòu)建了對識別對象的完整描述。對比單一視覺（73.6%）與單一觸覺識別（85.6%），實現(xiàn)了97.7%的識別準(zhǔn)確率。這為工業(yè)分揀、家庭服務(wù)等復(fù)雜場景下機器人的魯棒環(huán)境感知與精準(zhǔn)識別操作提供了解決方案。

圖5基于VTF架構(gòu)的物品識別系統(tǒng)

總結(jié)

在這項研究中，研究者們首先提出了一種基于織物的FED觸覺界面，采用交叉纖維電極與編織結(jié)構(gòu)，具備超高靈敏度、寬壓力范圍及優(yōu)于皮膚的檢測極限與響應(yīng)速度。其壓力/滑動雙模檢測支持毫秒級反饋，可提升機器人對光滑、易碎物體的操作精度。通過復(fù)合導(dǎo)電材料在織物基底上的牢固粘附，F(xiàn)ED觸覺界面被賦予了優(yōu)異的水下使用性能以及可水洗特性，為水下抓取應(yīng)用提供了可靠硬件基礎(chǔ)。

為克服單模態(tài)感知的固有局限，研究團隊受人類跨模態(tài)協(xié)同機制啟發(fā)，提出了VTF架構(gòu)。通過整合視覺與觸覺信息，該架構(gòu)在物品抓取、識別等任務(wù)中展現(xiàn)出卓越性能。尤其在面對視覺退化場景時，依托觸覺輔助定位，實現(xiàn)了對水下透明物體這類困難目標(biāo)的有效操作，凸顯了跨模態(tài)融合在實際環(huán)境中的魯棒性與適應(yīng)性。VTF架構(gòu)的提出，推動了具身智能領(lǐng)域的發(fā)展，構(gòu)建了一種仿生式的跨模態(tài)感知交互新范式。為開發(fā)能夠應(yīng)對復(fù)雜動態(tài)場景的下一代智能系統(tǒng)提供了關(guān)鍵技術(shù)路徑，具有重要理論價值與應(yīng)用前景。