隨著人機(jī)融合技術(shù)的不斷發(fā)展，具備多模態(tài)感知與閉環(huán)交互能力的可穿戴電子界面已成為智能設(shè)備的關(guān)鍵推動(dòng)力。然而，如何在保持器件緊湊與自給自足的前提下實(shí)現(xiàn)類似人類皮膚的多功能感知，仍然是領(lǐng)域內(nèi)的一項(xiàng)重大挑戰(zhàn)。傳統(tǒng)多模態(tài)傳感器通常依賴剛性材料、分立元件和外部電源，導(dǎo)致設(shè)備結(jié)構(gòu)復(fù)雜、體積臃腫，且信號(hào)間存在耦合誤差，限制了其在真實(shí)場(chǎng)景中的應(yīng)用效果。

近日，太原理工大學(xué)張虎林教授、新加坡國(guó)立大學(xué)翟偉博士合作成功開(kāi)發(fā)出一種基于聚乙烯醇（PVA）水凝膠的自供電電子皮膚，該器件通過(guò)集成熱原電池、壓離子和擴(kuò)散三種機(jī)制，實(shí)現(xiàn)了對(duì)皮膚溫度、動(dòng)脈脈搏和汗液分泌的同步、自供電傳感。該水凝膠電子皮膚具有高拉伸性（>800%）和低模量（<300 kPa），并通過(guò)獨(dú)特的棱柱結(jié)構(gòu)設(shè)計(jì)協(xié)同增強(qiáng)了離子極化效應(yīng)。此外，研究團(tuán)隊(duì)還開(kāi)發(fā)了一種結(jié)合局部注意力機(jī)制的時(shí)間序列機(jī)器學(xué)習(xí)模型，用于解耦多模態(tài)信號(hào)?；诖耍瑘F(tuán)隊(duì)進(jìn)一步構(gòu)建了一款主動(dòng)式多模態(tài)信號(hào)發(fā)生器（AMSG）腕帶界面，可同時(shí)實(shí)現(xiàn)生理檢測(cè)、機(jī)器人控制及觸覺(jué)反饋再現(xiàn)，為智能交互提供了一個(gè)高效的材料平臺(tái)。相關(guān)論文以“A self-powered hydrogel electronic skin with decoupled multimodal sensing for closed-loop human-machine interactions”為題，發(fā)表在

Nature Communications

仿生設(shè)計(jì)與系統(tǒng)集成

研究團(tuán)隊(duì)從人類皮膚的感知機(jī)制中汲取靈感，將熱原電池效應(yīng)、壓離子效應(yīng)和離子擴(kuò)散效應(yīng)巧妙地集成于單一水凝膠材料中，分別模擬了皮膚中自由神經(jīng)末梢的溫度感知、梅克爾細(xì)胞的壓力感知以及魯菲尼末梢的電解質(zhì)感知。為了協(xié)同這三種機(jī)制，水凝膠被設(shè)計(jì)成獨(dú)特的棱柱結(jié)構(gòu)，該結(jié)構(gòu)能夠?qū)C(jī)械應(yīng)力集中于尖端，并沿皮膚法線方向放大應(yīng)力誘導(dǎo)的離子極化，從而顯著提升輸出電流和機(jī)械靈敏度?；谶@一高性能的電子皮膚，團(tuán)隊(duì)進(jìn)一步構(gòu)建了一款高度集成的AMSG腕帶。該腕帶包含基于水凝膠的信號(hào)生成單元、信號(hào)復(fù)現(xiàn)單元以及信號(hào)處理與傳輸電路，所有電子元件均被柔性封裝，為用戶提供了一個(gè)舒適、可穿戴的人機(jī)交互平臺(tái)。通過(guò)結(jié)合長(zhǎng)短期記憶網(wǎng)絡(luò)（LSTM）和卷積神經(jīng)網(wǎng)絡(luò)（CNN）等機(jī)器學(xué)習(xí)算法，該系統(tǒng)能夠高精度地識(shí)別復(fù)雜刺激、響應(yīng)手勢(shì)指令，并再現(xiàn)來(lái)自機(jī)器人手指的觸覺(jué)感受，為智能假肢、軟體機(jī)器人和沉浸式虛擬交互等應(yīng)用鋪平了道路。

圖1：PVA水凝膠電子皮膚的合理設(shè)計(jì)及其在AMSG腕帶界面中的集成。 a 水凝膠電子皮膚及其多模態(tài)傳感機(jī)制與人類皮膚的對(duì)比示意圖：（i）用于溫度傳感的熱原電池效應(yīng)，通過(guò)熱敏離子通道（如TRP通道）模擬了自由神經(jīng)末梢對(duì)溫度的離子響應(yīng)；（ii）壓離子傳感反映了默克爾細(xì)胞和魯菲尼末梢通過(guò)機(jī)械門(mén)控離子通道表現(xiàn)出的機(jī)械敏感行為；（iii）基于擴(kuò)散的電解質(zhì)傳感模擬了自由神經(jīng)末梢（如TRPV1、ASIC等）的化學(xué)敏感離子通道。 b 熱原電池、壓離子和擴(kuò)散效應(yīng)在棱柱結(jié)構(gòu)設(shè)計(jì)中的協(xié)同集成。 c 完全集成的AMSG腕帶及其結(jié)構(gòu)概覽，包含一個(gè)信號(hào)生成單元、一個(gè)信號(hào)復(fù)現(xiàn)單元以及信號(hào)處理和傳輸電路。AMSG單元（右圖）包含一個(gè)基于水凝膠的傳感器陣列和多個(gè)封裝層。 d 界面多功能性的示意圖，包括皮膚溫度、脈搏波形和汗液Na?濃度的實(shí)時(shí)監(jiān)測(cè)，以及通過(guò)基于手勢(shì)的機(jī)器人控制和觸覺(jué)反饋再現(xiàn)實(shí)現(xiàn)的人機(jī)交互。

水凝膠的制備與力學(xué)性能優(yōu)化

研究團(tuán)隊(duì)采用了一種循序漸進(jìn)的溶劑替代策略來(lái)制備PVA水凝膠。首先通過(guò)冷凍-解凍（FT）方法獲得基礎(chǔ)水凝膠，隨后依次進(jìn)行甘油替代（GS）和離子溶液替代（IS）。通過(guò)這一過(guò)程，水凝膠的網(wǎng)絡(luò)結(jié)構(gòu)逐漸致密化，力學(xué)性能得到顯著提升。IS水凝膠在保持了GS水凝膠高拉伸性（>830%）的同時(shí)，其有效彈性模量降至300 kPa，進(jìn)入了人體皮膚模量的典型范圍。這一機(jī)械增強(qiáng)的機(jī)制在于甘油替代促進(jìn)了PVA鏈的纏結(jié)和交聯(lián)，形成了能阻礙裂紋擴(kuò)展的納米微晶區(qū)；而后續(xù)的離子替代中，F(xiàn)e3?離子與PVA鏈上的羧基氧結(jié)合，雖然增強(qiáng)了交聯(lián)，但水性環(huán)境同時(shí)削弱了部分鏈間氫鍵，從而降低了材料的剛度，使其更柔軟、更貼合皮膚。通過(guò)差示掃描量熱法（DSC）、X射線衍射（XRD）和二維相關(guān)光譜（2D-COS）等分子層面表征，研究證實(shí)了IS水凝膠在保持較高結(jié)晶度的同時(shí)，其剛度顯著降低，這種結(jié)晶度與剛度的解耦主要?dú)w因于強(qiáng)鏈間氫鍵的部分?jǐn)嗔押洼^弱的Fe3?介導(dǎo)離子相互作用的形成。這種溶劑替代策略相較于傳統(tǒng)方法，成功實(shí)現(xiàn)了柔軟且高彈PVA水凝膠的制備，顯著提升了穿戴舒適性。

圖2 | 通過(guò)順序溶劑置換制備PVA水凝膠及其材料特性。 a 制備過(guò)程示意圖，包括冷凍-解凍（FT）、甘油置換（GS）和離子置換（IS），逐步增強(qiáng)水凝膠網(wǎng)絡(luò)。b FT、GS和IS在DMSO-d?中于295 K下的1H-NMR譜圖。c 不同溶劑置換處理后PVA水凝膠的拉伸應(yīng)力-應(yīng)變曲線，與人體皮膚范圍（橙色陰影區(qū)域）比較。d 不同處理后水凝膠的韌性和剛度。e 涉及致密結(jié)晶區(qū)和離子結(jié)晶區(qū)的機(jī)械增強(qiáng)機(jī)制示意圖。f FT、GS和IS的DSC熱分析圖。g FT、GS和IS的XRD圖譜。h 顯示FT、GS和IS之間結(jié)晶度演變的WAXS圖譜。i FT、GS和IS的同步和異步2D-COS圖譜，其中紅色和藍(lán)色分別表示正強(qiáng)度和負(fù)強(qiáng)度。j 本研究中實(shí)現(xiàn)的水凝膠韌性與各種已報(bào)道水凝膠和生物組織的比較。

多模態(tài)傳感機(jī)制與性能

該水凝膠電子皮膚的多模態(tài)傳感能力源于其內(nèi)部的三種獨(dú)立離子驅(qū)動(dòng)機(jī)制。在溫度傳感方面，它利用熱原電池效應(yīng)，通過(guò)皮膚與環(huán)境間的溫差驅(qū)動(dòng)Fe2?/Fe3?氧化還原電對(duì)的平衡移動(dòng)，從而自發(fā)產(chǎn)生熱電壓。實(shí)驗(yàn)表明，在0.05 M Fe2?/Fe3?濃度下，其塞貝克系數(shù)可達(dá)1.6 mV K?1，并能感知小至0.1 K的溫度變化。在壓力傳感方面，基于壓離子效應(yīng)，機(jī)械應(yīng)力導(dǎo)致水凝膠內(nèi)陰陽(yáng)離子遷移速率不同，形成局部離子富集和瞬態(tài)電勢(shì)。棱柱結(jié)構(gòu)設(shè)計(jì)將垂直應(yīng)力集中放大，使輸出電流提升逾百倍，實(shí)現(xiàn)了對(duì)低至60 Pa壓力的高靈敏度（1.94 kPa?1）和快速響應(yīng)（~37 ms），并能清晰捕捉到動(dòng)脈脈搏波中的沖擊波、潮波和重搏波。在汗液電解質(zhì)傳感方面，通過(guò)鹽酸處理的親水性多孔PDMS基底， sweat能高效輸運(yùn)至水凝膠，由濃度梯度驅(qū)動(dòng)的離子擴(kuò)散（伴隨索雷特效應(yīng)增強(qiáng)）產(chǎn)生可測(cè)量的電流變化。該傳感器對(duì)Na?濃度展現(xiàn)出優(yōu)異的線性和可重復(fù)性。重要的是，三種信號(hào)的物理起源不同，壓離子信號(hào)不受溫度和離子濃度影響，而溫度與離子濃度信號(hào)間雖存在輕微的索雷特效應(yīng)的交互作用，但在研究范圍內(nèi)均保持線性，為后續(xù)的信號(hào)解耦提供了基礎(chǔ)。

圖3 | 多模態(tài)感知能力和機(jī)制。 a 作為溫度感知機(jī)制的熱伽伐尼效應(yīng)示意圖。b PVA鏈結(jié)構(gòu)及其在Fe2?/Fe3?離子周圍溶劑化行為的MD模擬，插圖顯示第一溶劑化殼層。c PVA水凝膠中Fe3?和Fe2?離子周圍氧原子的徑向分布函數(shù)g(r)（實(shí)線）和配位數(shù)N(r)（虛線）。d 不同溫度梯度下的輸出電壓-電流曲線及相應(yīng)功率密度。e 輸出電流和電流密度作為溫度差函數(shù)的關(guān)系。f 用于壓力感知的壓電離子效應(yīng)示意圖。g 使用棱柱結(jié)構(gòu)在d33模式下增強(qiáng)離子壓電輸出。h 壓力作用下離子濃度梯度和電位分布的COMSOL模擬。i 增加變形時(shí)PVA凝膠中應(yīng)力分布的COMSOL模擬。j 相對(duì)電流變化作為施加壓力的函數(shù)。k 從橈動(dòng)脈脈搏測(cè)量的波形信號(hào)。l 不同碳紙表面：原始、PDMS涂層、穿孔和鹽酸浸泡的接觸角測(cè)量。m 汗液傳輸電極的頂視圖及其傳輸能力（比例尺：1 mm）。n 用于汗液檢測(cè)的擴(kuò)散效應(yīng)示意圖。o 對(duì)不同汗液Na?濃度的電流響應(yīng)。p 在NaCl添加和水稀釋的10個(gè)交替循環(huán)中的重復(fù)電流響應(yīng)。

基于機(jī)器學(xué)習(xí)的多模信號(hào)解耦與生理監(jiān)測(cè)

為實(shí)現(xiàn)對(duì)復(fù)雜生理信號(hào)的實(shí)時(shí)解讀，研究團(tuán)隊(duì)搭建了一個(gè)多模態(tài)刺激平臺(tái)，模擬體溫、脈搏和汗液分泌，并開(kāi)發(fā)了一個(gè)基于LSTM和局部注意力機(jī)制的機(jī)器學(xué)習(xí)模型。該模型利用信號(hào)演化的高階馬爾可夫性質(zhì)，能夠?qū)⒉杉降膹?fù)合電流信號(hào)實(shí)時(shí)、準(zhǔn)確地解耦為溫度、壓力和Na?濃度三個(gè)獨(dú)立分量。在長(zhǎng)達(dá)3000個(gè)時(shí)間步的測(cè)試中，模型對(duì)溫度和壓力的估計(jì)誤差低于2%，對(duì)相對(duì)微弱的Na?信號(hào)誤差也控制在30%以內(nèi)。為了驗(yàn)證其實(shí)用性，研究模擬了放松、走路、跑步、睡覺(jué)和發(fā)燒五種典型生理狀態(tài)，AMSG腕帶監(jiān)測(cè)到的體溫、心率和汗液Na?濃度變化與商用傳感器的結(jié)果高度吻合。例如，在跑步狀態(tài)下，監(jiān)測(cè)到心率升至133 bpm，汗液Na?濃度累積至90 mmol L?1。這些數(shù)據(jù)可通過(guò)云連接傳輸至遠(yuǎn)程健康管理系統(tǒng)，實(shí)現(xiàn)持續(xù)監(jiān)測(cè)與反饋。

圖4 | 通過(guò)機(jī)器學(xué)習(xí)模型解耦的多模態(tài)生理感知。 a AMSG腕帶界面用于體溫、脈搏和汗液分泌多模態(tài)感知的示意圖，通過(guò)分別施加溫度、壓力和Na?電解質(zhì)刺激模擬獲得其特征信號(hào)。b 基于機(jī)器學(xué)習(xí)的信號(hào)解耦模型架構(gòu)，包含三個(gè)具有局部注意力的LSTM層和三個(gè)全連接層，用于獨(dú)立提取和解耦每種刺激的信號(hào)特征。c LSTM網(wǎng)絡(luò)的內(nèi)部結(jié)構(gòu)。d 多刺激同時(shí)作用下的復(fù)合信號(hào)與其解耦分量的比較。e 不同活動(dòng)狀態(tài)（放松、行走、跑步、睡眠、發(fā)熱）下體溫、脈搏和汗液Na?濃度的多模態(tài)監(jiān)測(cè)，與商用設(shè)備對(duì)比。f 顯示多模態(tài)信號(hào)實(shí)時(shí)波形和相應(yīng)監(jiān)測(cè)輸出的用戶界面。

閉環(huán)人機(jī)交互與觸覺(jué)復(fù)現(xiàn)

AMSG腕帶進(jìn)一步被集成到一個(gè)具有閉環(huán)控制和反饋能力的人機(jī)交互界面中。腕帶能感知由不同手勢(shì)引起的 forearm肌肉收縮壓力信號(hào)，結(jié)合一維卷積神經(jīng)網(wǎng)絡(luò)（1D-CNN）深度學(xué)習(xí)框架，系統(tǒng)對(duì)10種腕部手勢(shì)的平均識(shí)別準(zhǔn)確率達(dá)到了97.57%，主成分分析（PCA）也清晰展示了不同手勢(shì)信號(hào)的聚類分離。這些手勢(shì)指令可實(shí)時(shí)無(wú)線控制機(jī)械臂運(yùn)動(dòng)。更為先進(jìn)的是，通過(guò)在機(jī)械手端也集成AMSG，系統(tǒng)實(shí)現(xiàn)了雙向通信：機(jī)械手抓取物體時(shí)感知的溫度和壓力信息，可被線性映射為用戶端微珀帖爾器的熱輸出和線性馬達(dá)的振動(dòng)頻率，從而讓用戶在不直接接觸的情況下也能感受到物體的溫度和接觸力。此外，系統(tǒng)還集成了熱安全預(yù)警功能，當(dāng)機(jī)械手接近溫度過(guò)高（>80°C）或過(guò)低（<-20°C）的物體時(shí)，會(huì)觸發(fā)用戶的溫度和振動(dòng)警報(bào)。例如，在抓取熱水紙杯的場(chǎng)景中，系統(tǒng)通過(guò)分析接近、接觸和抓握三階段的電流信號(hào)，實(shí)現(xiàn)了非接觸溫度預(yù)警、精確溫度感知和握力自適應(yīng)調(diào)節(jié)，整個(gè)過(guò)程通過(guò)用戶界面實(shí)時(shí)顯示波形和參數(shù)，生動(dòng)展示了AMSG作為自供電、多功能人機(jī)交互界面的巨大潛力。

圖5 | 通過(guò)基于手勢(shì)的機(jī)器人控制和觸覺(jué)反饋再現(xiàn)演示閉環(huán)人機(jī)交互。 a 使用AMSG腕帶捕獲手勢(shì)并通過(guò)深度學(xué)習(xí)模型解釋實(shí)現(xiàn)機(jī)械臂的實(shí)時(shí)控制。b 基于200個(gè)測(cè)試樣本的電流信號(hào)序列，10種不同手勢(shì)分類準(zhǔn)確率的混淆矩陣。c 10種手勢(shì)的主成分分析及其聚類分化。d 顯示手勢(shì)命令電流信號(hào)和相應(yīng)機(jī)器人運(yùn)動(dòng)輸出的用戶界面。e 機(jī)器人手上AMSG檢測(cè)到的溫度和壓力在用戶腕帶上再現(xiàn)的應(yīng)用場(chǎng)景示意圖。f 根據(jù)電流幅度調(diào)節(jié)溫度和振動(dòng)響應(yīng)。g 機(jī)器人手接近或遠(yuǎn)離熱源或冷源時(shí)AMSG的電流信號(hào)，通過(guò)光學(xué)和紅外圖像展示。h 抓握紙杯時(shí)的電流信號(hào)，通過(guò)幅度和切線角的變化確定適當(dāng)?shù)牧α克?。i 顯示實(shí)時(shí)觸覺(jué)信號(hào)波形和觸覺(jué)再現(xiàn)參數(shù)的用戶界面。

總結(jié)與展望

總而言之，這項(xiàng)研究成功開(kāi)發(fā)了一種自供電、單組份的水凝膠電子皮膚，通過(guò)在一個(gè)經(jīng)結(jié)構(gòu)工程化設(shè)計(jì)的水凝膠基體中協(xié)同熱原電池、壓離子和擴(kuò)散效應(yīng)，巧妙地模擬了人類皮膚的多種感知功能。其卓越的皮膚共形性、靈敏度、可重復(fù)性以及自供電特性，使其成為可靠的非侵入式生理監(jiān)測(cè)的理想平臺(tái)。通過(guò)將水凝膠電子皮膚進(jìn)一步集成為AMSG腕帶，并結(jié)合用于信號(hào)解耦的機(jī)器學(xué)習(xí)算法和系統(tǒng)級(jí)集成，該界面不僅實(shí)現(xiàn)了實(shí)時(shí)多模態(tài)健康監(jiān)測(cè)，還展示了手勢(shì)指令控制、觸覺(jué)反饋再現(xiàn)和主動(dòng)安全預(yù)警等閉環(huán)人機(jī)交互功能。這項(xiàng)工作提供了一個(gè)多功能的自供電多模態(tài)傳感材料平臺(tái)，預(yù)示著其在健康監(jiān)測(cè)、軟體機(jī)器人和沉浸式虛擬環(huán)境等領(lǐng)域的廣泛應(yīng)用潛力。