這兩天，在社交媒體 X 上，一種“穿墻透視技術(shù)”引起了廣泛討論。

這是 GitHub 平臺(tái)的一個(gè)開源項(xiàng)目 WiFi-DensePose，截至目前已獲得 3 萬+ 星標(biāo)。

簡(jiǎn)單來理解，它僅通過路由器的 Wifi 信號(hào)就可以穿透墻壁，實(shí)時(shí)推斷室內(nèi)人體的精確的運(yùn)動(dòng)軌跡和姿態(tài)。關(guān)鍵是，它不需要攝像頭或云計(jì)算、沒有激光雷達(dá)和傳感器，甚至連特殊硬件都不需要。

圖丨相關(guān)推文（來源：X）

現(xiàn)在，當(dāng)我們通常用攝像頭進(jìn)行監(jiān)控，在光線條件不佳的環(huán)境下，例如遇到遮擋、光線昏暗甚至完全黑暗等情況，不僅所拍攝的影像模糊，還涉及到隱私泄露等問題。另一方面，激光雷達(dá)等設(shè)備使用門檻較高，不僅價(jià)格高昂，還費(fèi)電。

該系統(tǒng)所使用的 WiFi 設(shè)備簡(jiǎn)單、成本低，不僅能實(shí)現(xiàn)信號(hào)穿墻，還不受光線等客觀條件的限制，也不會(huì)拍攝到人臉。

根據(jù)項(xiàng)目公開資料，該系統(tǒng)以 54,000 幀/秒的處理速度運(yùn)行，即便多人同時(shí)在室內(nèi)也可實(shí)現(xiàn)穿墻檢測(cè)，探測(cè)深度可達(dá) 5 米。系統(tǒng)完全在低成本硬件支持下運(yùn)行，例如 ESP32 傳感器網(wǎng)絡(luò)（每個(gè)節(jié)點(diǎn)成本低至約 1 美元），整個(gè)模型僅需 55 KB 內(nèi)存。

從硬件成本來看，該系統(tǒng)只需要普通 3 天線 WiFi 路由器，總成本大概在 54 美元。與激光雷達(dá)（約 700 美元）相比，具有顯著的價(jià)格優(yōu)勢(shì)。

這種技術(shù)在不侵犯隱私的條件下，能夠監(jiān)測(cè)室內(nèi)人體的姿態(tài)。此外，該系統(tǒng)在無需任何可穿戴設(shè)備的條件下，還可以檢測(cè)呼吸頻率（6-30 次/分鐘）和心率（40-120 次/分鐘）。

小型可編程邊緣模塊在本地分析信號(hào)，并隨時(shí)間的推移學(xué)習(xí)房間的射頻特征，從而使系統(tǒng)能夠?qū)h(huán)境與內(nèi)部發(fā)生的活動(dòng)進(jìn)行區(qū)分，相當(dāng)于在普通環(huán)境下獲得了一種空間感知能力。

圖丨工作原理（來源：GitHub）

這項(xiàng)技術(shù)的原型來自卡內(nèi)基梅隆大學(xué)團(tuán)隊(duì)的學(xué)術(shù)成果，相關(guān)論文題目為“DensePose from WiFi”。該系統(tǒng)的關(guān)鍵技術(shù)在于 WiFi 設(shè)備的信道狀態(tài)信息（CSI，Channel-state-information），通過 3 個(gè)發(fā)射天線和 3 個(gè)接收天線采集信號(hào)。

（來源：GitHub）

但是，CSI 一般僅用于二維感知，為更好地進(jìn)行空間感知，研究人員對(duì)原始 CSI 信號(hào)進(jìn)行相位去噪與校準(zhǔn)處理，以消除因設(shè)備時(shí)鐘不同步，以及環(huán)境干擾所引發(fā)的隨機(jī)漂移和跳變等問題。

（來源：GitHub）

研究人員以 100Hz 的采樣率在 30 個(gè)子載波頻率中進(jìn)行采集，然后他們將 5 個(gè)連續(xù)的 CSI 樣本整理成特定維度的幅度與相位張量，將它們作為模型的輸入數(shù)據(jù)。

（來源：GitHub）

在模型設(shè)計(jì)方面，該團(tuán)隊(duì)使用了兩階段的深度學(xué)習(xí)框架。第一階段是模態(tài)轉(zhuǎn)換網(wǎng)絡(luò)，基于多層感知機(jī)與卷積-反卷積結(jié)構(gòu)，把 CSI 信號(hào)映射成三通道特征圖，進(jìn)而實(shí)現(xiàn)了 1D 信號(hào)向 2D 空間表示的轉(zhuǎn)化。

第二階段通過改進(jìn)的 DensePose-RCNN 結(jié)構(gòu)，來評(píng)估人體檢測(cè)、關(guān)鍵點(diǎn)定位和密集姿態(tài)的特征。值得關(guān)注的是，它可以還原出人體的三維表面信息。

（來源：arXiv）

另一方面，研究團(tuán)隊(duì)采用遷移學(xué)習(xí)策略來提升訓(xùn)練效率。首先，研究人員用基于圖像的 DensePose 模型當(dāng)做教師網(wǎng)絡(luò)，然后對(duì)比 WiFi 信號(hào)生成的中間特征圖和圖像生成的特征圖，通過最小化兩者之間的差異來指導(dǎo)學(xué)生網(wǎng)絡(luò)的訓(xùn)練。

結(jié)果顯示，該方法將訓(xùn)練所需迭代次數(shù)顯著減少到 14.5 萬次，同時(shí)提升了模型的收斂速度和泛化能力。

這個(gè)系統(tǒng)在多種場(chǎng)景具有應(yīng)用前景，例如居家場(chǎng)景，實(shí)時(shí)觀測(cè)老人或兒童的摔倒和日�；顒�(dòng)行為；在智能家居場(chǎng)景，也可根據(jù)監(jiān)測(cè)到的姿勢(shì)進(jìn)行智能響應(yīng)；此外，還可用于室內(nèi)安防，來監(jiān)測(cè)是否有異常情況。

未來，隨著技術(shù)的發(fā)展和優(yōu)化，該技術(shù)有望成為兼具實(shí)用性和隱私保護(hù)的感知方式，并與當(dāng)下傳感器在特定場(chǎng)景下的應(yīng)用形成一種互補(bǔ)的方案。

參考資料：

https://x.com/oliviscusAI/status/2030602059712471112

https://github.com/ruvnet/RuView

https://arxiv.org/pdf/2301.00250

運(yùn)營/排版：何晨龍