模型反演攻擊（Model Inversion Attack, MIA）是一類通過訪問訓(xùn)練好的模型，重建具有代表性類別樣本的隱私攻擊方法。近期的生成式 MIA 借助生成對抗網(wǎng)絡(luò)（GAN）學(xué)習(xí)圖像先驗，從而在反演過程中生成高保真且語義一致的圖像。然而，這類方法的成功機制仍缺乏理論解釋。本文從流形假設(shè)（manifold hypothesis）出發(fā)，首次從幾何視角系統(tǒng)分析生成式 MIA 的本質(zhì)。研究發(fā)現(xiàn)，生成式反演過程在反向傳播中隱式地對梯度進行了“幾何去噪”：通過將損失梯度投影到生成器流形的切空間，去除了偏離流形的噪聲分量，并保留了與流形一致的語義方向。進一步實驗證明，當(dāng)模型的損失梯度與生成器流形更加對齊時，模型對 MIA 的脆弱性會相應(yīng)增強。基于這一發(fā)現(xiàn)，本文提出AlignMI，一種通過增強梯度-流形對齊來提升反演性能的高效方法。

論文題目： Generative Model Inversion Through the Lens of the Manifold Hypothesis 論文鏈接： https://arxiv.org/abs/2509.20177 代碼鏈接： https://github.com/tmlr-group/AlignMI

早期的 MIA 方法由 Fredrikson 等人提出，其核心思想是直接在輸入空間中進行優(yōu)化，通過梯度下降尋找最大化目標(biāo)類別預(yù)測分?jǐn)?shù)的輸入。然而，當(dāng)目標(biāo)模型為深度神經(jīng)網(wǎng)絡(luò)（DNN），且訓(xùn)練數(shù)據(jù)為高維自然圖像時，這種直接優(yōu)化往往難以產(chǎn)生語義合理的樣本。根本原因在于：自然圖像并非均勻分布于高維輸入空間，而是集中分布在一個低維流形上（即“流形假設(shè)”）。因此，簡單的梯度優(yōu)化常導(dǎo)致生成的樣本偏離圖像流形，出現(xiàn)噪聲和偽特征，無法反映真實的類別語義。為了解決這一問題，Zhang等人提出了一種基于生成對抗網(wǎng)絡(luò)（GAN）的生成式模型反演方法，通過學(xué)習(xí)分布先驗來約束攻擊優(yōu)化空間，使其集中在有意義的流形上，該思路顯著改善了重建樣本的視覺質(zhì)量與語義一致性，為高維數(shù)據(jù)條件下的模型反演夯實了重要基礎(chǔ)。

圖1： 生成式MIA框架和損失梯度可視化

盡管生成式 MIA 在實踐中表現(xiàn)出色，其背后為何能夠有效提取模型中潛藏的私有信息，卻仍缺乏系統(tǒng)的解釋。如圖 1(a) 所示，生成式反演通過反演階段的分類損失梯度從目標(biāo)模型中提取隱私信息；圖 1(b) 展示了在高分辨率設(shè)置下對 PPA 方法的損失梯度可視化，比較了交叉熵?fù)p失與龐加萊損失。在這兩種情況下，梯度均呈現(xiàn)出顯著的噪聲特征。

二、問題分析與方法提出

生成式MIA通過利用反演時損失梯度對目標(biāo)模型中編碼的隱私信息進行挖掘，以達到重建訓(xùn)練數(shù)據(jù)的目的。基于梯度所呈現(xiàn)出的顯著噪聲特征，我們嘗試從幾何的角度進行分析，發(fā)現(xiàn)生成式MIA能夠奏效的原因在于其隱式地對損失梯度進行了去噪處理。具體而言，如圖2所示，在模型反演過程中，生成式 MIA 將損失梯度投影到生成器流形的切空間上。這一過程保留了與流形對齊的方向，同時過濾掉了偏離流形的噪聲成分。

圖2： 損失梯度投影到生成流形的幾何解釋

我們又通過測量損失梯度與生成器流形之間的對齊程度，發(fā)現(xiàn)模型的損失梯度中包含的有效信息有限。如圖 3 所示，在高分辨和低分辨兩種實驗場景下，損失梯度往往都與生成器流形的切空間存在較大偏差，這表明損失梯度中與流形對齊的、富有語義的成分較少，而噪聲成分占比較大。這種有限的有效信息限制了生成式 MIA 在反演過程中從目標(biāo)模型中提取私有信息的能力，從而影響了其反演性能。

左：低分辨率（DCGAN）中：高分辨率（StyleGAN）右：反演過程動態(tài) 圖3： 反演過程中的梯度流形對齊

根據(jù)以上的幾何分析和實驗觀察，我們提出了一個假設(shè)：當(dāng)模型的損失梯度與生成流形的切空間更加一致時，模型往往更容易受到生成式 MIA 的影響。為了驗證這個假設(shè)，我們設(shè)計了一個新穎的訓(xùn)練目標(biāo)，通過在標(biāo)準(zhǔn)分類損失的基礎(chǔ)上添加一個幾何對齊項，顯示地促進損失梯度與生成器流形之間的對齊程度。具體而言，我們利用預(yù)訓(xùn)練的變分自編碼器（VAE）來估計數(shù)據(jù)流形的切空間，并在訓(xùn)練過程中鼓勵模型的輸入梯度與估計的流形切空間對齊。

圖4：梯度-流形對齊的實證評估圖5：MIA 在具有不同對齊分?jǐn)?shù)的vanilla模型和對齊感知模型上取得的反演性能

表1：原始模型和三種對齊感知模型的對齊分?jǐn)?shù)、測試準(zhǔn)確率和反演性能

假設(shè)驗證的實驗結(jié)果如圖4、圖5和表1所示。圖 4（a）表明隨著訓(xùn)練時對齊分?jǐn)?shù)的增加，模型的測試準(zhǔn)確率呈現(xiàn)下降趨勢，說明模型的梯度-流形對齊程度和泛化性能之間存在權(quán)衡。圖 4（b）表明訓(xùn)練時梯度-流形對齊程度的增加會導(dǎo)致反演時梯度-流形對齊程度的增加。圖 4（c）則表明使用標(biāo)準(zhǔn)損失函數(shù)訓(xùn)練得到的模型，在測試準(zhǔn)確率有差異的情況下，梯度-流形對齊程度也幾乎一致。這些結(jié)果驗證了我們提出的流形對齊訓(xùn)練目標(biāo)函數(shù)的有效性。圖 5 則比較了具有不同對齊分?jǐn)?shù)的模型在 GMI (LOM) 攻擊方法下的脆弱性，結(jié)合表 1 的數(shù)據(jù)，揭示了模型脆弱性與梯度-流形對齊之間的”倒置 V 形”關(guān)系，即模型的 MIA 脆弱性隨著對齊分?jǐn)?shù)的增加先增加后減少，說明梯度-流形對齊創(chuàng)造了一個新的攻擊面，從而驗證了我們提出的假設(shè)。

那么進一步的，我們提出了一個自然的問題：能否在反演階段，通過增強梯度與流形的對齊程度，來提升生成式 MIA 的性能？為此，我們提出了一種全新的免訓(xùn)練（training-free）方法AlignMI，在不修改模型參數(shù)的前提下，通過在反演過程中主動增強梯度與生成器流形的對齊程度提升生成式 MIA 的性能，核心思想是在合成輸入的局部鄰域內(nèi)采樣多個變體，并平均相應(yīng)的損失梯度，從而削弱噪聲的、偏離流形的分量，同時增強與生成器流形對齊的一致方向，產(chǎn)生更具語義信息量的梯度信號。其中，擾動平均對齊（PAA）通過在合成輸入的局部鄰域內(nèi)添加隨機擾動來生成多個樣本變體，變換平均對齊（TAA）則采用語義不變的圖像變換（如隨機裁剪、翻轉(zhuǎn)等）來生成樣本變體。具體步驟如下：

1. 局部鄰域采樣 ：

   在合成輸入的局部鄰域內(nèi)添加隨機擾動或應(yīng)用語義不變的圖像變換生成多個樣本變體。

2. 損失梯度計算 ：

   對每個采樣的樣本變體，計算其損失梯度。

3. 梯度平均處理 ：

   將采樣得到的多個樣本變體的損失梯度進行平均，得到一個平滑且更具語義信息的梯度估計。

4. 優(yōu)化更新 ：

   利用平均后的梯度估計來更新生成器的輸入隱變量，從而優(yōu)化合成輸入，指導(dǎo)合成輸入向更符合目標(biāo)類別特征的方向變化。

如表 2 所示，將 PPA 方法與 PAA 和 TAA 策略結(jié)合后，所有關(guān)鍵指標(biāo)均呈現(xiàn)改進趨勢。在 ResNet-18 、DenseNet-121 和 ResNeSt-50三個模型上，PAA 策略和TAA 策略都使 Acc@1 得到提升，并讓KNN Dist 有所下降。這些結(jié)果表明， AlignMI 方法能有效增強模型反演攻擊的性能，驗證了其在提升梯度-流形對齊方面的有效性。

四、總結(jié)與展望

本文從幾何角度深入分析了生成式模型反演攻擊的有效性，揭示了其隱含的梯度去噪機制。基于此，研究提出了增強模型反演性能的新方法 AlignMI，并通過實驗驗證了其有效性。這一成果不僅增進了對生成式 MIA 的理解，還為開發(fā)更強大的防御策略提供了新視角。未來研究將進一步探索如何在高分辨率設(shè)置下降低計算成本，以及如何緩解梯度-流形對齊與模型泛化性能之間的權(quán)衡問題。

來源：公眾號【HKBU計算機系】

llustration From IconScout By IconScout Store

-The End-

掃碼觀看！

本周上新！

“AI技術(shù)流”原創(chuàng)投稿計劃

TechBeat是由將門創(chuàng)投建立的AI學(xué)習(xí)社區(qū)（www.techbeat.net）。社區(qū)上線700+期talk視頻，3000+篇技術(shù)干貨文章，方向覆蓋CV/NLP/ML/Robotis等；每月定期舉辦頂會及其他線上交流活動，不定期舉辦技術(shù)人線下聚會交流活動。我們正在努力成為AI人才喜愛的高質(zhì)量、知識型交流平臺，希望為AI人才打造更專業(yè)的服務(wù)和體驗，加速并陪伴其成長。

投稿內(nèi)容

// 最新技術(shù)解讀/系統(tǒng)性知識分享 //

// 前沿資訊解說/心得經(jīng)歷講述 //

投稿須知

稿件需要為原創(chuàng)文章，并標(biāo)明作者信息。

我們會選擇部分在深度技術(shù)解析及科研心得方向，對用戶啟發(fā)更大的文章，做原創(chuàng)性內(nèi)容獎勵

投稿方式

發(fā)送郵件到

michellechang@thejiangmen.com

或添加工作人員微信（michelle333_）投稿，溝通投稿詳情

關(guān)于我“門”

將門是一家以專注于數(shù)智核心科技領(lǐng)域的新型創(chuàng)投機構(gòu)，也是北京市標(biāo)桿型孵化器。 公司致力于通過連接技術(shù)與商業(yè)，發(fā)掘和培育具有全球影響力的科技創(chuàng)新企業(yè)，推動企業(yè)創(chuàng)新發(fā)展與產(chǎn)業(yè)升級。

將門成立于2015年底，創(chuàng)始團隊由微軟創(chuàng)投在中國的創(chuàng)始團隊原班人馬構(gòu)建而成，曾為微軟優(yōu)選和深度孵化了126家創(chuàng)新的技術(shù)型創(chuàng)業(yè)公司。

如果您是技術(shù)領(lǐng)域的初創(chuàng)企業(yè)，不僅想獲得投資，還希望獲得一系列持續(xù)性、有價值的投后服務(wù)，歡迎發(fā)送或者推薦項目給我“門”:

bp@thejiangmen.com

點擊右上角，把文章分享到朋友圈