多模態(tài)大模型崛起，安全問題緊隨其后

近年來(lái)，大語(yǔ)言模型（LLMs）的突破式進(jìn)展，催生了視覺語(yǔ)言大模型（LVLMs）的快速興起，代表作如 GPT-4V、LLaVA 等。通過(guò)將圖像與文本深度融合，LVLMs 在圖文問答、視覺推理等任務(wù)中大放異彩。但與此同時(shí)，一個(gè)嚴(yán)峻的問題也悄然浮現(xiàn) ——LVLMs 比起純文本模型更容易被 “越獄”。攻擊者僅需通過(guò)圖像注入危險(xiǎn)意圖，即使搭配直白的指令，模型也往往難以拒絕。

為應(yīng)對(duì)這一挑戰(zhàn)，已有方法嘗試用跨模態(tài)安全微調(diào)、系統(tǒng)提示詞設(shè)計(jì)或外部判別模塊來(lái)加固模型防線。然而，這些方法普遍存在訓(xùn)練成本高、泛化能力差、甚至誤判正常輸入的風(fēng)險(xiǎn)。

模型其實(shí) “心里有數(shù)”：越獄時(shí)隱藏狀態(tài)在報(bào)警

來(lái)自香港中文大學(xué) MMLab 與淘天集團(tuán)未來(lái)生活實(shí)驗(yàn)室的研究者提出了 HiddenDetect—— 種無(wú)需訓(xùn)練的越獄檢測(cè)新方法。核心作者包括姜一雷，譚映水，高欣顏，岳翔宇。

他們的核心發(fā)現(xiàn)是：即使 LVLMs 表面上被越獄、生成了不當(dāng)內(nèi)容，其隱藏狀態(tài)中依然保留著拒絕的信號(hào)。特別是在模型的中間層，這些信號(hào)往往比最終輸出更早、更敏感地 “察覺” 到潛在風(fēng)險(xiǎn)。更有趣的是，文字輸入和圖像輸入會(huì)激活完全不同的 “安全通路”，也就是說(shuō)，LVLMs 對(duì)不同模態(tài)的 “危險(xiǎn)感知” 機(jī)制是有區(qū)分的。

論文已被 ACL2025 main conference 收錄。

• 項(xiàng)目開源 github 鏈接：https://github.com/leigest519/hiddendetect
• arxiv 鏈接：https://arxiv.org/abs/2502.14744

從 “拒絕語(yǔ)義” 中解碼多模態(tài)大模型的安全感知

圖 1: 基于模型自身激活模式的多模態(tài)越獄檢測(cè)方法。

首先，研究者從模型拒絕回答不安全輸入的響應(yīng)中，統(tǒng)計(jì)出一組高頻出現(xiàn)的、具有明確拒絕語(yǔ)義的 token（如 “sorry”, “unable”, “unfortunately” 等），并利用 one-hot 編碼的方式，在詞匯空間中構(gòu)造出一個(gè) “拒絕語(yǔ)義向量” （RV），作為模型拒絕行為的表示。隨后，研究者將模型各層的隱藏狀態(tài)通過(guò)反嵌入層投影回詞匯空間，并計(jì)算出其與 RV 的余弦相似度，以此衡量當(dāng)前層所包含的拒絕語(yǔ)義強(qiáng)度。該過(guò)程會(huì)生成一個(gè)長(zhǎng)度等于模型層數(shù)的向量 F，用于刻畫模型在各層對(duì)拒絕語(yǔ)義的激活強(qiáng)度。

實(shí)驗(yàn)結(jié)果顯示，F(xiàn) 在安全與不安全輸入之間存在顯著差異：對(duì)于安全樣本，F(xiàn) 的整體數(shù)值普遍較低；而對(duì)于不安全輸入，F(xiàn) 通常在中間層逐步升高至峰值，隨后在最后幾層出現(xiàn)明顯回落。此外，無(wú)論輸入是否安全，F(xiàn) 在最后一層的數(shù)值仍普遍高于倒數(shù)第二層，表明模型在最終輸出前仍保留一定的拒絕傾向。

為進(jìn)一步分析模型的安全響應(yīng)機(jī)制，研究者構(gòu)建了三個(gè)小樣本輸入集，分別用于衡量模型在不同類型輸入下的拒絕激活表現(xiàn)。其中，安全輸入集由無(wú)害樣本組成，既包含純文本輸入，也包含圖文組合輸入；另兩個(gè)不安全輸入集則分別對(duì)應(yīng)純文本攻擊樣本和圖文聯(lián)合的攻擊樣本。

如圖 2 所示，每組樣本都計(jì)算出其對(duì)應(yīng)的拒絕強(qiáng)度向量 F，并將不安全輸入的 F 與安全輸入的 F 相減，得到 “拒絕差異向量” (FDV），用于衡量模型在處理不安全輸入時(shí)相較于安全輸入所產(chǎn)生的激活差異。

圖 2: 通過(guò)少樣本分析方法，識(shí)別出模型中對(duì)安全最敏感的關(guān)鍵層。

模態(tài)不同，響應(yīng)路徑也不同

如圖 3 所示，兩種模態(tài)的 FDV 曲線均表明模型在部分中間層對(duì)拒絕信號(hào)的響應(yīng)強(qiáng)度顯著高于輸出層，說(shuō)明這些中間層對(duì)安全性更加敏感。具體而言，文本輸入的拒絕激活差異在較早的層級(jí)便迅速增強(qiáng)，而圖文輸入的響應(yīng)整體偏后，且強(qiáng)度相對(duì)較弱，說(shuō)明視覺模態(tài)的引入在一定程度上削弱了模型拒答機(jī)制的早期響應(yīng)能力。

圖 3：純文本樣本和跨模態(tài)樣本的 FDV 曲線。

實(shí)驗(yàn)還發(fā)現(xiàn)如果模型對(duì)拒絕信號(hào)的強(qiáng)激活集中在更靠后的層，或者整體激活強(qiáng)度變?nèi)?，越獄攻擊就更容易成功。有趣的是，研究者發(fā)現(xiàn)，僅僅為一條文本攻擊提示加上一張圖片，就可能讓模型的拒絕反應(yīng)變得延遲，原本中層就能激活的拒絕信號(hào)被 “推遲” 到了后層，整體響應(yīng)強(qiáng)度也降低，從而削弱了模型的安全防護(hù)能力。

最終，該小樣本分析方法通過(guò) FDV 值成功定位了模型中對(duì)不同模態(tài)輸入安全性最敏感的層。研究者將模型最后一層的差異值作為參考基線，因其對(duì)部分不安全輸入缺乏足夠辨別力；而那些 FDV 顯著高于末層的中間層，通常具備更強(qiáng)的安全判別能力。

進(jìn)一步地，只需累積在這些關(guān)鍵層上的拒絕激活強(qiáng)度，便可有效識(shí)別潛在的不安全樣本，從而構(gòu)建出一個(gè)高效、無(wú)需訓(xùn)練、具備良好泛化能力的越獄檢測(cè)機(jī)制。

實(shí)驗(yàn)結(jié)果

研究團(tuán)隊(duì)在多個(gè)主流 LVLM（包括 LLaVA、CogVLM 和 Qwen-VL）上系統(tǒng)評(píng)估了所提出的檢測(cè)方法，涵蓋純文本越獄（如 FigTxt）和跨模態(tài)圖文攻擊（如 FigImg 和 MM-SafetyBench）等多種攻擊類型。此外，研究者還在 XSTest 數(shù)據(jù)集上測(cè)試了方法的穩(wěn)健性。該數(shù)據(jù)集包含一些安全但易被誤判的邊界樣本，常用于評(píng)估檢測(cè)方法是否過(guò)度敏感。實(shí)驗(yàn)結(jié)果表明，該方法在保持高檢測(cè)效果的同時(shí)，具備良好的魯棒性和泛化能力。

可視化

圖 4：每一層隱藏狀態(tài)中最后一個(gè) token 的 logits 被投影到由拒絕向量（RV）及其正交方向構(gòu)成的語(yǔ)義平面。

結(jié)論與展望

安全是大模型走向真實(shí)世界應(yīng)用過(guò)程中必須優(yōu)先考慮的問題。HiddenDetect 提出了一種無(wú)需訓(xùn)練、基于激活信號(hào)的檢測(cè)方法，為提升多模態(tài)模型的安全性提供了新的思路。該方法結(jié)構(gòu)輕量、部署靈活，已在多個(gè)模型與攻擊類型中展現(xiàn)出良好效果。盡管如此，該方法目前仍主要聚焦于風(fēng)險(xiǎn)提示，尚未對(duì)模型行為產(chǎn)生直接調(diào)控。未來(lái)，研究團(tuán)隊(duì)希望進(jìn)一步拓展方法能力，并深入探索模態(tài)信息與模型安全性的內(nèi)在關(guān)聯(lián)，推動(dòng)多模態(tài)大模型朝著更可靠、更可控的方向發(fā)展。

作者團(tuán)隊(duì)來(lái)自淘天集團(tuán)算法技術(shù) - 未來(lái)實(shí)驗(yàn)室團(tuán)隊(duì)和香港中文大學(xué) MMLab。未來(lái)生活實(shí)驗(yàn)室致力于建設(shè)面向未來(lái)的生活和消費(fèi)方式，進(jìn)一步提升用戶體驗(yàn)和商家經(jīng)營(yíng)效果。實(shí)驗(yàn)室聚焦大模型、多模態(tài)等 AI 技術(shù)方向，致力于打造大模型相關(guān)基礎(chǔ)算法、模型能力和各類 AINative 應(yīng)用，引領(lǐng) AI 在生活消費(fèi)領(lǐng)域的技術(shù)創(chuàng)新。