檢索增強圖像生成（Retrieval-Augmented Image Generation, RAIG）技術(shù)的廣泛應用引發(fā)了對私有圖像數(shù)據(jù)集未授權(quán)使用的嚴重擔憂。雖然這些系統(tǒng)通過參考圖像展現(xiàn)了卓越的生成質(zhì)量提升能力，但保護視覺數(shù)據(jù)集免受此類系統(tǒng)的未授權(quán)使用仍然是一個極具挑戰(zhàn)性的問題。傳統(tǒng)的數(shù)字水印方法在RAIG系統(tǒng)中面臨局限性，因為復雜的特征提取和重組過程無法在生成過程中保留水印信號。

為解決這些挑戰(zhàn)，本文提出ImageSentinel框架，通過合成與原始數(shù)據(jù)集保持視覺一致性的哨兵圖像來實現(xiàn)數(shù)據(jù)集保護。這些哨兵圖像能夠通過隨機生成的字符序列作為檢索密鑰進行保護驗證。實驗結(jié)果表明，ImageSentinel能夠有效檢測未授權(quán)的數(shù)據(jù)集使用，同時為授權(quán)應用保持生成質(zhì)量。

論文標題： ImageSentinel: Protecting Visual Datasets from Unauthorized Retrieval-Augmented Image Generation 論文鏈接： https://arxiv.org/abs/2510.12119v1

檢索增強圖像生成（RAIG）技術(shù)近年來取得了顯著進展，通過在生成過程中檢索和利用相關(guān)參考圖像，這些方法在稀有概念生成和精細圖像合成等具有挑戰(zhàn)性的任務中實現(xiàn)了卓越性能。然而，由于這些方法嚴重依賴高質(zhì)量的參考圖像數(shù)據(jù)庫，私有數(shù)據(jù)集的未授權(quán)使用已成為日益嚴峻的問題。

惡意用戶可能在未經(jīng)授權(quán)的情況下將私有圖像數(shù)據(jù)集整合到其檢索系統(tǒng)中。這種未授權(quán)使用不僅侵犯知識產(chǎn)權(quán)，還給數(shù)據(jù)集所有者帶來重大的法律和商業(yè)風險。盡管這些擔憂日益加劇，目前尚不存在有效的機制來保護視覺數(shù)據(jù)集免受RAIG系統(tǒng)的未授權(quán)使用，也沒有可靠的方法來檢測此類濫用行為。

圖1 數(shù)據(jù)集保護示意圖

一個直接的解決方案是對私有數(shù)據(jù)集應用數(shù)字水印技術(shù)。然而，傳統(tǒng)水印方法在RAIG系統(tǒng)中并不適用。與文本生成中內(nèi)容通常被直接引用或轉(zhuǎn)述不同，圖像生成涉及復雜的特征提取和重組過程，從根本上改變了視覺元素，通常會破壞任何嵌入的水印，使此類保護策略不適用。

為克服這些局限性，本研究提出了一種新穎的保護策略，將特制的驗證圖像整合到私有數(shù)據(jù)集中。這些圖像設計為可通過特定預定義密鑰檢索，同時保持與私有數(shù)據(jù)集的視覺一致性。本文將此類圖像稱為哨兵圖像，當與獨特的檢索密鑰結(jié)合使用時，可作為私有數(shù)據(jù)集使用的可靠指標。通過檢查特定檢索密鑰是否觸發(fā)生成與我們保護圖像匹配的內(nèi)容，可以有效檢測數(shù)據(jù)集濫用。

二、方法

本文提出的ImageSentinel框架如圖2所示，包含三個關(guān)鍵組件：密鑰生成、哨兵圖像合成和未授權(quán)使用檢測。

圖2 方法整體架構(gòu)

密鑰生成：生成獨特的隨機字符序列，作為保護驗證的觸發(fā)器。這些隨機字符組合在正常用戶提示中極少出現(xiàn)，既確保對RAIG系統(tǒng)正常運行的最小干擾，又提供了檢測未授權(quán)使用的獨特觸發(fā)機制。

哨兵圖像合成：如圖3所示，哨兵圖像合成過程包含兩個主要階段：屬性提取和密鑰引導的圖像嵌入。

圖3 哨兵圖像合成流程

首先，利用視覺-語言模型（如GPT-4o）從私有數(shù)據(jù)集的參考圖像中提取全面的語義屬性，包括主題內(nèi)容、視覺風格、構(gòu)圖和色彩等關(guān)鍵特征。這種全面的語義分析確保合成的圖像能夠保持與私有數(shù)據(jù)集的視覺和主題一致性。

其次，通過文本到圖像模型進行密鑰引導的圖像合成。對于給定的語義屬性集、描述和檢索密鑰，構(gòu)建基于模板的提示，在保留原始語義屬性的同時描述所需的密鑰特定修改。這種精心設計的提示確保生成的哨兵圖像既包含參考圖像的語義屬性，又包含檢索密鑰信息，同時保持自然的視覺整合。

未授權(quán)使用檢測：為檢測RAIG系統(tǒng)是否未經(jīng)授權(quán)使用了保護數(shù)據(jù)集，本文利用哨兵圖像與其對應密鑰之間的嵌入連接：如果系統(tǒng)在使用這些密鑰查詢時生成的圖像與哨兵圖像具有高視覺相似度，則表明該系統(tǒng)可能將受保護數(shù)據(jù)集用作其參考數(shù)據(jù)庫。檢測過程使用DINO特征計算生成圖像與哨兵圖像之間的余弦相似度，當聚合相似度分數(shù)超過預定義閾值時，判定發(fā)生未授權(quán)使用。

三、主要實驗結(jié)果

定性結(jié)果分析：圖4和圖5展示了在LLaVA-Pretrain數(shù)據(jù)集和Product-10K數(shù)據(jù)集上的定性結(jié)果。

圖4 不同RAIG系統(tǒng)的生成圖像定性比較

如圖4所示，當RAIG系統(tǒng)惡意整合受保護的私有數(shù)據(jù)集時，它們生成的圖像與哨兵圖像高度相似，DINO相似度分數(shù)顯著較高。相比之下，在沒有未授權(quán)數(shù)據(jù)集訪問的情況下運行的系統(tǒng)生成的圖像明顯不同，相似度分數(shù)較低，盡管接收相同的隨機字符序列作為提示。

圖5 Product-10K數(shù)據(jù)集上的定性結(jié)果

在Product-10K數(shù)據(jù)集上的結(jié)果表明，哨兵圖像自然地整合了關(guān)鍵字符，同時保留了產(chǎn)品的基本特征，如風格、配色方案和包裝設計。具有哨兵圖像訪問權(quán)限的生成圖像明顯整合了嵌入的哨兵圖像，而沒有訪問權(quán)限的圖像顯示出明顯不同的視覺元素。

檢測性能評估：表3展示了在不同查詢次數(shù)下的檢測性能比較。

表1 不同查詢次數(shù)下的檢測性能

實驗結(jié)果表明，ImageSentinel在所有評估指標上均大幅優(yōu)于Ward-HiDDeN和Ward-FIN基線方法。僅使用3次查詢，ImageSentinel就已實現(xiàn)了較高的檢測性能。當查詢次數(shù)增加到10次和20次時，該方法在所有三個RAIG系統(tǒng)上達到接近完美的檢測性能，AUC分數(shù)達到1.0。相比之下，兩種基線方法即使增加查詢次數(shù)，也顯示出有限的檢測能力，AUC分數(shù)仍接近隨機水平。

生成質(zhì)量評估：表5比較了不同保護場景下的生成質(zhì)量。

表2 不同保護場景下的生成質(zhì)量比較

結(jié)果顯示，雖然原始RAIG系統(tǒng)達到最佳性能，哨兵圖像替換方案顯示出顯著的質(zhì)量下降，但ImageSentinel保持了與原始系統(tǒng)相當?shù)纳少|(zhì)量。這表明本文的保護機制在實現(xiàn)未授權(quán)使用檢測的同時，有效保留了RAIG系統(tǒng)的正常功能。

四、總結(jié)與展望

本工作提出了ImageSentinel框架，這是一種保護視覺數(shù)據(jù)集免受檢索增強圖像生成系統(tǒng)未授權(quán)使用的創(chuàng)新解決方案。通過精心合成的哨兵圖像和相應的檢索密鑰（獨特的隨機字符序列），該方法在保持數(shù)據(jù)集實用性的同時實現(xiàn)了可靠的檢測能力。廣泛的實驗表明，ImageSentinel在檢測準確性方面顯著優(yōu)于基線保護方法，同時對生成質(zhì)量的影響最小。

該方法在多個領(lǐng)域具有廣闊的應用前景。在商業(yè)領(lǐng)域，攝影機構(gòu)、設計公司和電商平臺可以利用該技術(shù)保護其高價值的圖像資產(chǎn)，防止競爭對手或第三方未經(jīng)授權(quán)將其圖像數(shù)據(jù)庫用于檢索增強生成系統(tǒng)。在藝術(shù)創(chuàng)作領(lǐng)域，藝術(shù)家和畫廊可以保護其數(shù)字作品集免受未授權(quán)的檢索增強AI系統(tǒng)使用，維護創(chuàng)作者的知識產(chǎn)權(quán)和經(jīng)濟利益。此外，該技術(shù)還可應用于衛(wèi)星遙感圖像、工業(yè)檢測圖像等專業(yè)數(shù)據(jù)集的版權(quán)保護，為數(shù)據(jù)資產(chǎn)的安全流通提供技術(shù)保障。

來源：公眾號【HKBU計算機系】

llustration From IconScout By IconScout Store

-The End-

掃碼觀看！

本周上新！

“AI技術(shù)流”原創(chuàng)投稿計劃

TechBeat是由將門創(chuàng)投建立的AI學習社區(qū)（www.techbeat.net）。社區(qū)上線700+期talk視頻，3000+篇技術(shù)干貨文章，方向覆蓋CV/NLP/ML/Robotis等；每月定期舉辦頂會及其他線上交流活動，不定期舉辦技術(shù)人線下聚會交流活動。我們正在努力成為AI人才喜愛的高質(zhì)量、知識型交流平臺，希望為AI人才打造更專業(yè)的服務和體驗，加速并陪伴其成長。

投稿內(nèi)容

// 最新技術(shù)解讀/系統(tǒng)性知識分享 //

// 前沿資訊解說/心得經(jīng)歷講述 //

投稿須知

稿件需要為原創(chuàng)文章，并標明作者信息。

我們會選擇部分在深度技術(shù)解析及科研心得方向，對用戶啟發(fā)更大的文章，做原創(chuàng)性內(nèi)容獎勵

投稿方式

發(fā)送郵件到

michellechang@thejiangmen.com

或添加工作人員微信（michelle333_）投稿，溝通投稿詳情

關(guān)于我“門”

將門是一家以專注于數(shù)智核心科技領(lǐng)域的新型創(chuàng)投機構(gòu)，也是北京市標桿型孵化器。 公司致力于通過連接技術(shù)與商業(yè)，發(fā)掘和培育具有全球影響力的科技創(chuàng)新企業(yè)，推動企業(yè)創(chuàng)新發(fā)展與產(chǎn)業(yè)升級。

將門成立于2015年底，創(chuàng)始團隊由微軟創(chuàng)投在中國的創(chuàng)始團隊原班人馬構(gòu)建而成，曾為微軟優(yōu)選和深度孵化了126家創(chuàng)新的技術(shù)型創(chuàng)業(yè)公司。

如果您是技術(shù)領(lǐng)域的初創(chuàng)企業(yè)，不僅想獲得投資，還希望獲得一系列持續(xù)性、有價值的投后服務，歡迎發(fā)送或者推薦項目給我“門”:

bp@thejiangmen.com

點擊右上角，把文章分享到朋友圈