面部識(shí)別系統(tǒng)雖然便捷，卻面臨著各種欺詐攻擊的威脅。為應(yīng)對(duì)這一挑戰(zhàn)，面部反欺詐技術(shù)應(yīng)運(yùn)而生。然而，當(dāng)這些系統(tǒng)遇到新的數(shù)據(jù)領(lǐng)域時(shí)，如何在不訪問(wèn)之前數(shù)據(jù)的情況下進(jìn)行有效學(xué)習(xí)，同時(shí)避免＂災(zāi)難性遺忘＂，成為一個(gè)亟待解決的難題。最新研究提出了一種無(wú)需重放的域連續(xù)學(xué)習(xí)方法，通過(guò)動(dòng)態(tài)中心差分卷積適配器和代理原型對(duì)比正則化技術(shù)，實(shí)現(xiàn)了＂泛化更多，遺忘更少＂的雙重目標(biāo)。這一創(chuàng)新方法不僅保護(hù)了用戶隱私，還顯著提升了系統(tǒng)面對(duì)未知域的適應(yīng)能力。面部安全與隱私，如何在這看似矛盾的目標(biāo)中找到平衡？

安全與隱私的雙重挑戰(zhàn)

人臉識(shí)別技術(shù)因其便捷性已經(jīng)被廣泛應(yīng)用于身份驗(yàn)證系統(tǒng)中，但這些系統(tǒng)同時(shí)也面臨著各種形式的欺詐攻擊威脅。攻擊者可能使用打印照片、視頻重放、甚至是3D面具等方式試圖欺騙系統(tǒng)，繞過(guò)身份驗(yàn)證程序。在2023年的研究中，專家們將這些攻擊分為2D攻擊和3D攻擊兩大類，2D攻擊包括使用紙質(zhì)照片或者屏幕播放視頻等簡(jiǎn)單手段，而3D攻擊則更為復(fù)雜，通常涉及具有立體結(jié)構(gòu)的面具或模型。

面對(duì)這些威脅，人臉?lè)雌墼p（FAS）技術(shù)成為保護(hù)面部識(shí)別系統(tǒng)的關(guān)鍵防線。隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展，基于神經(jīng)網(wǎng)絡(luò)的FAS方法已逐漸超越并取代了傳統(tǒng)的基于手工特征的方法。這些深度學(xué)習(xí)模型能夠在相同數(shù)據(jù)域內(nèi)實(shí)現(xiàn)極高的準(zhǔn)確率，但當(dāng)測(cè)試數(shù)據(jù)與訓(xùn)練數(shù)據(jù)存在域偏移時(shí)，性能就會(huì)大幅下降。

這種跨域問(wèn)題成為了當(dāng)前FAS研究面臨的最大挑戰(zhàn)。域偏移可能源自多種因素，如不同的光照條件、攝像設(shè)備質(zhì)量差異或新型攻擊方式的出現(xiàn)。為了解決這個(gè)問(wèn)題，研究人員開(kāi)發(fā)了域泛化和域適應(yīng)兩類技術(shù)。域泛化方法旨在利用多個(gè)源域的訓(xùn)練數(shù)據(jù)開(kāi)發(fā)一個(gè)泛化能力強(qiáng)的FAS模型，而域適應(yīng)方法則使用目標(biāo)域數(shù)據(jù)進(jìn)行模型調(diào)整。

盡管這些方法在一定程度上改善了跨域性能，但它們?nèi)匀淮嬖陲@著局限。域泛化方法在未見(jiàn)域上的表現(xiàn)仍不令人滿意，而域適應(yīng)方法則需要昂貴的目標(biāo)域數(shù)據(jù)收集過(guò)程。更關(guān)鍵的是，在實(shí)際場(chǎng)景中，導(dǎo)致域偏移的因素（如光照和攻擊類型）不斷變化，使得在固定時(shí)間點(diǎn)收集足夠數(shù)據(jù)變得不切實(shí)際。

現(xiàn)實(shí)世界中，已部署的FAS系統(tǒng)不斷遇到來(lái)自各種域的新數(shù)據(jù)。這些新數(shù)據(jù)會(huì)被逐漸收集并可用于模型訓(xùn)練。從頭開(kāi)始使用舊數(shù)據(jù)和新數(shù)據(jù)完全重新訓(xùn)練模型既效率低下又存在隱私問(wèn)題。雖然僅使用新數(shù)據(jù)對(duì)基礎(chǔ)模型進(jìn)行微調(diào)更有效率，但這種方法往往導(dǎo)致模型＂忘記＂過(guò)去學(xué)到的知識(shí)，在之前數(shù)據(jù)上的性能大幅下降，這就是所謂的＂災(zāi)難性遺忘＂現(xiàn)象。

為了高效適應(yīng)模型，一些研究者提出了FAS的連續(xù)學(xué)習(xí)方法。為減輕災(zāi)難性遺忘，這些方法通常利用重放緩沖區(qū)存儲(chǔ)以前的數(shù)據(jù)，以便在微調(diào)時(shí)一起使用新數(shù)據(jù)。然而，使用重放緩沖區(qū)會(huì)帶來(lái)額外的存儲(chǔ)負(fù)擔(dān)。更糟糕的是，由于人臉數(shù)據(jù)包含身份信息，出于隱私保護(hù)考慮，以前的數(shù)據(jù)并不總是可用于存儲(chǔ)和傳輸。

無(wú)重放連續(xù)學(xué)習(xí)新方案

在這種背景下，無(wú)重放域連續(xù)學(xué)習(xí)（DCL）設(shè)置應(yīng)運(yùn)而生。與現(xiàn)有工作不同，新的研究目標(biāo)是使FAS模型能夠隨著來(lái)自不斷變化域的數(shù)據(jù)持續(xù)演化。由于效率和隱私問(wèn)題，不允許存儲(chǔ)和訪問(wèn)以前的數(shù)據(jù)進(jìn)行重放，且每個(gè)連續(xù)學(xué)習(xí)會(huì)話中只有少量（低樣本）新數(shù)據(jù)可用于學(xué)習(xí)。

研究者們通過(guò)實(shí)驗(yàn)觀察到一些有趣的現(xiàn)象：當(dāng)新來(lái)的數(shù)據(jù)與以前的數(shù)據(jù)之間存在較大的域差距時(shí)，通常會(huì)發(fā)生災(zāi)難性遺忘；而在未知域泛化性能更好的模型通常會(huì)減少對(duì)以前域知識(shí)的遺忘。受這些觀察的啟發(fā)，研究團(tuán)隊(duì)從泛化的角度解決DCL-FAS問(wèn)題。

在連續(xù)會(huì)話中，使用少量數(shù)據(jù)可能導(dǎo)致過(guò)擬合，帶來(lái)糟糕的泛化性能和災(zāi)難性遺忘。為了持續(xù)有效地更新模型，研究者引入了針對(duì)DCL-FAS的高效參數(shù)遷移學(xué)習(xí)（EPTL）范式，并為視覺(jué)變換器（ViT）使用適配器。通過(guò)使用適配器，即使在低樣本訓(xùn)練數(shù)據(jù)的情況下，ViT模型也能被高效適應(yīng)。

然而，研究者發(fā)現(xiàn)，由線性層組成的普通適配器無(wú)法滿足FAS任務(wù)提取細(xì)粒度特征的需求。因此，他們將普通線性適配器替換為自己提出的動(dòng)態(tài)中心差分卷積適配器（DCDCA），該適配器通過(guò)卷積為ViT賦予了圖像特定的歸納偏置，并利用自適應(yīng)中心差分信息提取細(xì)粒度特征。

與之前研究不同的是，DCDCA中中心差分信息的比率不是對(duì)所有層固定的，而是可以自適應(yīng)于新的數(shù)據(jù)域，這更適合于DCL設(shè)置。這種動(dòng)態(tài)特性使模型能夠根據(jù)不同層次的語(yǔ)義信息和特征細(xì)粒度調(diào)整中心差分信息的比例，同時(shí)也能適應(yīng)連續(xù)學(xué)習(xí)過(guò)程中數(shù)據(jù)域的動(dòng)態(tài)變化。

除了改進(jìn)模型架構(gòu)外，研究者還提出了代理原型對(duì)比正則化（PPCR）方法，以在不使用先前數(shù)據(jù)的情況下減輕對(duì)先前域的遺忘。PPCR利用從前一個(gè)任務(wù)的類中心提取的先前數(shù)據(jù)知識(shí)來(lái)約束連續(xù)學(xué)習(xí)，這些類中心由全連接層的模型權(quán)重近似，而不是使用前一個(gè)數(shù)據(jù)。

這種創(chuàng)新方法通過(guò)對(duì)比學(xué)習(xí)框架實(shí)現(xiàn)，該框架將先前模型的線性分類器權(quán)重設(shè)置為代理原型，作為對(duì)比訓(xùn)練中的錨點(diǎn)。通過(guò)這種方式，新特征被引導(dǎo)聚集在先前原型附近，從而減少了連續(xù)學(xué)習(xí)過(guò)程中的遺忘。

為了模擬實(shí)際的DCL場(chǎng)景，研究者設(shè)計(jì)了兩個(gè)新的評(píng)估協(xié)議，同時(shí)評(píng)估泛化和抗遺忘性能。這兩個(gè)協(xié)議基于15個(gè)公開(kāi)可用的數(shù)據(jù)集構(gòu)建，涵蓋2D和3D攻擊。實(shí)驗(yàn)結(jié)果表明，所提出的方法可以顯著提高未見(jiàn)域的泛化性能，并減輕對(duì)先前知識(shí)的災(zāi)難性遺忘。

具體來(lái)說(shuō)，研究者觀察到當(dāng)新數(shù)據(jù)域與先前數(shù)據(jù)域之間存在顯著域差距時(shí)，通常會(huì)發(fā)生災(zāi)難性遺忘。如果新域與先前域有共享知識(shí)，則之前的知識(shí)可能被回憶起來(lái)。此外，泛化能力更好的模型在連續(xù)學(xué)習(xí)中通常會(huì)忘記較少的先前域知識(shí)。這一觀察背后的見(jiàn)解是直觀的：盡管不同的FAS數(shù)據(jù)集之間存在域差距，但可能存在一些共享知識(shí)和信息。泛化的模型可以跨不同數(shù)據(jù)集提取泛化知識(shí)。因此，當(dāng)學(xué)習(xí)新數(shù)據(jù)集時(shí)，模型可以學(xué)習(xí)與先前數(shù)據(jù)集相關(guān)的線索，從而減少災(zāi)難性遺忘。

通過(guò)實(shí)驗(yàn)驗(yàn)證，DCDCA和PPCR的組合在DCL-FAS設(shè)置中表現(xiàn)出卓越的性能，展示了＂泛化更多，遺忘更少＂的特性，為解決面部反欺詐系統(tǒng)面臨的隱私和安全雙重挑戰(zhàn)提供了一條有效途徑。

強(qiáng)悍表現(xiàn)顯實(shí)力

為了全面評(píng)估提出的無(wú)需重放域連續(xù)學(xué)習(xí)方法在人臉?lè)雌墼p系統(tǒng)中的效果，研究團(tuán)隊(duì)設(shè)計(jì)了兩種實(shí)用的評(píng)估協(xié)議，這兩種協(xié)議能夠同時(shí)測(cè)量模型的泛化能力和抗遺忘能力。這些評(píng)估協(xié)議基于15個(gè)公開(kāi)可用的數(shù)據(jù)集構(gòu)建，覆蓋了多種2D和3D攻擊類型，為模型性能提供了全面嚴(yán)格的測(cè)試環(huán)境。

在這兩種評(píng)估協(xié)議中，共同的起點(diǎn)是基礎(chǔ)會(huì)話（也稱為會(huì)話0）的設(shè)置。在實(shí)際開(kāi)發(fā)中，為了訓(xùn)練基礎(chǔ)模型，通常會(huì)收集包括各種2D和3D攻擊樣本的大規(guī)模數(shù)據(jù)作為基礎(chǔ)數(shù)據(jù)集?？紤]到這一點(diǎn)，研究團(tuán)隊(duì)將SiW、Celeba-Spoof和HiFiMask數(shù)據(jù)集合并為基礎(chǔ)數(shù)據(jù)庫(kù)，因?yàn)檫@些數(shù)據(jù)集包含大量數(shù)據(jù)。協(xié)議1和協(xié)議2共享相同的基礎(chǔ)模型訓(xùn)練數(shù)據(jù)集。

當(dāng)為新域調(diào)整基礎(chǔ)模型時(shí)，考慮到模型應(yīng)該能夠高效地適應(yīng)小型數(shù)據(jù)集，研究團(tuán)隊(duì)在每個(gè)連續(xù)會(huì)話（t >； 0）中設(shè)置了低樣本條件，即從新數(shù)據(jù)集的訓(xùn)練部分隨機(jī)提取50幀真實(shí)人臉示例和50幀欺騙攻擊示例。在測(cè)試階段，使用數(shù)據(jù)集測(cè)試部分的所有樣本進(jìn)行模型評(píng)估。

協(xié)議1模擬了基礎(chǔ)模型隨著新數(shù)據(jù)域出現(xiàn)而適應(yīng)的場(chǎng)景。從會(huì)話1到10，研究團(tuán)隊(duì)按照公共數(shù)據(jù)集發(fā)布年份的升序（從舊到新）安排傳入的域序列。具體來(lái)說(shuō)，會(huì)話1到10分別對(duì)應(yīng)REPLAY-ATTACK（2012年）、CASIA-FASD（2012年）、MSU MFSD（2015年）、HKBUMarV2（2016年）、OULU-NPU（2017年）、CSMAD（2018年）、CASIA-SURF（2019年）、WFFD（2019年）、WMCA（2019年）和CASIA-3DMASK（2020年）。

協(xié)議2則模擬了基礎(chǔ)模型需要與來(lái)自舊設(shè)備的數(shù)據(jù)兼容的場(chǎng)景。因此，協(xié)議2是通過(guò)將協(xié)議1（從舊到新）倒轉(zhuǎn)來(lái)設(shè)置的。在這兩種協(xié)議中，研究團(tuán)隊(duì)使用ROSE-YOUTU和CeFA數(shù)據(jù)集作為未見(jiàn)數(shù)據(jù)集，因?yàn)镽OSE-YOUTU包含多樣化的2D攻擊樣本，而CeFA包含多樣化的2D和3D攻擊樣本。在每個(gè)會(huì)話訓(xùn)練后，模型的未見(jiàn)域泛化性能都會(huì)在這兩個(gè)數(shù)據(jù)集上進(jìn)行評(píng)估。

為了量化評(píng)估模型性能，研究團(tuán)隊(duì)采用了均值平均AUC（mAA）、均值累積反向傳輸AUC（mABT）和平均未見(jiàn)域泛化AUC（mAGA）三個(gè)指標(biāo)。mAA（越高越好）測(cè)量平均域內(nèi)AUC性能，mAGA（越高越好）評(píng)估未見(jiàn)域中的平均跨域性能，而mABT則類似于反向傳輸（BWT），高負(fù)值表示更多的遺忘。不同于傳統(tǒng)BWT僅考慮最終會(huì)話來(lái)測(cè)量遺忘，mABT考慮了所有中間會(huì)話，因?yàn)樵趯?shí)際開(kāi)發(fā)中，何時(shí)會(huì)出現(xiàn)新的域會(huì)話t+1是不確定的，模型應(yīng)該在會(huì)話t之后部署。

實(shí)驗(yàn)結(jié)果令人印象深刻。在協(xié)議1中，與基線方法ResNet18相比，提出的ViT-DCDCA模型在mAA指標(biāo)上從83.02%提升到93.23%，mABT指標(biāo)從-7.19%提升到-3.59%，mAGA指標(biāo)從58.29%提升到78.70%。這表明ViT-DCDCA不僅在域內(nèi)性能上優(yōu)于基線，而且在未見(jiàn)域上的泛化能力也顯著提高，同時(shí)減少了對(duì)先前知識(shí)的遺忘。

在協(xié)議2中，ViT-DCDCA同樣表現(xiàn)出優(yōu)越性能，mAA為93.79%（基線為83.28%），mABT為-1.82%（基線為-7.36%），mAGA為78.09%（基線為56.76%）。這進(jìn)一步證實(shí)了該方法在不同場(chǎng)景下的有效性和魯棒性。

與現(xiàn)有連續(xù)學(xué)習(xí)方法如EWC和LWF的比較也很有啟發(fā)性。雖然EWC和LWF在mABT方面表現(xiàn)更好，分別為-0.163%和-0.97%（協(xié)議1），但它們?cè)趍AA和mAGA上的表現(xiàn)顯著低于所提出的方法，分別為92.35%和91.61%（mAA），78.41%和78.68%（mAGA）。這表明雖然這些方法專門(mén)設(shè)計(jì)用于減少連續(xù)學(xué)習(xí)中的遺忘，但它們沒(méi)有考慮泛化能力，這在FAS任務(wù)中同樣重要。

研究團(tuán)隊(duì)還實(shí)現(xiàn)了兩個(gè)最相似的工作進(jìn)行比較：S-Prompt和DCDCA-PASS。S-Prompt利用提示池存儲(chǔ)先前知識(shí)，雖然可以很好地保留先前知識(shí)（mABT為-1.73%和-0.65%），但其泛化性能較差（mAGA為51.12%和52.06%）。另一方面，DCDCA-PASS采用自監(jiān)督學(xué)習(xí)進(jìn)行原型增強(qiáng)，但由于其使用的代理任務(wù)（旋轉(zhuǎn)預(yù)測(cè)）與FAS任務(wù)不相關(guān)，因此從原型增強(qiáng)中獲得的收益有限。

為了更直觀地理解模型的行為，研究團(tuán)隊(duì)還進(jìn)行了注意力圖的可視化分析。在協(xié)議2中，與ViT-Adapter相比，ViT-DCDCA的注意力圖在會(huì)話9和會(huì)話10之間幾乎保持不變，表明ViT-DCDCA很少忘記關(guān)于CASIA-FASD的知識(shí)。相反，ViT-Adapter的注意力圖在這兩個(gè)會(huì)話之間變化很大，表明它遺忘了大量關(guān)于CASIA-FASD的知識(shí)。同時(shí)，對(duì)于未見(jiàn)域的ROSE-YOUTU數(shù)據(jù)集，ViT-DCDCA激活了紙邊區(qū)域進(jìn)行欺騙分類，而ViT-Adapter則激活了背景區(qū)域而非面部區(qū)域，這與ViT-Adapter在泛化性能上比ViT-DCDCA差得多相符。

應(yīng)用遠(yuǎn)景無(wú)限

通過(guò)深入分析實(shí)驗(yàn)結(jié)果，我們可以清晰看到提出的無(wú)需重放域連續(xù)學(xué)習(xí)方法在人臉?lè)雌墼p領(lǐng)域的巨大潛力和廣闊應(yīng)用前景。這種方法在泛化能力和抗遺忘性能方面的雙重提升，為解決實(shí)際FAS系統(tǒng)中的隱私和性能平衡問(wèn)題提供了新的思路。

該方法實(shí)現(xiàn)更好泛化性能與減少遺忘的機(jī)制可以從兩個(gè)方面理解。一方面，動(dòng)態(tài)中心差分卷積適配器（DCDCA）通過(guò)引入圖像特定的歸納偏置和自適應(yīng)中心差分信息提取，增強(qiáng)了模型提取細(xì)粒度特征的能力，這對(duì)于區(qū)分真實(shí)人臉和欺騙攻擊至關(guān)重要。另一方面，代理原型對(duì)比正則化（PPCR）通過(guò)利用之前模型中隱含的知識(shí)，在不訪問(wèn)先前數(shù)據(jù)的情況下，有效約束了新特征的學(xué)習(xí)方向，減少了對(duì)先前知識(shí)的遺忘。

這種雙重機(jī)制的協(xié)同作用，使得模型在面對(duì)新域數(shù)據(jù)時(shí)能夠既＂記住＂過(guò)去，又＂適應(yīng)＂現(xiàn)在，從而在連續(xù)學(xué)習(xí)的過(guò)程中保持高性能。實(shí)驗(yàn)結(jié)果也印證了這一點(diǎn)，在所有評(píng)估指標(biāo)上，ViT-DCDCA-PPCR都表現(xiàn)出了卓越的平衡性能。

這項(xiàng)技術(shù)不僅局限于人臉?lè)雌墼p領(lǐng)域，還可能對(duì)其他安全相關(guān)領(lǐng)域產(chǎn)生深遠(yuǎn)影響。例如，在深度偽造檢測(cè)、音頻反欺騙和其他需要處理隱私敏感數(shù)據(jù)的安全任務(wù)中，也面臨著類似的連續(xù)學(xué)習(xí)和隱私保護(hù)挑戰(zhàn)。提出的方法通過(guò)證明無(wú)需訪問(wèn)之前數(shù)據(jù)也能保持良好性能，為這些領(lǐng)域提供了一個(gè)可行的解決方案模板。

在隱私保護(hù)與模型性能的平衡方面，該研究提供了一個(gè)成功的案例。傳統(tǒng)觀點(diǎn)認(rèn)為，為了保持模型性能，必須存儲(chǔ)和使用之前的數(shù)據(jù)，這就造成了隱私和性能之間的矛盾。但是，通過(guò)巧妙設(shè)計(jì)網(wǎng)絡(luò)架構(gòu)和優(yōu)化算法，該研究表明即使在完全不訪問(wèn)之前數(shù)據(jù)的條件下，模型也能保持甚至提高性能。這種＂魚(yú)與熊掌兼得＂的解決方案，為處理隱私敏感數(shù)據(jù)的機(jī)器學(xué)習(xí)系統(tǒng)提供了新的思考角度。

展望未來(lái)，無(wú)需重放域連續(xù)學(xué)習(xí)的研究方向仍有許多有待探索的可能性。比如，如何進(jìn)一步優(yōu)化代理原型的構(gòu)建方法，使其能更準(zhǔn)確地表示先前域的知識(shí)；如何設(shè)計(jì)更加適應(yīng)FAS特定任務(wù)的自適應(yīng)機(jī)制，使模型能夠更好地區(qū)分不同類型的欺騙攻擊；以及如何將該方法擴(kuò)展到多模態(tài)數(shù)據(jù)場(chǎng)景，充分利用不同模態(tài)信息的互補(bǔ)性。

此外，該方法也可能與其他新興技術(shù)如自監(jiān)督學(xué)習(xí)、元學(xué)習(xí)等結(jié)合，進(jìn)一步提升模型的泛化能力和抗遺忘性能。隨著隱私保護(hù)法規(guī)的日益嚴(yán)格和數(shù)據(jù)隱私意識(shí)的不斷提高，這種不依賴歷史數(shù)據(jù)的連續(xù)學(xué)習(xí)方法將變得越來(lái)越重要。

總的來(lái)說(shuō)，這項(xiàng)研究不僅在技術(shù)上提出了創(chuàng)新的解決方案，還為人臉?lè)雌墼p系統(tǒng)的實(shí)際部署提供了新的可能性。通過(guò)平衡隱私保護(hù)和性能提升這兩個(gè)看似矛盾的目標(biāo)，使得FAS系統(tǒng)能夠在保護(hù)用戶隱私的同時(shí)，持續(xù)適應(yīng)變化的環(huán)境和新出現(xiàn)的攻擊方式，從而為構(gòu)建更加安全、可靠的身份驗(yàn)證系統(tǒng)鋪平了道路。

參考資料

1. Cai， R.， Cui， Y.， Li， Z.， Yu， Z.， Li， H.， Hu， Y.， &； Kot， A. （2023）. Rehearsal-Free Domain Continual Face Anti-Spoofing: Generalize More and Forget Less. ICCV 2023.

2. Yu， Z.， et al. （2020）. Searching Central Difference Convolutional Networks for Face Anti-Spoofing.

3. Li， H. （2018）. Learning Generalized Deep Feature Representation for Face Anti-Spoofing.

4. Liu， S.M.， et al. （2019）. Face Anti-Spoofing: Model Matters， So Does Data.

5. Chen， Z.， et al. （2021）. Generalizable Representation Learning for Mixture Domain Face Anti-Spoofing.