在機器學(xué)習(xí)的世界里，有一個棘手的問題一直在困擾著研究者——當(dāng)測試數(shù)據(jù)與訓(xùn)練數(shù)據(jù)的分布不同時，異常檢測系統(tǒng)往往會失效。想象一下，你訓(xùn)練了一個能在工廠環(huán)境中完美識別產(chǎn)品缺陷的系統(tǒng)，但當(dāng)光線條件改變或產(chǎn)品外觀略有變化時，系統(tǒng)卻無法正常工作。這種現(xiàn)象被稱為＂分布偏移＂，它像一個隱形殺手，悄無聲息地降低異常檢測的準(zhǔn)確率。傳統(tǒng)方法在面對這種挑戰(zhàn)時顯得力不從心，而最新研究表明，通過學(xué)習(xí)分布不變的正常性表示和測試時增強技術(shù)，我們可以顯著提高系統(tǒng)在分布偏移下的魯棒性。這場數(shù)據(jù)分布與異常檢測的博弈，正在迎來新的轉(zhuǎn)機。

不尋常的探索

異常檢測是機器學(xué)習(xí)領(lǐng)域的一項重要任務(wù)，簡單來說，就是讓機器學(xué)習(xí)識別數(shù)據(jù)中那些罕見或不尋常的模式。這項技術(shù)已經(jīng)在許多領(lǐng)域發(fā)揮著關(guān)鍵作用，從金融欺詐檢測到網(wǎng)絡(luò)安全監(jiān)控，從工業(yè)產(chǎn)品質(zhì)量檢測到醫(yī)療疾病診斷。

在金融領(lǐng)域，異常檢測系統(tǒng)可以找出可疑的交易模式，防止欺詐行為。例如，當(dāng)一張信用卡突然在地理位置相距遙遠(yuǎn)的兩個地點連續(xù)使用時，系統(tǒng)會立即標(biāo)記這種異常行為，進而凍結(jié)賬戶或通知持卡人。

在工業(yè)制造中，異常檢測被用于自動檢查產(chǎn)品缺陷。MVTec數(shù)據(jù)集就是專門為這類任務(wù)設(shè)計的，它包含了15個子數(shù)據(jù)集，涵蓋從紡織品到機械零件等各種物品的正常樣本和有缺陷樣本。通過分析圖像中的異常模式，機器可以識別出肉眼難以察覺的細(xì)微瑕疵，大大提高了產(chǎn)品質(zhì)量控制的效率。

醫(yī)療診斷也是異常檢測的重要應(yīng)用場景。通過學(xué)習(xí)大量正常的醫(yī)療圖像（如X光片、MRI掃描），系統(tǒng)能夠幫助醫(yī)生識別出異常結(jié)構(gòu)，輔助疾病早期診斷，挽救生命。

但是，現(xiàn)實世界復(fù)雜多變。我們訓(xùn)練異常檢測系統(tǒng)時使用的數(shù)據(jù)，往往與實際應(yīng)用環(huán)境中的數(shù)據(jù)存在差異。這種差異被稱為＂分布偏移＂，它是異常檢測面臨的最大挑戰(zhàn)之一。

分布偏移可以是各種形式的。比如，在工業(yè)檢測中，光照條件的變化會導(dǎo)致同一個物體在圖像中的外觀大不相同；在醫(yī)療圖像分析中，不同的成像設(shè)備可能產(chǎn)生風(fēng)格迥異的圖像；即使是背景的細(xì)微變化，也可能導(dǎo)致檢測系統(tǒng)將正常樣本誤判為異常。

以MVTec數(shù)據(jù)集中的＂木材＂類別為例，在訓(xùn)練數(shù)據(jù)中，所有正常木材樣本可能都是在固定的光照條件下拍攝的。但在實際應(yīng)用中，光照強度和角度可能會發(fā)生變化，導(dǎo)致木材的紋理和顏色在圖像中呈現(xiàn)出與訓(xùn)練樣本不同的特征。此時，即使是完全正常的木材樣本，也可能被系統(tǒng)錯誤地標(biāo)記為異常。

PACS數(shù)據(jù)集展示了更為復(fù)雜的分布偏移情況。該數(shù)據(jù)集包含四個不同風(fēng)格的域：藝術(shù)繪畫（Art）、卡通（Cartoon）、照片（Photo）和素描（Sketch）。每個域中的圖像都代表著相同的對象類別，但視覺呈現(xiàn)方式完全不同。如果我們將＂大象＂類別的照片域圖像作為正常樣本進行訓(xùn)練，那么在測試時，藝術(shù)繪畫或素描風(fēng)格的大象圖像可能會被錯誤地識別為異常，盡管它們在語義上都是大象。

同樣的問題也出現(xiàn)在MNIST/MNIST-M數(shù)據(jù)集上。MNIST包含手寫數(shù)字的灰度圖像，而MNIST-M是通過在原始MNIST圖像上添加隨機彩色圖案生成的。盡管兩個數(shù)據(jù)集表示相同的數(shù)字類別，但它們的視覺特征存在顯著差異，導(dǎo)致在MNIST上訓(xùn)練的模型在MNIST-M上表現(xiàn)不佳。

傳統(tǒng)的異常檢測方法通常假設(shè)訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)來自相同的分布，這在現(xiàn)實世界中往往是不成立的。當(dāng)面臨分布偏移時，這些方法的性能會大幅下降。特別是缺乏異常樣本標(biāo)記的情況下，學(xué)習(xí)魯棒的異常檢測模型變得更加困難。

方法的困境

目前，異常檢測領(lǐng)域已經(jīng)發(fā)展出多種方法來解決常規(guī)場景下的問題，但這些方法在面對分布偏移時往往表現(xiàn)不佳。同時，雖然域外泛化領(lǐng)域的研究提供了一些應(yīng)對分布偏移的思路，但這些方法也難以直接應(yīng)用到異常檢測任務(wù)中。

深度支持向量數(shù)據(jù)描述（Deep SVDD）是一種流行的異常檢測方法，它使用深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)將正常數(shù)據(jù)映射到一個緊湊的超球體中，而異常數(shù)據(jù)則位于該球體之外。這種方法在數(shù)據(jù)分布穩(wěn)定的情況下效果不錯，但一旦測試數(shù)據(jù)的分布發(fā)生偏移，模型的性能就會急劇下降。

特征異常生成對抗網(wǎng)絡(luò)（f-AnoGAN）采用生成對抗網(wǎng)絡(luò)的思想，學(xué)習(xí)正常數(shù)據(jù)的隱空間表示，然后使用重建誤差來檢測異常。這種方法雖然能夠捕獲復(fù)雜的數(shù)據(jù)分布，但它過度擬合訓(xùn)練數(shù)據(jù)的分布特征，導(dǎo)致對分布偏移極為敏感。

知識蒸餾異常檢測（KDAD）利用教師-學(xué)生框架，通過讓學(xué)生網(wǎng)絡(luò)學(xué)習(xí)教師網(wǎng)絡(luò)的知識來進行異常檢測。盡管這種方法在常規(guī)異常檢測任務(wù)中表現(xiàn)優(yōu)異，但在面對分布偏移時，由于學(xué)生網(wǎng)絡(luò)難以泛化到不同于訓(xùn)練分布的數(shù)據(jù)，其性能同樣會受到嚴(yán)重影響。

反向蒸餾異常檢測（RD4AD）是最近提出的一種方法，它通過反向蒸餾過程來學(xué)習(xí)正常樣本的特征表示。雖然該方法在多個基準(zhǔn)數(shù)據(jù)集上達(dá)到了最先進的性能，但當(dāng)測試數(shù)據(jù)與訓(xùn)練數(shù)據(jù)存在明顯分布差異時，它仍然難以有效識別異常。

從實驗結(jié)果來看，在MVTec數(shù)據(jù)集上，RD4AD在原始測試數(shù)據(jù)上可以達(dá)到98.64%的AUROC（受試者工作特征曲線下面積）性能，但在存在亮度變化的測試數(shù)據(jù)上，其性能下降到96.50%；在對比度變化的測試數(shù)據(jù)上，性能進一步下降到94.12%；在高斯噪聲干擾下，性能甚至降至90.14%。這種性能下降清楚地表明，即使是最先進的異常檢測方法，也難以應(yīng)對分布偏移帶來的挑戰(zhàn)。

在MNIST/MNIST-M數(shù)據(jù)集上，情況更為嚴(yán)峻。RD4AD在MNIST原始測試數(shù)據(jù)上可以達(dá)到98.89%的AUROC，但在MNIST-M上性能驟降至58.09%，幾乎接近隨機猜測的水平。這表明當(dāng)分布偏移較大時，傳統(tǒng)異常檢測方法幾乎完全失效。

那么，是否可以借鑒域外泛化（OOD generalization）領(lǐng)域的方法來解決這個問題呢？域外泛化主要關(guān)注如何訓(xùn)練能夠在未見過的域上表現(xiàn)良好的模型。

數(shù)據(jù)增強是一種流行的域外泛化方法。AugMix通過混合多種圖像增強操作來增加訓(xùn)練數(shù)據(jù)的多樣性，從而提高模型的泛化能力。Mixstyle和EFDM則是在特征層面進行數(shù)據(jù)增強，通過混合不同樣本的風(fēng)格特征來幫助模型學(xué)習(xí)與風(fēng)格無關(guān)的表示。

自監(jiān)督學(xué)習(xí)也是域外泛化的重要方向。Jigsaw任務(wù)要求模型學(xué)習(xí)重組打亂的圖像塊，這有助于模型獲取與位置和結(jié)構(gòu)相關(guān)的不變特征，提高對分布偏移的魯棒性。

然而，這些域外泛化方法在應(yīng)用到異常檢測任務(wù)時面臨重大挑戰(zhàn)。首先，異常檢測的訓(xùn)練數(shù)據(jù)通常只包含一個類別（正常類），而域外泛化方法往往需要多類數(shù)據(jù)來學(xué)習(xí)域不變特征。其次，異常檢測訓(xùn)練數(shù)據(jù)通常缺乏多樣性，難以通過簡單的數(shù)據(jù)增強生成足夠多樣的樣本。最后，一些域外泛化方法可能會生成不希望的＂異常＂樣本，反而降低異常檢測的效果。

實驗結(jié)果也證實了這一點。在將AugMix、Mixstyle和EFDM等域外泛化方法與RD4AD結(jié)合后，雖然在某些情況下可以略微提高模型在分布偏移下的性能，但提升幅度有限，甚至在一些情況下會導(dǎo)致性能下降。例如，在MVTec數(shù)據(jù)集上，將AugMix與RD4AD結(jié)合后，在原始測試數(shù)據(jù)上的性能從98.64%下降到96.29%，表明簡單地結(jié)合域外泛化方法可能會破壞模型在原分布上的表現(xiàn)。

這些結(jié)果凸顯了異常檢測在分布偏移下的特殊挑戰(zhàn)，也表明需要開發(fā)專門針對這一問題的新方法，而不是簡單地借用現(xiàn)有技術(shù)。

創(chuàng)新破解之法

GNL方法（分布不變正常性學(xué)習(xí)）為解決分布偏移下的異常檢測問題提供了全新思路。與傳統(tǒng)方法不同，GNL著眼于減小原始分布和偏移分布之間的差距，讓模型能夠?qū)W習(xí)到不受分布變化影響的正常樣本特征。

GNL的核心思想十分直觀：在訓(xùn)練和推理兩個階段都盡量縮小ID（原始分布）和OOD（偏移分布）正常樣本之間的分布差距。這種方法不需要OOD數(shù)據(jù)的標(biāo)簽，完全是無監(jiān)督的，非常適合實際應(yīng)用場景。

具體來說，GNL包含兩個主要部分：分布不變正常性學(xué)習(xí)和面向異常檢測的測試時增強方法。在訓(xùn)練階段，GNL引入了一個創(chuàng)新的正常性保持損失函數(shù)，幫助模型學(xué)習(xí)分布不變的正常性表示。這個損失函數(shù)同時在兩個層面發(fā)揮作用：在瓶頸層（高層特征）和解碼器的最后一個塊（低層特征）。

瓶頸層負(fù)責(zé)提取更復(fù)雜、更高層次的特征，而解碼器的最后一個塊則負(fù)責(zé)重建簡單的、低層次的特征，如邊緣、角落和斑點。通過這種設(shè)計，GNL確保了從不同合成方法生成的相同圖像在這兩個層面的特征表示都是相似的，同時保留了足夠的信息用于解碼器中的重建。

為了實現(xiàn)這一目標(biāo)，GNL使用了一種經(jīng)過修改的數(shù)據(jù)增強方法AugMix。與原始的AugMix不同，GNL移除了可能生成異常的增強類型，如＂剪切x＂、＂剪切y＂、＂平移x＂和＂平移y＂，確保所有生成的數(shù)據(jù)仍然是正常樣本。

這種數(shù)據(jù)增強方法生成了多個具有不同風(fēng)格的正常樣本變體，但它們的語義內(nèi)容保持不變。GNL隨后通過余弦相似度損失函數(shù)，迫使模型在不同風(fēng)格的樣本間學(xué)習(xí)一致的特征表示。具體來說，損失函數(shù)Labs量化了原始樣本與每個變換后的正常樣本在瓶頸層的嵌入特征之間的差異，而Llowf則量化了解碼器最后一個塊輸出的差異。

這些損失函數(shù)與原始RD4AD的損失函數(shù)Lori結(jié)合，形成了分布不變、正常性保持的綜合損失函數(shù)：L = λori * Lori + λabs * Labs + λlowf * Llowf，其中λori、λabs和λlowf是決定各類損失函數(shù)權(quán)重的超參數(shù)。

在推理階段，GNL采用了特征分布匹配（FDM）技術(shù)，進一步減小測試樣本與訓(xùn)練分布之間的差距。具體做法是在教師編碼器的前兩個殘差塊應(yīng)用FDM，將訓(xùn)練數(shù)據(jù)的分布信息注入到推理樣本中。

在這個過程中，給定一個測試樣本p和隨機選擇的一個訓(xùn)練正常樣本q，GNL首先將它們輸入到教師編碼器中。然后，在每個殘差編碼塊輸出后，應(yīng)用FDM技術(shù)將q的分布特性融入到p的特征中。這有助于將OOD測試樣本的分布特征拉回到訓(xùn)練分布，同時不會顯著改變ID測試樣本的特征分布。

GNL選擇了最新的精確特征分布匹配（EFDM）作為FDM技術(shù)。EFDM精確匹配圖像特征的經(jīng)驗累積分布函數(shù)，實現(xiàn)了準(zhǔn)確的特征分布對齊，并能匹配均值、標(biāo)準(zhǔn)差等統(tǒng)計屬性。這種方法比簡單假設(shè)特征遵循高斯分布的早期FDM技術(shù)更加精確。

值得注意的是，雖然FDM技術(shù)在域外泛化研究中也有應(yīng)用，如Mixstyle和EDFMix，但它們通常用于訓(xùn)練階段，目的是通過混合訓(xùn)練集中可用樣本的子域來創(chuàng)建新的分布樣本。而GNL創(chuàng)新地將FDM應(yīng)用于推理階段，目標(biāo)也完全不同。

通過這種訓(xùn)練和推理階段的雙重優(yōu)化，GNL能夠有效應(yīng)對分布偏移帶來的挑戰(zhàn)，在保持ID數(shù)據(jù)檢測性能的同時，大幅提高OOD數(shù)據(jù)上的異常檢測性能。

效果展示驗證

GNL方法在多個數(shù)據(jù)集上的表現(xiàn)令人印象深刻，不僅遠(yuǎn)超現(xiàn)有的異常檢測方法，也超過了簡單結(jié)合的OOD泛化方法。多項實驗結(jié)果充分證明了GNL在分布偏移場景下的有效性和魯棒性。

在MVTec數(shù)據(jù)集上，GNL在原始測試數(shù)據(jù)上達(dá)到了97.99%的AUROC，非常接近SOTA方法RD4AD的98.64%。更令人矚目的是，在存在分布偏移的測試數(shù)據(jù)上，GNL表現(xiàn)出色：亮度變化下達(dá)到97.43%（vs. RD4AD的96.50%），對比度變化下達(dá)到97.46%（vs. RD4AD的94.12%），散焦模糊下達(dá)到97.77%（vs. RD4AD的98.9%），高斯噪聲下達(dá)到94.10%（vs. RD4AD的90.14%）。這些結(jié)果表明，GNL在保持原始分布性能的同時，顯著提高了對各類分布偏移的魯棒性。

CIFAR-10數(shù)據(jù)集上的結(jié)果也展示了類似的趨勢。GNL在原始CIFAR-10上的AUROC為82.29%，略低于RD4AD的84.62%，但在偏移數(shù)據(jù)上表現(xiàn)更佳：亮度變化下為77.94%（vs. RD4AD的75.89%），對比度變化下為66.13%（vs. RD4AD的65.34%），散焦模糊下為64.04%（vs. RD4AD的66.67%），高斯噪聲下為61.51%（vs. RD4AD的58.82%）。這再次證明了GNL在分布偏移場景下的優(yōu)勢。

在MNIST/MNIST-M這對分布差異較大的數(shù)據(jù)集上，GNL的優(yōu)勢更加明顯。在一對多設(shè)置中，GNL在MNIST上達(dá)到96.91%的AUROC，略低于RD4AD的98.89%，但在MNIST-M上，GNL達(dá)到了70.87%的AUROC，遠(yuǎn)高于RD4AD的58.09%，提升了超過12個百分點！在多類設(shè)置中，GNL在MNIST-M上的AUROC為58.50%，同樣大幅領(lǐng)先于RD4AD的51.74%。

PACS數(shù)據(jù)集的結(jié)果進一步驗證了GNL的有效性。GNL在照片域（ID數(shù)據(jù)）上達(dá)到87.67%的AUROC，超過了RD4AD的81.49%。在三個OOD域上，GNL也取得了顯著優(yōu)勢：藝術(shù)畫域上為65.62%（vs. RD4AD的61.07%），卡通域上為67.96%（vs. RD4AD的60.34%），素描域上為62.39%（vs. RD4AD的55.06%）。這些結(jié)果表明，GNL不僅提高了OOD性能，還增強了ID性能，這可能是因為照片域本身包含多個子域，GNL通過學(xué)習(xí)更泛化的正常性表示，改善了在所有子域上的性能。

為了進一步了解GNL對不同程度分布偏移的魯棒性，研究者還進行了一系列對比實驗。結(jié)果顯示，隨著＂對比度＂偏移程度的增加，基線方法（RD4AD、Augmix和EFDM）的性能顯著下降，而GNL保持穩(wěn)定。當(dāng)偏移程度在1到3之間時，GNL性能幾乎不變；即使在偏移程度達(dá)到4和5的極端情況下，GNL的AUROC也只下降約5%，而競爭方法下降了約30%-35%。這充分證明了GNL對嚴(yán)重分布偏移的強大魯棒性。

為驗證GNL各組件的有效性，研究者還進行了詳細(xì)的消融研究。結(jié)果表明，分布不變正常性學(xué)習(xí)（DINL）和面向異常檢測的測試時增強（ATTA）這兩個組件都對GNL的性能有積極貢獻(xiàn)。具體來說，在PACS數(shù)據(jù)集上，單獨應(yīng)用ATTA可以在OOD數(shù)據(jù)集上獲得約2%的AUROC提升，但會導(dǎo)致ID數(shù)據(jù)上性能略有下降。當(dāng)應(yīng)用DINL時，無論是ID還是OOD數(shù)據(jù)集都獲得了4%-7%的AUROC提升。當(dāng)兩者結(jié)合使用時，性能進一步大幅提升，表明這兩個組件能很好地互相補充。

研究者還分析了GNL的超參數(shù)敏感性。結(jié)果表明，GNL對于不同的α值（在ATTA中控制風(fēng)格轉(zhuǎn)移的嚴(yán)重程度的超參數(shù)）具有良好的穩(wěn)定性。在Photo和Cartoon數(shù)據(jù)集上，GNL的性能在不同α值下保持一致，而在Art數(shù)據(jù)上，隨著α增加，性能有所提高；在Sketch數(shù)據(jù)上，性能在α=0.4時達(dá)到最大，之后略有下降。總體來說，中等值（如α=0.5）在實踐中被推薦使用。

對于DINL組件中的三個λ超參數(shù)（λori、λabs和λlowf），研究者使用了四種設(shè)置進行評估，結(jié)果顯示GNL在不同超參數(shù)比例下都表現(xiàn)出良好的魯棒性。

在時間和空間效率方面，GNL通過改進訓(xùn)練目標(biāo)和RD4AD的推理過程，避免了增加參數(shù)數(shù)量，保持了空間復(fù)雜度不變。盡管GNL的訓(xùn)練時間略長于RD4AD，但這種額外時間換來了實質(zhì)性的性能提升。在推理速度方面，GNL保持了合理的響應(yīng)性，在RTX 3090 GPU上處理PACS數(shù)據(jù)集中的＂Dog＂類別圖像時，每張圖像僅需0.0356秒，而RD4AD需要0.0282秒。

綜上所述，GNL為解決分布偏移下的異常檢測問題提供了一種有效方法。通過同時優(yōu)化訓(xùn)練和推理階段，GNL顯著提高了異常檢測模型在面對分布偏移時的魯棒性，同時保持了在原始分布上的良好性能。這一研究代表了無監(jiān)督異常檢測領(lǐng)域的重要進展，為更現(xiàn)實的應(yīng)用場景提供了有力支持。

參考資料

1. Cao， T.， Zhu， J.， &； Pang， G. （2023）. Anomaly Detection under Distribution Shift. ICCV 2023.

2. Deng， C.， et al. （2022）. RD4AD: Reverse Distillation for Anomaly Detection.

3. Zhang， H.， et al. （2023）. Exact Feature Distribution Matching for Arbitrary Style Transfer and Domain Generalization.