來(lái)源：我愛(ài)計(jì)算機(jī)視覺(jué)

在工業(yè)視覺(jué)檢測(cè)中，零樣本異常檢測(cè) (ZSAD) 是個(gè)理想的“圣杯”——無(wú)需目標(biāo)域訓(xùn)練，直接上手就能檢。然而，現(xiàn)有的基于 VLM（如 CLIP）的方法往往面臨兩難：CLIP 擅長(zhǎng)全局語(yǔ)義（懂什么是“瓶子”），但對(duì)細(xì)微的劃痕、裂紋等局部結(jié)構(gòu)“視而不見(jiàn)”。

北京郵電大學(xué)和中國(guó)電信人工智能研究院 (TeleAI) 的研究團(tuán)隊(duì)提出了 SSVP (Synergistic Semantic-Visual Prompting) 框架。他們不僅引入了 DINOv3 來(lái)補(bǔ)充細(xì)粒度視覺(jué)特征，更通過(guò)一種深度的“語(yǔ)義-視覺(jué)協(xié)同”機(jī)制，讓 Prompt 不再是死板的文本，而是能根據(jù)視覺(jué)內(nèi)容動(dòng)態(tài)變化的“靈動(dòng)指令”。

該方法在 MVTec-AD 上達(dá)到了 93.0% 的 Image-AUROC，橫掃 7 個(gè)主流工業(yè)數(shù)據(jù)集，刷新了 SOTA！

• 
  

  論文標(biāo)題 : SSVP: Synergistic Semantic-Visual Prompting for Industrial Zero-Shot Anomaly Detection

• 論文地址 : https://arxiv.org/abs/2601.09147

• 機(jī)構(gòu) : 北京郵電大學(xué), 中國(guó)電信人工智能研究院 (TeleAI)

傳統(tǒng)的 ZSAD 方法（如 WinCLIP）喜歡用簡(jiǎn)單的加權(quán)融合來(lái)結(jié)合 CLIP 和視覺(jué)特征，這種“淺層融合”就像是用膠水硬粘，雖然勉強(qiáng)能用，但沒(méi)法解決核心矛盾：

• 語(yǔ)義太泛 ：CLIP 的特征太高級(jí)，容易忽略工業(yè)場(chǎng)景中至關(guān)重要的紋理細(xì)節(jié)。

• Prompt死板 ：現(xiàn)有的 Prompt 生成（甚至單純的概率式生成）缺乏視覺(jué)條件的強(qiáng)約束，導(dǎo)致生成的文本指令“對(duì)牛彈琴”，無(wú)法精準(zhǔn)錨定特定的異常模式。

• 全局與局部割裂 ：全局打分往往被大面積的背景噪聲掩蓋，漏掉微小的缺陷。

如下圖所示，SSVP 提出了一種基于“深度協(xié)同流”的新范式，這里的 Prompt 生成是視覺(jué)條件 (Vision-Conditioned) 的，真正做到了“看圖說(shuō)話”。

02 方法詳解：SSVP 三重奏

SSVP 的架構(gòu)（圖2）設(shè)計(jì)得非常精巧，主要由三個(gè)模塊組成，分別解決上述三個(gè)痛點(diǎn)。

2.1 層級(jí)語(yǔ)義-視覺(jué)協(xié)同 (HSVS)

這是基礎(chǔ)底座。作者引入了DINOv3作為＂視覺(jué)專家＂來(lái)補(bǔ)充 CLIP 的細(xì)粒度結(jié)構(gòu)特征。核心組件是自適應(yīng)Token特征融合（ATF）模塊。

它首先將 CLIP 和 DINOv3 的局部特征投影到共享子空間：

然后通過(guò)雙路交叉注意力（Bi－Attn）顯式注入結(jié)構(gòu)先驗(yàn)。比如，用 CLIP 的語(yǔ)義去查詢 DINO 的結(jié)構(gòu)細(xì)節(jié)：

最終，將雙向交互的特征拼接并融合，生成兼具語(yǔ)義理解和結(jié)構(gòu)感知的協(xié)同特征 ：

2.2 視覺(jué)條件 Prompt 生成器 (VCPG)

傳統(tǒng)的 Prompt 是＂靜態(tài)＂的，SSVP 則讓 Prompt＂看圖說(shuō)話＂。VCPG 引入了VAE（變分自編碼器）來(lái)對(duì)視覺(jué)特征的分布進(jìn)行建模。

• 潛變量建模 ：編碼器 從協(xié)同特征中預(yù)測(cè)分布參數(shù)，并利用重參數(shù)化技巧采樣出 視覺(jué)隱變量（Visual Latent Bias） ：

• 動(dòng)態(tài)注入 ：通過(guò)交叉注意力（Text－Latent Cross－Attention），讓文本 Embedding 根據(jù) 進(jìn)行動(dòng)態(tài)調(diào)整，生成視覺(jué)增強(qiáng)的殘差 ，并通過(guò)門控標(biāo)量 注入：

這意味著，如果圖中有疑似裂紋，Prompt 就會(huì)在特征空間中向＂裂紋＂語(yǔ)義偏移。