AnoCalib：面向零样本工业异常检测的统一异常感知特征校准

《Pattern Recognition》：AnoCalib: Unified anomaly-aware feature calibration for zero-shot industrial anomaly detection

　　

•AnoCalib 在测试时通过轻量级适配器校准特征。
•统一表征为多种零样本异常检测方法创建异常感知空间。
•无标签自引导实现快速有效的适应。
•AnoCalib 提升多种零样本检测范式的性能。

**引言**
在工业视觉检查 [1], [2] 中，零样本异常检测 (ZSAD) [3], [4], [5] 极具价值，因为它可以直接识别和定位测试图像中的异常区域，而无需来自目标类别的异常标注。这大大降低了缺陷检测系统的部署成本。ZSAD 的近期进展在很大程度上是由视觉基础模型 (VFMs) 的进步所推动的，例如 CLIP 家族 [6]，通过大规模图文对比预训练学习跨模态表征；以及 DINO 家族 [7], [8]，通过自监督学习提供高度可泛化的视觉特征。基于这些预训练的 VFMs，现有的工业 ZSAD 方法通常首先提取可迁移的区域特征，然后设计专门的评分机制来生成异常图，即像素级异常评分图。

从评分过程设计的角度来看，主流的 ZSAD 方法大致可以分为两种范式。第一种以 WinCLIP [3] 和 AnomalyCLIP [9] 为代表，它们利用 CLIP 的图文对齐能力，并通过图像特征与正常/异常文本提示之间的相似度来表征异常。第二种以 MuSc [10], [11] 为代表，它不依赖于文本提示，而是在未标记的测试图像之间进行互评分：正常区域通常能在其他图像中找到更多的相似邻居，而异常区域往往更加孤立。尽管性能强大，但这两种范式仍受到现成 VFM 特征异常感知能力弱的限制。现有的 VFM 优先考虑广泛的对象语义，而非细微的异常线索。因此，它们模糊了正常区域和异常区域之间的界限：由光照变化或噪声引起的罕见但正常的模式可能被标记为异常，而细微的异常区域则容易被遗漏，如图 1 所示。如图 1(c) 所示，VFM 特征严重纠缠，无法明显地区分正常和异常补丁。这种特征级的纠缠直接转化为图 1(d) 中描绘的重叠严重的异常评分分布。

基于这些观察，我们认为工业异常检测需要的判别性特征比标准预训练 ViTs 所能提供的更多。为此，我们提出了异常感知特征校准 (AnoCalib)，这是一种即插即用、测试时可学习的方法，通过锐化正常与异常的区分度来提升 ZSAD 性能。它由三部分组成：(1) 注入 VFMs 的测试时可训练轻量级适配器，赋予其异常感知能力；(2) 特征校准损失，通过三个目标联合校准正常和异常特征：将特征与其对应的文本提示对齐、分离不同的异常实例，以及通过难样本细化决策边界；(3) 无标签冷启动自引导策略，自动选择伪正常图像并合成伪异常用于适配器训练。AnoCalib 学习异常感知的判别性特征，可在 ZSAD 方法中泛化。如图 1(e) 所示，校准后的特征有效地缓解了位于决策边界附近的补丁的假阳性和假阴性。在 MVTec AD 和 VisA 上的大量实验验证了 AnoCalib 的有效性。当与 AnomalyCLIP 集成时，AnoCalib 在 MVTec AD 上将像素级 F1 提高了 22.9%，在 VisA 上提高了 13.7%，AUPRO 分别提高了 11.1% 和 4.0%。当应用于 MuSc 时，它也实现了最先进性能，确认了其在不同 ZSAD 范式中的效力。

总之，我们工作的主要贡献是：
•我们提出了 AnoCalib，一种即插即用、测试时可学习的方法，它可以无缝集成到基于 CLIP 和类似 MuSc 的 ZSAD 方法中，从而赋予 VFMs 异常感知能力并锐化正常与异常的区分度。
•大量实验表明，AnoCalib 一致提升多种 ZSAD 方法，在 MVTec AD 上像素级 F1 最高提高 22.9%，AUPRO 提高 11.0%，显著增强了分类和分割能力，以确保实际的工业部署。

**部分片段**
**零样本异常检测**
零样本异常检测 (ZSAD) [12], [13] 的近期进展主要由视觉基础模型 (VFMs) [6] 驱动。现有方法通常沿两个主要方向制定异常评分：图文相似性和跨图像区域差异。第一个方向专注于图文相似性范式。虽然早期尝试如 WinCLIP [3], APRIL-GAN [14] 依赖于手工制作的文本集合来匹配正常和异常概念，但后续工作如

**预备知识和概述**
给定一组来自同一生产线的无标签测试图像，记为 $\mathcal{I}=\{I_i\}_{i=1}^U$，现有的 ZSAD 方法，例如 [9], [10], [33], [34]，首先使用预训练的特征提取器，例如 CLIP [6]，提取密集视觉特征。对于每张图像 $I_i$，我们将其补丁标记定义为 $F_i \in \mathbb{R}^{M \times C}$，其中 $M$ 是补丁数量，$C$ 是图像特征维度。基于这些补丁标记，不同的 ZSAD 范式设计不同的评分函数以产生补丁级异常评分向量 $A_i \in \mathbb{R}^M$

**实验设置**
**实现细节。** 在本文中，我们使用由 OpenCLIP [6] 预训练的 ViT-L/14-336 作为我们的特征提取器。它包含 24 层，分为 4 个阶段。每个阶段由 6 层组成。所有输入图像在进入模型之前都被调整为 518 × 518 分辨率。对于文本特征，我们明确利用特定的每个基于 CLIP 的 ZSAD 方法的预训练文本特征。由于 MuSc [10] 缺乏文本模态，我们纳入了来自...的预训练文本嵌入

**结论**
在本文中，我们指出现有零样本异常检测 (ZSAD) 方法中一个关键但常被忽视的局限性：现成视觉基础模型 (VFM) 特征异常感知能力不足。为了解决这一瓶颈，我们提出了 AnoCalib，一个统一的异常感知特征校准框架。通过在 VFM 中插入轻量级适配器并使用我们定制化的表征学习目标对其进行优化，AnoCalib 显式地塑造了一个高判别性特征

**CRediT 作者贡献声明**
Tianyi Ma: 写作 – 原始草稿，可视化，方法论。
Feng Xue: 写作 – 审阅与编辑，可视化。
Dayou Huang: 可视化，软件。
Xurui Li: 写作 – 原始草稿，可视化。
Shilei Zeng: 可视化，验证。
Yuyi Tian: 可视化。
Yu Zhou: 验证，监督，资金获取。

**稿件准备过程中生成式人工智能及人工智能辅助技术声明**
在准备本研究期间，作者使用了 Gemini 以提高语言可读性并润色英文写作。使用此服务后，作者根据需要审查和编辑了内容，并对已发表文章的内容承担全部责任。

**利益冲突声明**
作者声明，他们不存在已知的竞争性财务利益或个人关系，这些情况可能被视为影响本文报告的工作。

Tianyi Ma|Feng Xue|Dayou Huang|Xurui Li|Shilei Zeng|Yuyi Tian|Yu Zhou