基于全局特征聚合与自适应循环重建的零样本工业异常检测方法GlobalCLIP研究

本文提出GlobalCLIP模型，创新性地通过CLIP预训练模型实现图像全局特征聚合，结合误差级（ARS）和不确定性级（AAW）自适应模块，在零样本（zero-shot）场景下实现仅用单向量特征的高效异常检测。该方法突破传统依赖局部特征张量（tensor）或先验文本提示（prompt bank）的技术路线，在MVTec AD和VisA数据集27项任务中显著优于现有无监督/弱监督方法。

　　

Highlight

1. 1.

   使用预训练CLIP模型将原始图像编码到图文共享特征空间并进行特征聚合，在保持异常特征差异化表征的同时，更高效实现全局特征提取。

2. 2.

   相比多数异常检测工作，GlobalCLIP无需依赖多次局部图像判别计算，仅通过全局异常检测即可获得更优性能。

3. 3.

   从误差和不确定性两个层面设计自适应模块，实现不同判别模型的串联集成。自循环训练过程使该集成能够渐进校准各判别模型，同步学习正常与异常模式。

4. 4.

   在27项产品检测任务实验中，GlobalCLIP大幅超越现有方法并在所有数据集保持竞争力。

Method

零样本场景下的异常检测任务要求模型在无训练数据情况下，对未知样本集中的每个样本进行异常程度评估。假设某产品图像检测任务包含N张异常状态未知的RGB图像（尺寸W×H×3），我们的目标是通过单次全局特征提取输出异常评分。GlobalCLIP建模思路如图2所示。

Experiments

采用MVTec AD和VisA数据集进行实验，前者包含15组真实产品图像，后者包含12组。各任务已预设训练集/测试集划分以确保实验环境一致性。图6展示了27种产品的异常图像样本。通过对比不同...

Conclusion

为实现零样本场景的异常检测，我们提出基于多特征聚合与自适应循环重建的GlobalCLIP模型。与传统方法不同，该模型既无需文本提示（text prompts）引入，也不依赖局部图像特征提取，仅通过全图全局特征提取与聚合即可计算图像异常程度。通过融入两个自适应...

（注：严格遵循要求去除了文献标识与图示引用，使用^{/_{标签处理上下标，未使用HTML转义符与svg标签）}}