基于潜在空间正则化的多类别无监督异常检测反向蒸馏模型优化研究

本文提出UniRD4AD模型，通过引入即插即用的聚类损失（cluster loss）进行潜在空间正则化，有效缓解多类别异常检测（AD）中重建方法的过泛化（over-generalization）问题；同时设计长跳跃连接解码器（LS-decoder）增强低层特征重建，显著提升异常定位（AL）能力。在MVTec-AD、VisA等真实数据集上的实验表明，该模型在保持高效推理速度的同时优于现有SOTA方法。

　　

Highlight

本研究的亮点包括：

• 提出一种用于重建式异常检测（AD）方法的聚类损失，通过训练期间对潜在空间进行正则化来缓解过泛化现象。该损失可无缝集成到现有模型中，且不会在推理阶段增加参数或计算开销。

• 发现现有反向蒸馏（RD）模型忽视低层特征重建，可能导致假阳性结果。为此，我们提出长跳跃连接解码器（LS-decoder），通过跨阶段跳跃连接优化信息流，增强模型的异常定位（AL）能力。

• 在三个真实世界数据集上的大量实验表明，UniRD4AD在保持竞争力的推理速度的同时，超越了当前最先进的AD方法。此外，UniRD4AD擅长定位对其他方法具有挑战性的细微异常。

Unsupervised AD

由于异常样本稀缺，无监督方法在AD中占主导地位。现有有效方法大致可分为三类：基于合成的方法（synthesis-based methods）、基于嵌入的方法（embedding-based methods）和基于重建的方法（reconstruction-based methods）。

基于合成的方法旨在通过向正常样本引入伪异常（pseudo-anomalies），将无监督任务转化为有监督任务。

Framework

我们提出的UniRD4AD框架如图3所示。它包含四个模块：一个作为教师的冻结预训练编码器（frozen pre-trained encoder）、一个多级特征融合（MLFF）模块、一个作为学生的长跳跃连接解码器（LS-decoder），以及一个用于正则化潜在空间的聚类损失（cluster loss）。

教师编码器用于提取多级特征图（multi-level feature maps），其中表示来自编码器块的第阶段特征图。这些多级特征图随后使用MLFF模块进行融合。

Setups: datasets, metrics, and details

为验证所提UniRD4AD的有效性，我们在三个具有挑战性的真实世界数据集上进行了大量实验：MVTec-AD、VisA和Real-IAD。此外，在MVTec-AD和VisA上进行了消融研究，以评估各个组件和关键超参数对整体性能的影响。

MVTec-AD 是广泛使用的AD和AL基准数据集，包含10个物体类别和5个纹理类别的5354张高分辨率图像。训练集包含3629张正常图像。

Conclusion

在本文中，我们介绍了UniRD4AD，一个用于多类别AD的统一RD模型，它在三个真实世界数据集上超越了先前的方法，同时保持了有竞争力的推理速度。提出的聚类损失有效缓解了重建模型中的过泛化问题，并且可以无缝集成到各种架构中，而不会在推理阶段引入额外的参数或计算开销。此外，LS-decoder通过优化信息流增强了模型的AL能力。