无监督异常检测(Unsupervised Anomaly Detection, UAD)在工业制造中起着关键作用,确保产品质量和生产效率至关重要(Hilal, Gadsden, & Yawney (2022); Liu et al. (2023a); Ma, Li, & Wong (2025); Zhou, He, Liu, Chen, & Chen (2022))。与监督学习方法不同,UAD不依赖于缺陷标注,而是利用正常数据来建模标准模式的分布。在推理过程中,偏离这种学习到的分布的情况被视为异常(Salehi, Sadjadi, Baselizadeh, Rohban, & Rabiee (2021))。这一特性使得UAD特别适合工业环境,因为在这些环境中收集大规模的缺陷标签成本高昂、耗时且对于罕见或新型缺陷来说往往不可行。
无监督异常检测方法主要分为三类:基于重建的方法(Schlegl, Seeb?ck, Waldstein, Langs, & Schmidt-Erfurth (2019); Yan, Zhang, Xu, Hu, & Heng (2021))、基于表示的方法(Guo, Zheng, & Huang (2019); Reiss, Cohen, Bergman, & Hoshen (2021); Wu, Zhu, Shi, Wang, & Wu (2023)以及基于知识蒸馏的方法(Deng & Li (2022); Guo et al. (2023))。基于重建的无监督异常检测方法训练生成模型,如自动编码器(AE)(An & Cho (2015)或变分自动编码器(VAE)(Bergmann, L?we, Fauser, Sattlegger, & Steger (2018)),以学习正常样本的特征分布。在训练阶段,模型学习将正常样本编码为低维表示,并从这些表示中重建正常样本。在测试阶段,当异常样本输入模型时,其特征与正常样本的显著差异导致模型无法有效重建,从而产生较高的重建误差。模型通过评估输入图像与重建图像之间的差异来识别异常区域。虽然这些方法在一定程度上能够有效检测结构异常,但在面对逻辑异常或复杂背景时性能往往会下降。不同类型的异常如图1所示。基于表示的方法(Wu, Chen, Fuh, & Liu (2021))通常使用预训练的网络提取图像的高维特征表示,并在正常样本上训练表示模型以学习其特征分布。在测试阶段,模型通过比较输入的特征表示与训练中的正常样本的特征表示来识别异常样本,从而检测特征空间中的偏差。这些方法在处理各种类型的异常时具有优势,尤其是当异常涉及复杂的语义或结构时,能够更准确地检测异常区域。然而,在同时存在逻辑异常和结构异常的复杂环境中,异常样本与正常样本之间的特征差异可能很小,导致检测准确性下降。
近年来,基于知识蒸馏的方法(Wu, Li, Tian, Wen, & Li (2024) 成为无监督异常检测(UAD)中最有效的范式之一。与基于重建和表示的方法相比,知识蒸馏(Deng & Li (2022) 采用教师-学生框架,其中教师网络在正常数据上预训练,提供丰富可靠的特征表示,而学生网络学习近似这些表示。在推理过程中,教师特征与学生特征之间的差异自然突出了异常区域。最近的研究进一步探索了反向知识蒸馏(Reverse Knowledge Distillation, RKD)框架,其中紧凑的学生模型通过编码器-解码器残差架构引导教师网络的形成(Lei et al. (2024))。这种设计消除了对显式缺陷标注的需求,确保了训练的稳定性,并在多个工业基准测试中取得了最先进的结果,使知识蒸馏成为UAD的主流解决方案。尽管现有的知识蒸馏方法取得了成功,但仍存在两个关键挑战需要解决。首先,由于学生网络经常不仅学习复制常规模式,还学习复制异常模式,因此出现了明显的特征映射问题,导致正常区域和异常区域之间的区分度降低。其次,尽管在教师和学生网络之间引入异构性可以在一定程度上缓解这一限制,但大多数现有的学生网络设计依赖于单一的异构解码器,而这种解码器本质上无法同时捕捉细粒度的局部细节和长距离的语义依赖关系。因此,学生网络倾向于优先考虑训练数据中的主导表示模式,而忽略较弱的表现模式,导致在局部空间或全局空间中抑制了与异常相关的残差。这种限制不利于结构和逻辑异常的稳健检测,因为这两种异常需要不同的、互补的表现能力。
为了克服这些挑战,我们提出了一个基于Mamba的双异构知识蒸馏网络(Dual-Heterogeneous Knowledge Distillation Network, DHKD),用于工业异常检测,如图2所示。该框架通过在教师和学生网络之间以及学生网络内部引入异构性,扩展了传统的教师-学生范式。教师网络是一个仅在正常样本上训练的固定编码器,提供了无缺陷表示的稳定参考。相比之下,学生网络包括一个共享编码器,后接两个具有根本不同归纳偏置和表示能力的异构解码器。这种结构异构性防止学生网络在所有表示子空间中与教师网络完全对齐,从而保留了正常模式和异常模式之间的细微残差差异,提高了异常的可区分性。第一个解码器是一个增强了空间通道混合调制(SCMM)的卷积分支,该调制能够进行非局部空间通道混合,从而增强对细粒度细节的重建和对结构异常的敏感性。第二个解码器采用混合自任务Mamba模块(HSTM)进行序列建模。HSTM基于最近引入的Mamba架构,以线性时间复杂度高效捕获长距离依赖关系,并通过自任务机制在特征图中强制实现语义一致性。这使得模型能够检测出仅凭局部外观线索无法推断出的逻辑异常,如缺失或互换的组件。通过结合使用SCMM进行高保真局部重建和HSTM进行全局语义一致性,这种双异构学生架构在多个表示层次上保留了互补的残差,而不是简化为单一的主导特征模式。因此,DHKD能够在多种异常类型中稳健地区分正常区域和异常区域。在三个广泛使用的工业基准测试(MVTec LOCO、VisA和BTAD)上的广泛实验表明,DHKD在异常检测和定位方面始终优于最新的UAD方法。
我们的贡献可以总结如下:
•我们提出了一种基于双异构知识蒸馏网络的图像异常检测模型,有效解决了特征映射问题,并提高了模型的异常检测性能。
•引入了混合自任务Mamba模块(HSTM),有效捕获远程空间依赖关系,提高了模型在全球异常检测中的准确性和稳健性。
•开发了空间通道混合调制(SCMM),以实现非局部特征交互,提高了模型在局部异常检测中的敏感性和精确度。