基于自适应语义瓶颈与区域感知恢复的逆向蒸馏方法用于统一异常检测

《Expert Systems with Applications》：Reverse Distillation with Adaptive Semantic Bottleneck and Region-Aware Recovery for Unified Anomaly Detection

　　•一种新的反向蒸馏方法可有效解决学生网络过度泛化及特征过滤问题。•具有可学习查询的自适应语义瓶颈模块能够抑制异常特征。•区域到局部解码器可弥补表示差距，从而实现细粒度细节恢复。•ReLU注意力激活函数可减少极化现象，提升细节重建的稳定性。

引言
异常检测旨在识别和定位那些偏离预期模式的实例，在工业异常检测（Zhang, Gong, Lin, & Zhao 2026）以及医学病变识别（Zhu et al. 2024）等领域有着重要应用。由于异常情况的多样性和不可预测性，现有方法通常依赖有限数量的正常样本来构建正常模式的表示。在推理过程中，这些模型能够对分布外的样本保持敏感度，从而有效识别异常。因此，从正常数据中学习出简洁且具有区分度的特征表示成为一项关键挑战（Vojí?, ?ochman, & Matas 2025）。传统的异常检测范式通常为每个特定对象类别单独训练一个模型。然而，随着需要检测的类别数量增加，这种“每个类别一个模型”的方式不仅会大幅增加内存成本，而且在测试阶段还需要根据输入样本的类别切换相应的模型，这严重限制了这些方法的实用性和可扩展性。

为克服这些限制，人们提出了统一异常检测任务（You et al. 2022）。统一异常检测旨在开发一个单一模型用于多类异常检测，从而降低运行负担和资源消耗。在构建统一异常检测框架时，捕捉异常特征差异是一项关键挑战，而知识蒸馏通过教师-学生特征响应的差异展现出了巨大潜力（Bergmann, Fauser, Sattlegger, & Steger 2020；Salehi, Sadjadi, Baselizadeh, Rohban, & Rabiee 2021）。然而，传统的知识蒸馏框架存在对称的教师-学生结构，这限制了特征差异，往往导致漏检。为了解决这一问题，Deng & Li（2022）将学生网络重构为预测教师特征的解码器，并引入瓶颈模块来压缩正常表示的同时抑制异常。这种反转机制放大了异常区域的特征差异，通过系统的特征比较实现了精确的异常定位。

然而，从单类场景发展到涉及多个对象类别的统一异常检测任务时，其内在机制面临着新的挑战，如图1所示。首先，为了同时重建多种不同的正常模式，学生网络倾向于过度泛化，甚至具备重建某些先前见过或未见过的异常情况的强大能力。与此同时，不同类别之间的语义混淆进一步削弱了解码器的区分性重建能力。例如，对于某一种物体，暗色区域可能被视为正常背景；但对于另一种物体，同样的暗色区域则可能表明存在异常情况，比如“缺失”的元素。这种依赖上下文的模糊性使得解码器难以清晰区分正常特征和异常特征。

其次，核心的瓶颈模块面临着一个根本性的权衡问题。为了保留足够的语义信息以重建所有类别，很难将特征压缩到足够紧凑的嵌入空间中。由此产生的结构松散直接影响了其过滤信息的能力，使得异常特征扰动能够穿过瓶颈并传播到学生网络中。这与过度泛化问题相互作用，形成了一个恶性循环，加剧了这两种缺陷。这两个因素的共同作用显著降低了统一模型对异常的敏感度，导致与针对特定类别的模型相比存在持续的性能瓶颈。

现有研究从训练策略、特征表示和架构设计三个方向来解决这些限制。在训练策略方面，人们使用伪异常（Jiang, Cao, & Shen 2023）或噪声扰动（Tien et al. 2023）来构建负样本。例如，RD++（Tien et al. 2023）引入了简化的伪异常样本，并通过最小化重建损失来抑制它们。在增强特征表示方面，人们通过原型学习或记忆库来强化瓶颈模块，以学习出简洁的多类正常原型（Gu et al. 2023；Liu, Wang, Leng, & Zhang 2025）。例如，Gu等人（2023）存储正常原型，并在重建过程中检索相似的模板。在架构设计方面，人们主要优化解码器，以消除特征重建中的恒等快捷路径问题。例如，UniAD（You et al. 2022）采用了可学习查询和邻域掩码注意力机制；Dinomaly（Guo et al. 2025）提出了一种非聚焦的线性注意力机制，有效防止了异常特征的直接传播；MambaAD（He et al. 2024a）则提出了基于状态空间模型结构的解码器。这些改进提升了复杂多类场景下的区分能力和鲁棒性。

为了解决反向蒸馏框架中统一异常检测性能下降的问题，本文从瓶颈模块和解码器结构两个关键维度对框架进行了重新设计。因此，本文提出了一种基于反向蒸馏、具有自适应语义精炼瓶颈和区域感知特征恢复功能的异常检测框架——RD-ASRB。首先，为了解决在多类场景中保留关键语义信息与过滤异常特征之间的权衡问题，本文提出了自适应语义精炼瓶颈（ASRB）。该模块借鉴了原型学习（Luo et al. 2025；Yan et al. 2025）以及基于Transformer的可学习查询机制（Carion et al. 2020；Cheng, Misra, Schwing, Kirillov, & Girdhar 2022；Kirillov et al. 2023），利用在正常样本上训练得到的一组可学习查询，通过Transformer与输入特征进行动态交互。教师网络通过该瓶颈模块输出的特征被进一步精炼为一组区域感知描述符。这组特征可作为区域原型，通过保留与正常模式高度相关的区分性特征，同时抑制异常区域的特征响应，从而防止异常信息传播到学生网络中。

其次，由于区域级描述符缺乏位置信息，本文构建了一个区域到局部解码器，以弥补它们与像素级细粒度特征之间的表示差距。该解码器以上述区域感知描述符为输入，在教师网络提供的多级特征的引导下进行重建。通过交叉注意力机制，它逐步恢复详细的图像像素级特征表示。此外，实验表明，传统的softmax注意力机制在深层容易产生激活极化现象，从而导致细结构重建出现失真。为了解决这个问题，本文采用ReLU函数作为注意力激活函数，有效缓解了分布极化现象，显著提升了细粒度特征重建的质量。在公开可用的异常检测基准数据集上的实验结果表明，所提出的方法取得了最先进的性能。

本文的主要贡献如下：
label=0. 提出了一种名为RD-ASRB的新型统一框架，用于多类异常检测。它从根本上重新设计了瓶颈模块和解码器，以解决现有反向蒸馏方法的核心局限，尤其是学生网络的过度泛化问题以及瓶颈模块的过滤能力不足问题。
lbbel=0. 设计了一种自适应语义精炼瓶颈模块。该模块结合了原型学习与基于Transformer的可学习查询机制，能够自适应地提取不同类别的正常区域原型。它生成的区域感知描述符既保留了重要的语义信息，又能有效防止异常信息的传播。
lcbel=0. 开发了一种区域到局部解码器，用于弥合高层语义与局部细节之间的差距。该解码器通过交叉注意力机制从区域描述符中重建细粒度细节，同时还识别并减轻了深度解码器层中注意力分布极化的不良影响。通过在注意力机制中用ReLU函数替代传统的softmax函数，实现了更稳定、更高质量的细节重建。

章节摘录
无监督异常检测
无监督异常检测（UAD）旨在仅利用训练期间的正常样本来识别异常。现有方法可分为四种主要类型。基于记忆库的方法存储正常原型，通过计算测试样本与其最近的正常原型之间的距离来检测异常（Roth et al. 2022）。基于密度估计的方法则通过超球面学习（Fu, Zhang, & Fan 2024）等技术对正常数据的分布进行建模。

在统一异常检测中，反向蒸馏框架面临着诸多挑战。学生网络倾向于对多样的正常模式过度泛化，而瓶颈模块则难以在不丢失跨类别重要语义信息的情况下压缩特征。为了解决这些问题，本文提出了一种基于自适应语义瓶颈和区域感知特征恢复的统一异常检测框架，如图2所示。该框架包括……

数据集与评估指标
数据集。实验在四个广泛使用的无监督异常检测数据集上进行。MVTec-AD（Bergmann, Fauser, Sattlegger, & Steger 2019）是工业异常检测中最常用的基准数据集，包含15个类别，共计5,354张图像。VisA（Zou, Jeong, Pemula, Zhang, & Dabeer 2022）则专注于复杂工业产品的异常检测，需要处理诸如细微缺陷以及每张图像中存在多个异常实例等问题，涵盖12个类别，包含……

结论
本文解决了将反向蒸馏框架从单类别扩展到多类别通用异常检测时的核心挑战：瓶颈模块中的特征压缩不足、学生网络过度泛化以及跨类别语义混淆问题。我们提出了一种具有可学习查询的自适应语义瓶颈模块，用于编码跨类别的正常原型，同时还设计了一种采用ReLU注意力机制的区域感知解码器，以提升细粒度重建的性能。

未引用内容
表7.C
CRediT作者贡献说明
Meichen Lu：本研究的概念构思、方法设计、软件实现、初稿撰写。Guanqiu Qi：可视化处理、文本审阅与编辑。Zhiqin Zhu：验证工作、文本审阅与编辑。Jinxing Li：验证工作、可视化处理。Jiaxu Leng：验证工作、可视化处理。Yi Chai：监督指导、资源协调、资金筹集。

利益冲突声明
作者声明不存在任何可能影响本文研究的已知财务利益或个人关系。

Meichen Lu|Guanqiu Qi|Zhiqin Zhu|Jinxing Li|Jiaxu Leng|Yi Chai