BAMB：基于混合记忆库与边界感知核心集选择的统一工业异常检测与分类方法

《Neurocomputing》：BAMB: Unified Industrial Anomaly Detection and Classification via a Mixed Memory Bank with Boundary-Aware Coreset Selection

　　

摘要

精准的工业检测对于降低废品率和生产成本至关重要。除了判断产品是否存在异常外，识别具体的缺陷类型（如弯曲、切割或划伤）对于根本原因分析和后续处理同样重要。然而，现有的大多数工业异常检测方法仅能判断是否存在异常，无法识别其具体类型。为解决这一局限，我们提出了边界感知混合记忆库（Boundary-Aware Mixed Memory Bank, BAMB），这是一个用于联合异常检测和细粒度异常分类的统一框架。BAMB 首先使用预训练网络从训练图像中提取块级特征。通过掩码引导的区域自适应滤波器选择代表性的异常块特征，然后将其与正常块特征结合，构建带有细粒度标签的混合记忆库。在推理阶段，通过最近邻检索为每个块级特征分配标签，并通过聚合这些标签生成图像级别的检测和分类预测。为减少内存需求，边界感知核心集选择通过在原始特征局部邻域内生成伪查询特征，分析其最近邻分布，以识别并保留支持分类决策边界的特征。在 MVTec AD 上，BAMB 的平均二元 F1 值达到 93.92%，平均宏平均 F1 值达到 87.40%。在 VisA-AC 上，相应的分数分别为 90.83% 和 80.58%。与评估中最强的基线相比，在 MVTec AD 和 VisA-AC 上，宏平均 F1 值分别提高了 6.27 和 9.76 个百分点。这些结果支持在不增加额外可训练参数的情况下，使用统一的记忆库框架进行异常检测和细粒度异常分类。

引言

工业视觉异常检测利用计算机视觉自动识别表面缺陷，减少了对传统人工检测的依赖[1], [2]。由于在生产环境中正常样本丰富，而异常样本稀缺且形态多样，无监督深度学习已成为主流范式[3], [4]。基于重建的方法（包括自编码器、变分自编码器和 GANomaly[5]）、知识蒸馏方法（如学生-教师特征金字塔匹配[6]）、归一化流方法（如 CFLOW-AD[7] 和 FastFlow[8]）以及基于记忆库的方法（如 PatchCore[9] 和 SPADE[10]）均取得了优异的检测性能[11]。然而，这些方法通常将任务定义为二元正常-异常分类：它们仅判断是否存在异常，而无法识别异常属于哪种类型。

然而，在生产线上，不同的异常类型可能指示不同的失效根源[12]。金属表面的划痕可能反映工具磨损，污染斑点可能表明清洁控制不足，颜色异常可能源于原材料批次差异。识别缺陷类型可以将检测结果与其潜在工艺原因联系起来，并指导产品的后续处置[13]。

异常分类面临两个主要挑战。首先，异常样本稀缺，在工业数据集中仅占极小比例[14], [15], [16], [17], [18]，由此产生的严重类别不平衡使得传统监督学习变得困难。其次，缺陷在形状、纹理和尺度上差异显著[19]，而同一类别的样本可能缺乏一致的判别特征。因此，建立可靠的分类决策边界尤为具有挑战性。

近期研究已开始探索工业场景下的异常分类。一类工作利用多模态大语言模型（MLLMs）的语义推理能力（如 Echo[20] 和 VELM[21]），通过参考图像检索、领域知识注入和链式推理[22]来确定缺陷类型。然而，这些方法依赖高性能推理引擎，计算成本高昂，难以部署在边缘设备或离线环境中。另一类工作以 MCAD[23] 为代表，在异常检测器之后添加单独训练的分类模块。尽管该方法避免了对外部 MLLM 的依赖，但引入了额外的可训练参数，且分类精度有限。因此，现有方法要么依赖计算昂贵的大模型推理，要么需要额外的可训练模块和训练阶段，同时其分类性能仍然有限。

我们探讨预训练的块级特征是否能够通过共享的最近邻决策规则同时支持这两个任务。在工业生产中，可以在运行过程中持续积累正常样本，而少量异常样本通常也可获得[24]。因此，我们将大量正常样本与带有类别标签和像素级掩码的少量异常样本相结合[25], [26]。我们的工作假设是，特征空间的邻近性可以为正常模式和已见缺陷类型提供类别相关的证据。在构建和压缩带有标签的混合记忆库时，面临两个挑战。异常图像包含正常背景，使得图像级标签对单个块不可靠。压缩也可能移除决定最近邻类别分配的特征。我们通过选择性异常特征纳入和边界感知核心集选择来解决这些问题。本文的主要贡献如下：

• (1)
  仅包含正常样本的记忆库无法仅凭存储的正常特征识别特定缺陷类型。我们提出了边界感知混合记忆库（BAMB），这是一个用于异常检测和细粒度异常分类的统一框架。BAMB 通过从带有标签的混合记忆库中进行最近邻检索，获取两个任务的块级预测，且无需额外可训练参数。在 MVTec AD[25] 和 VisA-AC[21] 上，完整的混合记忆库分别达到了 87.40% 和 80.58% 的宏平均 F1 值。这些分数分别比每个数据集上最强的评估基线高出 6.27 和 9.76 个百分点。
• (2)
  异常图像中的正常背景和缺陷大小的变化使得代表性异常块级特征的选取变得复杂。为解决这些问题，我们开发了掩码引导的区域自适应块滤波器（MAAPF）。MAAPF 利用局部掩码重叠率和图像特定阈值，在排除低重叠块与保留小缺陷信息之间取得平衡。在 MVTec AD 上，其区域自适应阈值分别将二元 F1 值和宏平均 F1 值提高了 6.17 和 9.92 个百分点，优于最佳固定阈值结果。
• (3)
  记忆库压缩可能移除决定最近邻预测的特征，从而改变分类器的决策边界。因此，我们提出了边界感知核心集选择（BACS），该方法利用局部伪查询特征识别支持类间决策边界的存储特征。在 MVTec AD 上，以 10% 的采样率，BACS 达到了 81.89% 的宏平均 F1 值，比最强的竞争核心集方法高出 6.50 个百分点。BACS 将记忆库大小减少了 90%，同时缓解了压缩引起的性能下降。

本文其余部分组织如下。第 2 节回顾异常检测、异常分类和核心集选择的相关工作。第 3 节介绍所提出的 BAMB 框架。第 4 节描述实验设置并呈现结果。最后，第 5 节总结全文。

章节摘要

异常检测

代表性的工业视觉异常检测方法可大致分为四类[3], [11]。（1）基于重建的方法，如自编码器[26], [27], [28]、变分自编码器[29] 和 GANomaly[5]，通过图像或潜在空间重建学习正常模式，并利用重建差异检测异常[30]。然而，它们的泛化能力可能导致异常模式被重建，削弱检测敏感性。（2）

方法

对于每个产品类别，BAMB 考虑一个闭集设置，其中测试时评估的缺陷类型在训练数据中有表示。混合记忆库存储标记为正常（0）或已知缺陷类别之一（1, …, C）的块级特征。最近邻检索为每个测试特征分配其最接近的存储特征的标签。聚合这些块级标签可生成图像级预测，通过将所有非零标签分组即可获得二元检测结果。

实现细节

我们将局部锚定窗口的边长 L 设为 8 像素，确保相邻窗口不重叠。滤波阈值 τ 指定了块特征存储在混合记忆库中所要求的最低局部掩码重叠率。该阈值由第 3.1 节描述的 AAT 方法确定，其中 ${\mathrm{\tau }}_{\max }=0.99$，$r_{\mathit{th}}=0.3$，且 $n=2$。对于核心集选择，投影维度 $d^{*}$ 设为 128，Beta 分布参数固定为 $\alpha =1.0$ 和 $\beta =0.3$。除

结论

我们提出了 BAMB，这是一个用于工业异常检测和细粒度异常分类的统一混合记忆库框架，无需额外可训练参数。利用预训练网络提取的特征，MAAPF 选择代表性的异常块特征，并将其与正常特征结合以构建混合记忆库。BACS 通过保留支持分类决策边界的特征来压缩该记忆库。

在 MVTec AD 上，完整的混合记忆库达到了

CRediT 作者贡献声明

陈钱增：初稿撰写、可视化、验证、调查研究。贾可：审阅与编辑、监督、软件、资源、项目管理、方法学、调查研究、概念化。李阳义：审阅与编辑、初稿撰写、可视化、验证、软件、方法学、调查研究、形式化分析、数据整理、概念化。

利益冲突声明

作者声明，他们不存在可能影响本文所报告工作的已知竞争性经济利益或个人关系。

李阳义 目前正在中国成都信息工程大学计算机科学学院攻读人工智能硕士学位。他的研究兴趣包括计算机视觉、异常检测和机器学习，特别关注工业视觉异常检测与分类。

李阳义|贾可|陈钱增