ERCAD：一种用于持续异常检测与分割的嵌入重放方法

《Pattern Recognition》：ERCAD: An embedding replay method for continual anomaly detection and segmentation

　　

• •
  仅通过有限次重复使用原始样本，无法有效保留先前的知识。
• •
  在存储资源相同的情况下，特征嵌入比特征图能更好地覆盖特征空间。
• •
  嵌入式重复策略能有效缓解持续学习中的灾难性遗忘问题。
• •
  将持续学习理念融入异常检测方法，可提升其应用效果。

引言

异常检测在诸多领域都有广泛应用，从需要识别入侵行为的网络安全领域[1]，到需定位异常器官的医学影像领域，再到需检测产品缺陷的工业生产领域[2][3]。现有的异常检测方法大多基于静态数据假设，即为固定数量的类别训练统一的模型。但这一假设与现实世界中数据以连续序列形式不断输入的情况相悖。当直接将异常检测方法应用于持续学习场景时，就会出现严重的灾难性遗忘问题。为解决这一问题，持续异常检测这一创新框架应运而生[4]。

持续异常检测作为异常检测与持续学习相结合的混合框架[5][6]，旨在解决序列式异常检测任务中的灾难性遗忘问题。在这种场景下，模型需要不断学习一个或多个类别。持续学习中的一个核心策略是重复利用策略（见图1(a)），该策略通过存储旧样本并与新任务数据一起训练来降低遗忘风险。但随着任务序列的推进，存储和计算成本会急剧上升。因此，如何在样本数量有限的情况下提升重复利用策略的效果，始终是一个重要课题。

为解决这一问题，已有不少持续异常检测方法被提出。ReplayCAD[7]利用预训练的扩散模型生成图像样本，其生成过程会参考先前任务中的类别语义嵌入和掩码信息。CFRDC[8]则通过随机采样轻量级特征图样本来降低存储开销。MPFR[9]设计了边界采样策略，用于选择最具代表性的图像样本。上述方法均能有效避免使用图像样本时的灾难性遗忘问题。但如图1所示，图像重复利用存在大量语义冗余，这不仅会增加存储负担，还会限制重复利用策略保留先前任务关键知识的能力。

为此，我们提出了一种名为ERCAD的新颖持续异常检测框架。ERCAD在重复利用时选取的是嵌入向量（即图像块）而非完整图像，这样模型就能用相同的内存容量覆盖更广阔的特征空间。针对这些采样的嵌入向量，我们设计了一种不同于传统图像级或块级方法的简单嵌入重构策略，该策略能够为测试数据的嵌入向量找到最相似的对应项，从而避免正常样本被误判。我们的主要贡献如下：

• •
  我们提出了一种用于持续异常检测的嵌入重复利用方法。该方法为每个任务仅存储少量嵌入向量（相当于一个特征图样本），就能最大程度覆盖训练集的全部特征空间，从而显著提升重复利用策略的效果。
• •
  我们设计了一种精细化的嵌入重构策略用于缺陷检测，该策略能让模型充分利用在持续学习过程中反复出现的正常嵌入向量，进一步降低遗忘风险。
• •
  ERCAD在9种持续异常检测任务设置中均达到了当前最优水平，而在包含27个任务的跨数据集检测任务中，其I-AUROC值甚至高达96.2%。

章节要点

异常检测

现有的异常检测方法主要分为单类别检测范式[10]和多类别检测范式[11]，前者是为固定数量的类别训练高度定制化的模型，后者也是为固定类别数量设计专用模型。尽管这两种范式的目标有所不同，但都属于同一大类：（1）基于嵌入的方法，这类方法通过计算查询特征与内存库中支持特征之间的距离来定位异常区域。PatchCore[12]就采用了贪婪共核子采样方法来选择特征块。

问题定义与方法概述

（1）问题描述：在异常检测场景中，数据集由训练集${\left\{{\mathcal{D}}_{\text{train}}^n\right\}}_{n=1}^N$和测试集$D_{test}$组成，其中训练集包含正常图像，测试集则包含正常图像和异常图像。$N$表示类别的总数。在持续学习场景中，我们会将一个或多个类别拆分成多个独立的任务${\mathcal{T}}_k$，这些任务由索引$k=1...K$标识，具体关系如下：${\mathcal{T}}_{\text{train}}^k=\underset{n\in {\mathcal{I}}^t}{?}{\mathcal{D}}_{\text{train}}^n,{\mathcal{I}}^t?\{\mathrm{1,2},\dots ,N\}$${\mathcal{T}}_{\text{train}}^k\cap {\mathcal{T}}_{\text{train}}^{k^{\prime }}=0?,?k\ne k^{\prime }.$其中子集${\mathcal{T}}_{\text{train}}^k$代表第$k?$个任务的训练集，对应的测试集则为

数据集

我们在最常用的工业异常检测数据集上进行了全面实验，这些数据集包括MVTec AD[23]和VisA[24]。

MVTec AD包含15种工业产品，这些产品可分为纹理类和物体类两类。该数据集共有5354张图像，其中训练集包含3629张正常图像、467张异常图像，测试集则包含1258张正常图像。

VisA包含12种工业产品，这些产品可分为三类：结构复杂型、单一实例型

结论

在本文中，我们提出了一种简单且高效的持续异常检测框架——ERCAD。该框架通过构建嵌入库来避免灾难性遗忘问题。由于每个任务仅需存储少量嵌入向量，该嵌入库能够很好地模拟训练集的特征分布，同时避免正常样本被误判。此外，为了充分利用在持续学习过程中反复出现的旧任务样本，该框架还设计了简单的嵌入

CRediT作者贡献说明

邓志鹏：负责原文撰写——初始草稿、软件实现、方法设计、概念构思。 杨根：负责文本审阅与编辑工作。 涂冰：同样负责文本审阅与编辑。 刘勇：负责相关研究工作。 满俊峰：负责项目管理工作。

利益冲突声明

作者声明，他们不存在任何可能影响本文研究结果的已知财务利益冲突或个人关系。

致谢

本研究得到了以下项目的资助：湖南省高校高水平科技创新团队——设备健康状态智能监测分析关键技术（项目编号2023-233，湘交控项目），国家科技重大专项（项目编号20252D1606200），湖南省自然科学基金（项目编号2024JJ7092、2024JJ7093和2026JJ30114），以及湖南省重点科研项目。

Zhipeng Deng|Gen Yang|Bing Tu|Yong Liu|Junfeng Man