《Pattern Recognition》:MPFR: Memory Prompt Feature Reconstruction for Continual Anomaly Detection and Segmentation
编辑推荐:
本文提出持续异常检测框架MPFR,通过存储少量旧样本作为提示,利用记忆样本与当前样本的结构关系建模,结合远边界采样策略和潜在蒸馏损失函数,有效缓解灾难性遗忘问题,在基准数据集和真实混凝土墙数据集上表现优于现有方法。
陈一驰|陶贤|陈斌|王俊杰|张源|Chun Pang-Jo|李先峰|周新苗
中国科学院计算机应用研究所,成都,610041,中国
摘要
持续异常检测(CAD)旨在仅在新正常数据上训练模型,同时还能检测以往任务中的异常。通过存储少量旧样本或经验,模型可以回忆过去的知识以减轻灾难性遗忘。然而,现有方法往往过度拟合存储的样本分布,导致忘记了真实的旧正常模式。为了解决这个问题,我们提出了MPFR方法,该方法利用记忆样本作为提示,并关注记忆样本之间的结构关系以减少遗忘。具体来说,正常样本经过数据增强处理,并在记忆样本的指导下在特征层面进行重构。这种方法模拟了结构关系,而不是依赖简单的记忆重放,从而从根本上解决了过拟合问题。此外,为了确保重放记忆样本的代表性,我们提出了一种远边界采样方法来从边界特征区域选择记忆样本。此外,我们引入了潜在蒸馏损失函数来促进跨任务的知识保留和迁移。在基准数据集和真实世界混凝土墙数据集上的广泛实验表明,MPFR的性能优于现有方法,使其成为CAD的实际解决方案。代码可在以下链接获取:
https://github.com/Karma1628/work-5引言
视觉异常检测(VAD)在工业制造中起着关键作用,旨在识别偏离预期正常行为的图像模式。由于工业应用中的异常情况很少见、种类多样且标注成本高昂,异常检测模型通常仅使用正常样本进行无监督训练。
在现实世界的工业生产线上,异常检测需要处理顺序引入的产品和不同的要求。如图1所示,现有的VAD方法可以提供两种直观的解决方案:(a) 为每种产品定制训练单独的模型[1],[2],[3],或(b) 收集所有产品的数据来训练一个统一的模型[4],[5],[6]。然而,前者需要为每个任务存储单独的模型参数,而后者则需要频繁地在更大的数据集上进行重新训练。这些存储和计算成本使得这些方法在现实场景中不切实际。因此,如图1(c)所示的持续异常检测(CAD)成为一个紧迫的任务,其中模型在顺序处理新产品的同时,仍能检测到以前的异常。
CAD的主要挑战是灾难性遗忘[7],[8],即直接在新正常样本上训练一个优化良好的模型会擦除其先前学到的正常知识,导致性能不可逆的下降。为此,DNE[9]首先提出存储特征统计信息并通过采样重现过去特征以保持先前知识。然而,其检测依赖于二分类器,无法用于像素级别的异常分割。为了解决这个问题,UCAD[10]建立了一个可学习的键-提示-知识记忆系统,并通过比较图像的补丁特征与检索到的特征来实现异常分割。然而,这种方法需要在整个记忆中进行复杂的检索和距离计算,对于现实场景来说效率低下。因此,CFRDC[11]提出共同重构存储的特征和当前任务的特征,使用原始特征与重构特征之间的差异作为异常分数。然而,CFRDC存储在有限记忆中的特征是随机的且缺乏代表性,随着任务的积累,遗忘程度会增加。尽管这些方法存储了来自先前任务的知识并通过重放来帮助模型恢复过去的能力,但样本与记忆之间的交互是间接的,并不参与对先前样本的正常模式的建模,导致异常区域和正常区域之间的区分不够精确。
为了解决上述问题,我们提出了一个记忆提示特征重构框架,通过存储有限的关键图像示例并将它们直接纳入先前任务的检测过程中来减轻灾难性遗忘。具体来说,我们设计了一种最远边界采样策略,优先选择距离分布中心最远的样本存储在内存缓冲区中。这种方法确保了正常模式边界区域的覆盖,增强了记忆的代表性,并减少了遗忘的累积。为了充分利用这些具有代表性的示例,我们提出了提示特征重构,通过协作编码记忆样本来构建共享的潜在空间以恢复正常模式。记忆样本作为提示,提供特定类别的约束,共同捕获先前任务的特征表示。然后,提示潜在空间指导正常模式的重构,分割网络提取输入与重构之间的差异以定位异常。与仅学习记忆分布的传统方法相比,提示特征重构整合了记忆信息,参与了过去正常模式的建模,有效减轻了灾难性遗忘。此外,我们引入了潜在空间蒸馏,限制了新旧任务的潜在空间,进一步巩固了先前任务的知识并减少了新任务学习的干扰。我们的贡献可以总结如下:
•我们提出了一种基于重放的新框架MPFR,用于持续异常检测和分割,有效利用有限的正常示例记忆来应对灾难性遗忘的挑战。
•我们引入了提示特征重构来检测异常,使重构网络能够关注异常样本与记忆样本之间的结构关系,从而减轻对存储样本的过拟合。
•我们引入了远边界采样和潜在蒸馏损失,在持续任务中保留和传输特征分布。
•在基准数据集和真实世界混凝土墙数据集上的广泛实验表明,我们提出的方法在持续异常检测和分割方面优于其他方法。
相关工作
相关工作
根据数据获取方式,异常检测可以分为两类:基于静态数据集的无监督异常检测和适应动态数据流的持续异常检测。
问题表述
在CAD中,数据是通过任务序列逐步获得的。每个任务t包括一个训练集(仅包含正常样本)和一个测试集(包含正常和异常样本)。在任务t中,模型在上进行训练,并在累积测试集上进行评估。为了解决CAD中固有的灾难性遗忘问题,我们采用了重放机制。具体来说,在每个任务训练之后,将中的一部分正常样本存储在内存缓冲区中
数据集和指标
我们在MVTecAD[31]和Visa[32]数据集上评估了所提出的模型,这两个数据集是视觉异常检测中最常用的基准。MVTecAD数据集包含15个类别,共有5,354张图像,包括10个纹理类别和5个对象类别。每个类别包含大约200张用于训练的正常图像和100张带有精确像素级注释的缺陷图像用于测试。Visa数据集是一个具有高度挑战性的异常检测基准数据集。
结论
在这项工作中,我们提出了MPFR,这是一种基于重放的新框架,用于持续异常检测和分割,解决了灾难性遗忘的关键挑战。我们将视觉提示机制引入持续异常检测中,使用记忆样本作为特征重构的视觉提示。通过关注记忆样本和测试样本之间的结构关系,我们从根本上解决了对旧任务的过拟合问题。
CRediT作者贡献声明
陈一驰:撰写——原始草案。陶贤:监督、方法论、资金获取。陈斌:资源、资金获取。王俊杰:验证、软件。张源:可视化、验证。Chun Pang-Jo:资源、数据管理。李先峰:验证。周新苗:数据管理。
利益冲突声明
作者声明以下可能被视为潜在利益冲突的财务利益/个人关系:
陶贤报告获得了国家自然科学基金会的财务支持。陶贤报告获得了中国科学院青年创新促进协会的财务支持。陶贤报告获得了北京Nova计划的财务支持。陈斌报告获得了深圳市科技项目的财务支持。