AnomalySD:基于预训练扩散模型的全量少样本异常检测方法
《Computer Vision and Image Understanding》:AnomalySD: One-for-all few-shot anomaly detection via pre-trained diffusion models
【字体:
大
中
小
】
时间:2026年02月08日
来源:Computer Vision and Image Understanding 3.6
编辑推荐:
严振宇|方青青|吕文熙|苏勤良中国广东省广州市中山大学计算机科学与工程学院,邮编511400摘要异常检测在工业制造中是一项关键任务,其目的是识别产品中的缺陷部件。大多数工业异常检测方法都假设存在足够的正常数据用于训练。但由于标记成本或数据隐私政策的原因,这一假设可能不成立。此外,
严振宇|方青青|吕文熙|苏勤良中国广东省广州市中山大学计算机科学与工程学院,邮编511400摘要异常检测在工业制造中是一项关键任务,其目的是识别产品中的缺陷部件。大多数工业异常检测方法都假设存在足够的正常数据用于训练。但由于标记成本或数据隐私政策的原因,这一假设可能不成立。此外,主流方法需要为不同对象训练专用模型,这不仅成本高昂,而且在实际应用中缺乏灵活性。为了解决这些问题,本文首次提出利用预训练的生成模型——Stable Diffusion(SD)来执行“一对多”少样本异常检测任务,这与现有大量依赖预训练的基于表示的CLIP模型的少样本异常检测方法有所不同。为了将SD适配于异常检测任务,我们设计了不同的层次化文本描述和前景掩码机制来对SD进行微调。在测试阶段,为准确遮盖异常区域以便进行修复,我们提出了多尺度掩码策略和原型引导式掩码策略来处理各种异常区域。在推理阶段,还利用层次化文本提示来指导修复过程。在MVTec-AD和VisA数据集上的广泛实验表明了我们方法的优越性。在多类和单次场景下,我们在MVTec-AD数据集上实现了93.6%/94.8%的AUROC异常分类和分割精度,在VisA数据集上则达到了86.1%/96.5%的AUROC精度。我们方法的源代码可在https://github.com/YanZhenyu1999/AnomalySD.git获取。引言在从工业制造到医学成像等高要求领域中,视觉细粒度异常检测对于识别和定位诸如划痕或瑕疵之类的微小缺陷至关重要(Bergmann等人,2019年)。由于异常的稀有性和不可预测性,无监督学习范式占据了主导地位:仅通过正常(无异常)样本训练模型,以学习对象的规范表示,任何偏离这种学习到的常态的情况都被视为异常。传统上,这种范式是以“一对一”的方式实现的,即为每个不同的对象类别训练一个专用模型(Deng和Li,2022年;Defard等人,2021年;Roth等人,2022年;Zavrtanik等人,2021a年)。虽然这种方法有效,但它在计算和操作上成本很高,因为为每个类别单独训练和维护模型效率低下。为了解决这个问题,出现了“一对多”范式,它能够使用单一的统一模型处理多个类别(You等人,2022年;Yao等人,2023年;He等人,2024年)(见图1)。这些方法在减轻部署负担方面显示出巨大潜力。然而,“一对一”和“一对多”方法都有一个显著的局限性:它们通常需要每个类别大量的正常样本才能有效建模正常数据分布。在许多现实场景中,由于高昂的收集成本或物流限制,获取如此大的数据集是不切实际的。这一挑战推动了少样本异常检测领域的发展,该领域旨在仅使用少量正常样本就能构建有效的模型(Huang等人,2022年;Fang等人,2023年;Xie等人,2023年)。尽管早期的少样本方法取得了一些进展,但由于数据严重匮乏,它们的性能往往远远落后于全样本方法。最近,大规模视觉语言模型(VLMs),如CLIP(Radford等人,2021年)的出色能力,激发了一波新的零/少样本方法的出现(Jeong等人,2023年;Zhou等人,2024年;Li等人,2024年)。这些方法利用CLIP的预训练知识,通过评估图像块与描述潜在异常的文本提示(如“划痕”、“凹痕”)之间的语义一致性来工作。其核心假设是,异常区域与描述缺陷的文本会比正常区域有更好的匹配度。然而,这一假设从根本上是错误的。CLIP是在大规模的图像-文本对上预训练的,其中的文本通常描述的是主体或场景,而非构成异常的细微、局部且往往是低级别的纹理偏差。因此,依靠语义一致性来检测异常本质上是不可靠的。此外,现实世界中异常的多样性使得无法编写或学习能够涵盖所有可能的文本提示。为了克服这些局限性,我们提出了一种范式转变。我们没有使用像CLIP这样的基于表示的VLM来判断一致性,而是利用预训练的生成模型——Stable Diffusion(SD)(Rombach等人,2022年)来修复图像。我们的核心思想简单而有效:我们假设如果一个图像区域是异常的,那么一个以正常性为条件的强大生成模型就可以将其修复得看起来正常。然后,可以通过用修复后的图像减去原始图像来定位异常。为了实现这一点,我们首先使用各种掩码来覆盖可能的异常区域。然后,我们在所有类别中有限的正常样本上对预训练的SD模型进行微调,使其强大的生成先验适应无异常表面的特定环境。这种微调增强了其进行“注重正常性”的修复的能力。虽然我们也设计了层次化文本提示来指导生成,但它们只是辅助工具,而非核心检测机制,这使得我们的方法比基于提示的CLIP方法更为稳健。为了有效识别异常区域,我们引入了两种互补的掩码策略:一种是为了提高效率的多尺度矩形掩码方法,另一种则是为了处理不规则形状的更灵活的原型引导式策略。我们的贡献最终形成了一种新颖的“一对多”少样本异常检测框架,该框架在MVTec AD和VisA基准测试中取得了最先进的性能。章节摘录全样本异常检测。全样本异常检测方法假设可以获取足够数量的正常样本用于训练。这些方法可以根据其方法和范围进行大致分类。“一对一”方法为每个对象类别训练专门的模型。它们通常分为三类:(1)基于重建的方法训练如自编码器之类的模型来重建正常图像或特征,将高重建误差作为异常的指标(Deng和Li,2022年;Zavrtanik等人,2021b年;Yan等人)。去噪扩散概率模型去噪扩散概率模型(DDPM)(Ho等人,2020年)是一种受扩散过程启发的生成模型。DDPM由前向扩散过程和反向去噪过程组成。在前向扩散过程中,每个时间步都会向数据中添加少量噪声,即xt=1?βtxt?1+βt?t,其中x0表示原始图像,?t~N(0,I)表示标准高斯噪声,βt∈(0,1)控制时间步t添加的噪声强度。它很容易被提出方法在“一对多”少样本设置下,我们假设有一个由N个类别的子集组成的数据集:X={Xc}c∈C,其中|C|=N,每个类别c提供F个正常样本:Xc={xc,1,…,xc,F}。这里,F表示每个类别可用的(正常)样本数量,也就是少样本的数量;C是所有可能的类别集合;c∈C指的是某个特定类别(例如地毯、瓶子、拉链等)。在本文中,我们的目标是利用现有的少量正常数据集X来构建一个统一的模型。数据集。我们的实验是在模拟现实世界工业异常检测场景的MVTec-AD和VisA数据集上进行的。MVTec-AD(Bergmann等人,2019年)数据集包含10个物体类别和5种纹理类别。训练集包含3629个正常样本,而测试集则包含1725张具有各种类型异常的图像,包括正常样本和异常样本。VisA数据集(Zou等人,2022年)包含10,821张高分辨率图像,其中包括9621张正常图像。结论我们提出了一种基于SD的框架AnomalySD,它能够在少样本和多类场景下检测和定位异常。我们结合了层次化文本提示和掩码设计,使SD适用于异常检测,并使用多尺度掩码和原型引导式掩码来遮盖异常,再通过微调后的SD将它们恢复为正常模式。我们的方法在MVTec-AD和VisA数据集上的少样本多类异常检测任务中取得了优异的性能。更多信息CRediT作者贡献声明严振宇:撰写——初稿、可视化、验证、方法论、研究。方青青:撰写——审阅与编辑、撰写——初稿。吕文熙:撰写——审阅与编辑、撰写——初稿。苏勤良:撰写——审阅与编辑、监督、资源、项目管理、研究、资金筹集。利益冲突声明作者声明他们没有已知的可能影响本文所述工作的财务利益或个人关系。致谢本研究得到了中国国家自然科学基金(项目编号62276280)和广州市科技计划项目(项目编号2024A04J9967)的支持。严振宇于2024年在中国广东省中山大学获得计算机科学与工程硕士学位。她的研究兴趣包括生成模型、异常检测与分割、文本编辑与生成以及内容生成。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号