一种通过重建、分割和空间关系建模来统一处理图像异常检测的框架

《Neurocomputing》:A unified framework for image anomaly detection via reconstruction, segmentation and spatial relationship modeling

【字体: 大 中 小 】 时间:2026年04月12日 来源:Neurocomputing 6.5

编辑推荐:

  工业图像异常检测框架:融合重建与分割方法检测结构、组件数量及空间关系异常。提出三分类体系,结合空间关系记忆、分割直方图记忆和重建模块,在MVTec LOCO AD数据集上验证效果优于现有方法,提升逻辑异常检测能力与可解释性。

  
Ziniu Zhang|Wei Zhao|Yuxi Zhang|Enrico Zio|Zhuo Zhang
北京航空航天大学自动化学院,中国北京 100191

摘要

图像异常检测有助于保障工业制造产品的质量。现有方法在检测结构异常方面取得了成功,但在识别逻辑异常(尤其是涉及组件数量和空间关系的异常)时仍存在显著局限性。本文提出了一个统一的异常检测框架,该框架结合了重建和基于分割的方法,以全面检测三种类型的异常:结构异常、组件数量异常和组件关系异常。具体而言,我们引入了空间关系记忆来捕捉组件布局模式,分割直方图记忆来检测异常的数量分布,并采用重建模块来定位结构缺陷。我们的方法还通过明确指示检测到的异常类型来支持异常类型的解释。在MVTec LOCO AD数据集上的广泛实验表明,我们的框架在逻辑异常检测方面达到了最先进的性能,并在结构异常检测方面取得了有竞争力的结果,提供了一个更具解释性和鲁棒性的解决方案。

引言

计算机视觉在工业生产中发挥着越来越重要的作用[1]、[2]、[3]。工业异常检测是一项关键任务,因为它能够及时识别制造过程中的缺陷,从而防止有缺陷的产品流入市场。
工业图像异常可以大致分为两类:
  • (1)
    结构异常,指的是局部损坏,如划痕、裂纹或污渍,通常表现为组件表面形态的不规则性。
  • (2)
    逻辑异常,指的是违反组件组装或排列规则的缺陷,例如缺失部件或错位,通常涉及更高级的结构约束。
近年来,在结构异常检测方面取得了显著进展。利用MVTec AD [4]和VisA [5]等基准数据集,许多研究提出了合成方法[6]和基于重建的方法[1]、[7]、[8],这些方法能够学习正常样本的分布并将异常识别为异常值,检测准确率超过99%。然而,这些方法主要针对局部结构缺陷,在检测组件级别的逻辑异常时效果有限。
在MVTec LOCO等数据集上检测逻辑异常存在挑战。研究表明,传统的基于重建的方法难以处理缺失或错位部件的情况[9]。最近的方法主要依赖于分割策略[10]、[11],这些策略使用无监督或少量样本分割方法对图像中的组件进行语义分割,然后利用每个类别内的像素计数作为异常指标。尽管这些方法在检测缺失部件方面有效,但在处理组件之间的关系异常(如错位)时效果有限。此外,基于分割的方法在存在结构异常的情况下表现较差,因为分割本身难以捕捉组件表面的细微损伤。
为了更好地捕捉工业环境中遇到的各种异常类型,我们将逻辑异常细分为两种亚型:组件数量异常(涉及组件的缺失或冗余)和组件关系异常(由错位或空间排列不正确引起)。结合代表表面损伤(如划痕或裂纹)的结构异常,这形成了本研究中提出的统一检测框架的三类分类体系。
为了解决这三种类型的异常,我们提出了一个结合了重建和分割技术的统一异常检测框架。具体来说,设计了一个空间关系记忆来模拟组件排列模式以检测关系异常;构建了一个分割直方图记忆来捕捉像素分布模式以识别数量异常;并采用了一个基于重建的模块来检测局部结构损伤。
因此,我们提出的框架提高了异常检测过程的可解释性和透明度。在包含结构和逻辑异常的公开可用基准数据集上进行评估时,它表现出强大的整体性能,与现有的最先进(SOTA)方法相比,具有有竞争力的AUROC分数。
本文的主要贡献可以总结如下:
  • (1)
    我们将工业异常细分为三种不同的类型:结构异常、组件数量异常和组件关系异常,并设计了一个结合了重建和分割的统一检测框架,实现了全面的多维度异常检测。
  • (2)
    我们引入了一个组件空间关系记忆,有效捕捉了组件之间的结构依赖关系,并识别了位置异常。
  • (3)
    我们引入了一种考虑方差的加权距离机制,在基于直方图的异常评分中强调稳定的像素分布,从而提高了组件数量异常检测的可靠性和鲁棒性。

部分摘录

异常检测

视觉异常检测在多个领域具有巨大的应用潜力,包括医学成像、自动驾驶和工业过程检测。本文重点关注工业异常检测领域,并使用公开可用的数据集系统地评估了所提出的框架与现有方法的表现。
目前,在工业异常检测中最广泛使用的数据集是MVTec AD [12]和VisA [5]。MVTec AD数据集涵盖了15个类别

三种主要异常

我们将所有异常类型分为三类:结构异常、组件数量异常和组件关系异常。
  • (1)
    结构异常是指物体本身的损坏或缺陷。例如,如图1中的案例2所示,左上角的橙皮是破损的。同样,实际中常见的划痕、裂纹和其他物理缺陷也属于这一类别。
  • (2)
    组件

实验设置

我们在MVTec LOCO AD [13]数据集上评估了所提出的方法,据我们所知,这是目前唯一专门为检测逻辑异常而设计的基准数据集。该数据集包括五个类别:早餐盒、果汁瓶、图钉、螺丝袋和拼接连接器。
为了公平比较,我们使用原始论文中报告的默认超参数重现了EfficientAD和少量样本分割方法的基线。与之前的工作一致

结论

本文提出了一个统一的异常检测框架,该框架结合了基于重建和分割的范式,共同解决了三种典型的工业异常类型:结构异常、组件数量异常和组件关系异常。通过将逻辑异常细分为数量和关系级别的缺陷,所提出的设计使得三个并行分支之间的职责划分更加清晰,从而提高了检测覆盖率和

CRediT作者贡献声明

Ziniu Zhang:撰写——原始草稿、可视化、软件。Wei Zhao:撰写——审阅与编辑、验证、资源准备。Yuxi Zhang:验证、调查。Enrico Zio:撰写——审阅与编辑。Zhuo Zhang:验证。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文所述的工作。
Ziniu Zhang目前正在北京航空航天大学攻读电子信息硕士学位。他的研究兴趣包括计算机视觉和工业视觉检测,重点是图像异常检测和智能质量控制应用。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号