基于掩码引导的双重反向修复技术用于视觉检测中的工业异常生成

《Neurocomputing》：Industrial anomaly generation via mask-guided dual reverse inpainting for visual inspection

　　胡新宇|刘振松|杨华
中国武汉，华中科技大学智能制造装备与技术国家重点实验室，430074

摘要
异常检测在制造业的缺陷检测中起着至关重要的作用。然而，现有的大多数异常检测方法都受到异常训练样本匮乏的制约，这限制了它们准确定位缺陷区域的能力。近期的一些研究试图通过利用生成模型合成异常图像及其对应掩码来解决这一问题，但这些方法往往存在图像与掩码不对齐以及视觉真实度不足的问题。为了解决这些局限，本研究提出了一种基于掩码引导的双向逆向涂鸦网络（MDRIN），用于生成高质量的异常图像。具体而言，MDRIN将异常生成重新定义为一种逆向涂鸦任务，模型通过上下文线索的引导，在正常图像的缺失区域填充异常内容，从而确保生成的图像与掩码在空间上保持一致。此外，该模型还引入了渐进式掩码窗口注意力机制，通过聚焦有效特征来高效捕捉长距离依赖关系；同时，协同特征融合模块则将高频细节与低频结构相结合，提升生成的真实性。另外，风格调节解码模块则有助于实现具有多样性和领域针对性的工业异常图像生成。大量实验表明，所提出的MDRIN在视觉真实度和多样性方面均优于现有的先进异常生成方法。此外，它在下游异常定位性能上也有了显著提升，在MVTec-AD数据集上的像素级平均精度和F1值分别提升了2.5点和2.9点。在OLED显示器检测等实际应用中的表现进一步验证了MDRIN的实用性。

引言
工业场景中的表面缺陷通常具有多种类型和不同大小[1]，这些缺陷可能导致产品质量下降和经济损失。因此，准确的缺陷检测——包括图像级的单类分类和像素级的定位——对于确保工业制造产品的可靠性至关重要。自动光学检测是一种基于视觉的检测技术，它利用相机和图像处理算法来检测产品上的缺陷，由于其非侵入性和高精度而得到了广泛应用[2]。如图1所示，典型的AOI工作流程包括图像采集、感兴趣区域选择以及缺陷检测。由于缺陷训练样本的稀缺以及收集和标注这些样本所需的高昂人工成本，主流的缺陷检测方法[3]–[7]通常是在无监督异常检测框架下开发的，这类方法通过区分异常模式与正常模式来识别缺陷。尽管这些异常检测方法在图像层面取得了优异的性能，但由于缺乏监督性的异常数据，其在像素级定位方面的效果仍然有限[9]。因此，亟需一种能够生成逼真异常图像-掩码对的异常生成框架，以便通过基于生成数据的监督学习来提升下游的异常定位性能。

从更广阔的角度来看，人们已经尝试通过引入基于仿真的先验知识或先进的机器学习策略，如物理信息建模和领域随机化，来提升合成数据的真实度和泛化能力[13]–[17]。在异常生成领域，主流方法侧重于基于数据的工业检测建模。现有的异常生成方法大致可分为两类：非生成型方法和基于生成模型的方法。非生成型方法[18]–[21]通常采用基于规则的增强策略来合成异常图像。具体来说，它们是从经过处理的正常图像或外部纹理库中提取随机块，然后将其覆盖到无缺陷样本上，从而构建出合成后的异常区域。虽然这些方法无需模型且易于实现，但生成的图像往往缺乏视觉真实性。

基于生成模型的方法则利用生成对抗网络和扩散模型的生成能力。其中一类方法能够同时生成完整的异常图像及其对应的掩码。DFMGAN[11]首先在无异常数据上对StyleGAN2[22]进行预训练，然后再用少量异常样本对其进行微调，并加入用于掩码生成和特征处理的辅助组件。然而，由于缺乏明确的对齐约束，生成的掩码常常与异常区域不对齐，且生成的图像中往往会出现伪影（见图2(b)）。此外，这些方法在异常位置的选择上具有随机性，难以精确控制异常位置，尤其是在需要用户指定区域的情况下。另一类基于生成模型的方法则以输入掩码作为生成条件。AnomalyDiffusion[9]分别对异常的外观和位置特征进行建模，并使用潜在扩散模型将异常信息应用到被掩码覆盖的区域。虽然这种方法可以实现有针对性的异常合成，但由于缺乏足够的上下文建模，生成的区域与无异常区域之间可能存在不连续性。此外，由于缺乏结构约束，合成出的异常可能出现在不合理的位置（见图2(c)）。AnoGen[12]则利用边界框和学到的异常嵌入来引导LDM进行异常生成，但矩形形状无法体现实际异常的不规则几何形态（见图2(d)）。总体而言，尽管当前的基于生成模型的异常生成方法已取得了一定进展，但仍存在两个主要问题：合成异常的真实性不足，以及异常区域与其对应掩码之间的对齐不够准确。

为了解决上述问题，本研究提出了一种基于掩码引导的双向逆向涂鸦网络（MDRIN），旨在在真实异常样本有限的条件下生成高真实度的异常图像-掩码对。MDRIN的灵感来源于图像涂鸦任务的目标[24]–[26]，即用在语义和视觉上都连贯的内容填充缺失区域。不过，传统的涂鸦方法侧重于恢复与周围环境一致的正常内容，而MDRIN则反向操作，即在保持上下文一致性的同时，在缺失区域内生成异常内容，如图3所示。形式上，设 为无异常图像， 为生成的异常图像，传统的异常生成方法会学习一个直接的映射关系 ，这种映射关系约束较弱，导致可行的解空间较大，进而使得生成的异常与掩码容易出现不对齐。相比之下，逆向涂鸦方法则定义了一个条件映射关系 ，其中 为二进制异常掩码， 代表哈达玛积。已知的上下文信息 会施加结构约束，有效限制优化空间，减少异常位置选择的不确定性。因此，生成的异常在上下文上更加连贯，与对应掩码的对齐也更好（见图2(e)）。

基于以上分析，MDRIN将异常生成重新定义为两阶段的逆向涂鸦过程。具体而言，对于异常掩码的生成，首先移除全零掩码中的边界框区域，然后用合成的异常轮廓填充这些区域；而对于异常图像的生成，则在无异常图像的对应区域中，借助上下文线索引导，填充异常内容。MDRIN为这两个阶段采用了统一的涂鸦架构，每个阶段独立训练，并且基于高效的GAN框架实现，以满足工业应用中有限的计算资源和实时性要求。为进一步提升生成质量和多样性，MDRIN还包含了三个关键组件。首先，渐进式掩码窗口注意力机制通过动态掩码引导的有效特征，捕捉长距离依赖关系，从而确保空间上的连贯性和整体一致性。其次，协同特征融合模块通过内容引导的门控机制，自适应地整合低频结构信息和高频细节，提升合成异常的真实性。最后，风格调节解码模块则结合图像条件和噪声无关的风格表示，调整解码器的卷积权重，从而实现具有多样性和领域针对性的异常合成。在MVTec-AD[10]和BTAD[27]数据集上的大量实验表明，MDRIN在生成的真实度和多样性方面都具有明显优势。此外，它生成的数据还能显著提升下游的异常定位性能。在有机发光二极管显示器检测等实际应用中的表现进一步证明了MDRIN的实用性。

总结
本文的主要贡献如下：
1. 提出了一种新的基于掩码引导的双向逆向涂鸦网络（MDRIN），将工业异常生成任务重新定义为逆向涂鸦任务。该方法通过利用无异常区域的上下文线索，为掩码标记的缺失区域填充异常内容，从而确保生成出连贯且对齐良好的异常图像-掩码对。
2. MDRIN包含了三种关键设计，用以进一步提升生成质量和多样性：渐进式掩码窗口注意力机制通过动态选定的有效特征捕捉长距离依赖关系，确保空间连贯性；协同特征融合模块通过内容引导的门控机制，自适应整合结构信息和细节特征；风格调节解码模块则利用风格表示调整卷积权重，实现具有领域针对性的多样化异常合成。
3. 在公开数据集上的大量实验表明，MDRIN在生成质量和多样性方面都具有优异的表现。在代表性的MVTec-AD数据集上，它的Inception Score平均值达到了2.00。此外，MDRIN还能显著提升下游的异常检测性能，尤其是在像素级指标上，其有效性也在实际的工业应用中得到了进一步验证。

本文的其余部分安排如下：第2节回顾了工业异常检测与生成的相关研究；第3节详细介绍了所提出的MDRIN方法；第4节展示了大量实验结果，以验证MDRIN的有效性；最后，第5节对全文进行总结。