基于修复扩散技术的少样本掩码引导可控异常图像生成，用于表面缺陷检测

《JOURNAL OF INTELLIGENT MANUFACTURING》：Few-shot mask-guided controllable anomaly image generation via inpainting diffusion for surface defect detection

　　

摘要

在智能制造中，基于数据的表面缺陷检测高度依赖于标注完善的缺陷样本，而实际生产线上这类数据往往十分稀缺。利用图像生成模型来合成缺陷样本是一种有效的解决方式。然而，现有方法在数据有限的情况下，往往难以生成能与周围背景自然融合的缺陷图像，且可控性和多样性也较差。为解决这些问题，我们提出了MaCoDiff，这是一种基于修复扩散模型的、由掩码引导的可控缺陷图像生成框架，仅需少量缺陷样本即可生成带有像素级标注的高质量缺陷图像。我们设计了具有两种文本条件约束的语义感知双分支损失函数，其中一个分支负责精细建模缺陷的外观，另一个分支则用于强制保证缺陷与背景在语义上的一致性，从而使生成的缺陷既能保持真实感，又能符合上下文逻辑。此外，我们还设计了显著性控制模块，用于调节潜空间中与缺陷相关的语义特征，从而灵活调整缺陷的显著性，以模拟不同的缺陷严重程度。同时，该框架还采用了基于空间变换的掩码生成策略，能够生成形状和位置多样的掩码条件，进一步提升所生成缺陷的多样性。大量实验表明，所提出的方法能够有效控制缺陷的位置、形态和显著性，生成与目标掩码高度匹配的真实缺陷图像。与现有最先进的方法相比，这种图像-掩码对能更有效地提升缺陷分割模型的性能，为少样本表面视觉检测提供了实用的数据增强解决方案。