基于扩散先验的工业缺陷检测数据增强方法研究

本文创新性地提出一种布局到缺陷（layout-to-defect）生成方法，通过利用预训练布局条件扩散模型（如Stable Diffusion）的生成先验，在有限缺陷数据下实现高精度类别-区域可控的工业缺陷合成。该方法突破传统生成模型需大量训练数据的限制，生成的图像可直接作为标注数据提升检测模型（如YOLO、Faster R-CNN）性能，在金属/布料缺陷检测及圆坯表面检测系统中验证显著效果。

　　

Highlight
(1) 针对缺陷检测模型训练数据匮乏问题，我们提出工业缺陷检测的布局到缺陷生成方法。通过采用布局条件扩散模型作为生成先验，有效适配生成指定类别和区域的缺陷。

(2) 设计了覆盖多维度评估指标的缺陷数据增强框架，为开发者提升检测模型训练数据的生成能力提供洞见。

(3) 在三个开源缺陷数据集和实际工业圆坯检测系统中验证：相比现有方法，本方案生成的缺陷样本在类别控制精度和区域匹配度上表现更优，这些合成样本及其布局标注可直接提升检测准确率。

Method
工业缺陷数据增强的整体框架包含四大组件：数据采集、数据生成（核心为布局条件扩散模型）、质量评估（采用FID/MMD指标）和缺陷检测（如Faster R-CNN）。如图2所示，通过联合优化嵌入空间和模型参数，实现缺陷概念与区域特征的双重学习。

Experiment
在NEU-DET（金属缺陷）、GC10-DET（电子元件）和SDCFD（布料瑕疵）数据集上的实验表明：

• 生成图像与真实数据的FID分数降低23.6%
• 布局匹配精度达91.4%
• 使用合成数据训练的检测模型mAP提升7.2个点

实际圆坯表面检测系统部署证实，该方法可有效解决产线中缺陷样本稀缺问题。

Conclusion
我们提出的布局到缺陷生成方法，通过融合预训练扩散模型的先验知识，在少量数据下即可实现精准可控的工业缺陷合成。未来将探索多模态（如热力图）条件生成在复杂工业场景中的应用。