一种基于修补扩散与上下文感知掩码生成的合成缺陷图像生成方法，用于提升工业缺陷检测性能

《JOURNAL OF INTELLIGENT MANUFACTURING》：A Synthetic Defect Image Generation Method for Enhanced Industrial Defect Detection Based on Inpainting Diffusion and Context-aware Mask Generation

　　摘要：自动化视觉检测系统越来越依赖基于深度学习的物体检测技术，以实现快速且一致的表面缺陷识别。然而，缺陷图像数据的稀缺以及产品差异导致的视觉特征分布变化，依然是阻碍深度学习系统实际应用的重大挑战。为解决这些问题，我们提出了一种基于修复扩散模型的合成缺陷生成方法。该方案引入了上下文感知掩码生成模块，以确保生成符合要求的掩码，从而实现逼真的缺陷图像合成。所提出的CAMG模块利用无标签自蒸馏视觉基础模型，自动学习产品图像上的缺陷定位规则。通过修复技术将缺陷添加到新产品的无缺陷图像上，该方法有效弥补了因产品差异造成的分布差距，提升了新产品引入阶段的检测稳定性。我们在鞋类和印刷电路板数据集上验证了该方法的有效性，实验结果表明，引入合成缺陷图像能够显著提升各类缺陷检测模型的平均精度、精确度和召回率，尤其在充满挑战的新产品引入场景中效果更为突出。

引言：基于深度学习物体检测技术的自动化视觉检测系统已成为智能制造的核心组成部分，取代了传统的手动视觉检测方式。近期研究显示，这类技术在半导体（Shinde等人，2022年）、钢铁（Zhang等人，2024年）、铁路（Ni等人，2022年）以及农业（Lu等人，2025年）等多个工业领域都展现出良好的检测性能。但在实际生产环境中，其广泛应用仍面临诸多挑战。具体而言，由于数据获取周期长，加之缺陷数据稀缺以及产品频繁更替，检测系统的性能容易下降。以鞋类制造业为例，由于市场需求变化，新产品不断推出（Shen等人，2020年），同一条生产线往往需要生产设计风格和颜色各异的多款产品。在如此动态的环境中，缺陷检测模型持续面对未经训练的产品图像，这种持续的分布变化会导致模型性能严重下降（Lengyel等人，2023年；Yao等人，2023年）。此外，由于制造现场缺乏缺陷图像数据，获取真实的缺陷数据可能需要数月甚至更长时间（Garcia-Perez等人，2025年；Li等人，2023年）。这就造成了如图1所示的性能下降与后续恢复之间的时间滞后，进而影响了AVI系统在行业的广泛推广。

图1：完整尺寸图像——新产品引入场景下缺陷检测模型的性能下降

为克服这一难题，我们提出了一种以数据为中心的策略，通过合成缺陷图像来提升缺陷检测能力。该方法有助于制造商加快数据获取速度，丰富训练数据集，同时减少对稀有真实缺陷的依赖。即便是对那些尚未有缺陷数据的新产品，该方法也仅需少量无缺陷的普通图像，而这些图像在原型设计阶段即可快速获取（De Giorgio等人，2023年）。通过生成合成图像，该方法能够在现有产品线中补充缺失的缺陷模式，并将缺陷特征延伸到新产品上，从而弥补分布差异。因此，该方法能有效缓解动态制造环境中的性能下降问题。

为在真实工业环境下评估该方法的效果，我们在鞋类和印刷电路板这两种典型的工业数据集上进行了大量测试。选择这些数据集是因为它们具有与我们研究问题相关的典型特征，包括同一类别下的多种产品变体、复杂的子组件、边界框级标注以及高度局部化的缺陷。实验结果证实，该方法在尤其是具有挑战性的新产品引入场景中，性能始终优于传统基准方法。在我们的方法中，未见过的产品其召回率可提升多达21.5个百分点，充分体现了其在动态制造环境中的实用价值。此外，我们还通过定量评估合成图像质量及特征空间可视化等方式，对方法的有效性进行了全面分析。

本研究的主要贡献如下：
1. 我们提出了一种完全自动化的合成缺陷生成流程，该流程将上下文感知掩码生成技术与经过微调的扩散模型相结合，无需人工干预即可实现符合上下文要求的缺陷数据的自动化生成。
2. 我们证明了该方法在具有结构复杂性、多样设计及局部化缺陷特征的真实缺陷检测数据集中的实用价值。
3. 大量实验表明，该流程能够有效提升各类先进缺陷检测模型的性能，有效解决动态工业环境中的数据稀缺和分布变化问题。

本文其余部分的结构如下：第一节“相关工作”回顾了与合成缺陷图像生成相关的方法，尤其是与我们方法密切相关的修复扩散模型；第二节“方法”详细阐述了所提出的方法；第三节“实验结果”展示了实验数据，并进行了对比分析及讨论；最后，第四节“结论”总结了全文内容，并提出了未来研究的方向。

相关工作
工业缺陷检测的深度学习应用
基于深度学习的物体检测器，尤其是基于“一次看够”（YOLO）架构（Redmon等人，2016年）和检测变换器（DETR）架构（Zhao等人，2024年）的单阶段检测方法，已被广泛用于自动化视觉检测系统。这类端到端架构适合实时推理和多类缺陷检测，而这正是制造业在线检测的关键需求。然而，这类监督式物体检测器依赖于大规模的带标签数据集。训练数据不足以及分布变化可能导致严重的过拟合问题。为解决这些问题，数据增强技术（Wang等人，2025年）和领域自适应技术（Wang等人，2023年）得到了广泛研究。尽管诸如领域对抗学习之类的领域自适应方法（Ganin等人，2016年；Li等人，2023年）能够实现不同输入分布之间的端到端特征对齐，但它们在训练时需要目标领域的代表性样本，而当生产前尚无目标产品的缺陷图像时，这类样本就难以获得。此外，这些方法往往侧重于全局特征对齐，可能会无意中抑制那些对精确定位缺陷至关重要的细粒度局部特征。因此，近期的研究趋势转向利用大规模基础模型进行生成式数据增强，以丰富现有数据集。

合成缺陷图像生成
数据增强是一种广泛用于解决工业缺陷检测中数据稀缺问题的策略。早期的方法采用复制粘贴技术（Li等人，2021年）和基于GAN的技术（Zhang等人，2021年）来生成缺陷图像，但这些方法往往无法生成具有真实纹理或与背景无缝融合的图像。近年来，潜在扩散模型（Rombach等人，2022年）作为一种强大的替代方案出现，其在生成高保真图像方面的表现优于以往方法。其中，修复扩散模型是一种特殊类型的扩散模型，它经过训练后能够无缝填充给定输入图像中的遮罩区域，这类模型在保留整个产品结构的同时，还能有效生成局部缺陷纹理。之前的研究如AnoGen（Gui等人，2025年）、AnomalyDiffusion（Hu等人，2024年）和DefectFill（Song等人，2025年）已在MVTEC-AD（Bergmann等人，2019年）和ViSA（Zou等人，2022年）等学术基准测试中证明了修复扩散模型在利用合成缺陷图像提升缺陷检测能力方面的优势。最近的研究还在将这种方法应用于现实世界的数据集方面取得了进展（Chen等人，2025年；Zeng等人，2025年）。

修复扩散模型中的掩码生成
在利用修复扩散模型生成缺陷图像的过程中，掩码生成是一个关键步骤，它决定了要生成的缺陷的空间位置及其具体类型。在各种工业领域中，生成缺陷图像时必须精确确定缺陷掩码的位置。例如，在我们研究的鞋类产品缺陷检测中，“线头松散”这类缺陷必须出现在缝制区域等语义合理的部位，而不能出现在橡胶鞋底等不合适的材料上。不过，以往的掩码生成方法存在一些局限性。重复使用训练集中的缺陷掩码或手动绘制掩码虽然能确保掩码的有效性，但却不利于实现数据生成流程的完全自动化（Chen等人，2025年；Gui等人，2025年；Song等人，2025年）。前景采样技术（Choi等人，2025年；Rother等人，2004年）虽然能够区分产品与背景，但缺乏精确定位产品内部缺陷位置的精细度。最后，虽然将掩码生成直接整合到生成模型中是一种有效的策略，但这种端到端的方法可解释性较差（Hu等人，2024年）。为解决这些问题，我们引入了一种可学习的上下文感知掩码生成模块，该模块能够根据输入图像显式建模缺陷位置、类型和大小的联合分布。借助视觉基础模型的特征，CAMG能够实现语义一致且符合上下文要求的缺陷合成，尤其适用于表面结构复杂的工业产品。

扩散模型的参数高效微调
尽管大规模扩散模型具备强大的生成能力，但它们是在通用领域数据集上预训练的，往往缺乏表示工业缺陷和复杂产品纹理所需的领域特定知识。因此，进行微调对于弥补这一缺陷、让模型捕捉目标产品的独特视觉特征至关重要。为在保留预训练能力的同时实现这一目标，以往的研究探索了多种参数高效的微调策略。其中，低秩适配技术（LoRA）（Hu等人，2022年）能够以最少的可学习参数实现分层微调。文本逆向技术（Gal等人，2023年）和Dreambooth技术（Ruiz等人，2022年）则引入了可学习的条件标记，用以捕捉特定概念。这些方法使得即使仅依靠少量样本监督，也能对大规模生成模型进行微调且不会引发过拟合问题。受这些研究的启发，我们的方法也采用了LoRA和文本逆向技术，以此将修复扩散模型适配到工业领域。

方法
图2展示了我们提出的合成缺陷图像生成流程的总体框架。图中还描绘了上下文感知掩码生成模块以及修复扩散模型的结构。图中用不同颜色标出了可学习参数、固定参数以及部分可学习参数。\(I_c,B_c,\hat{I_c}\)分别代表裁剪后的图像和掩码。

图2：完整尺寸图像——所提出的合成缺陷图像生成流程框架

上下文感知掩码生成（CAMG）
在由多个子组件构成的产品中，潜在缺陷的类型会因具体组件的不同而有所差异。如果在生成阶段使用不当的掩码，就会产生语义上不合理的图像，进而影响缺陷检测器的有效训练。在现有将对象的位置和外观建模为可学习条件概率分布以实现语义连贯图像合成的方法基础上（Lee等人，2018年），我们提出了上下文感知掩码生成模块。该模块将缺陷上下文建模为明确的条件概率分布，从而实现完全自动化的掩码生成，并能够分离地表示缺陷上下文。我们将这一过程定义为：
$$\begin{aligned} \mathcal {C}(I)=P(L,T,S|\Phi (I)) \end{aligned}$$ (1)
其中，\(\mathcal {C}\)代表整个CAMG模块，I是输入图像，L、T、S分别代表潜在缺陷的位置、类型和大小。\(\Phi (I)\)是从固定的视觉基础模型中获取的一组补丁特征。位置L作为先验信息包含在\(\Phi (I)\)中，而T和S则是两个补丁级预测头的输出结果。多种视觉基础模型范式可用于\(\Phi\)，比如对比性语言-图像对齐（Radford等人，2021年）、掩码技术（He等人，2021年）、分割方法（Kirillov等人，2023年）以及自蒸馏技术（Oquab等人，2024年）。类别头和尺寸头均为线性层，分别输出缺陷类别概率\(p_i\)以及边界框的尺寸参数\(\hat{s}_i = (\hat{w}_i, \hat{h}_i)\)。这两个头可通过共享的线性层进行联合训练。我们特意设计该流程以提供基于边界框的指导，而非像素级的分割掩码。这种设计充分考虑了制造环境中的实际限制——获取像素级标注极为耗时，而边界框标注更为常用（Caruso等人，2026年）。此外，分类头会将无缺陷区域归类为“无缺陷”类型，以此引导模型专注于产品图像的前景区域。在训练阶段，基础模型保持冻结状态，两个预测头则与补丁特征一起通过最小化总损失\(L_{CAMG}\)来进行联合训练，该损失为分类损失\(L_{cls}\)和尺寸回归损失\(L_{box}\)的加权之和：$$\begin{aligned} L_{cls}&= -\sum _i \sum _{k=1}^{K+1} y_{i, k} \log p_{i, k}\end{aligned}$$ (2) $$\begin{aligned} L_{box}&=|| \log (w_i)-\log (\hat{w}_i)||_2^2 + || \log (h_i)-\log (\hat{h}_i)||_2^2 \end{aligned}$$ (3) $$\begin{aligned} L_{CAMG}&= L_{cls}+\lambda L_{box} \end{aligned}$$ (4) 由于缺陷通常出现在局部区域，使用所有补丁特征会导致严重的数据不平衡问题。因此，我们采用随机补丁采样策略，每个缺陷边界框对应采样一个正样本补丁，以及从随机选取的无缺陷区域中采样三个负样本补丁。这一采样比例是根据数据集中的产品构成来确定的：背景复杂的数据集需要更高的负样本比例以捕捉正常特征的变化，而裁剪范围较小的图像则需要较低的比率。同时我们将\(\lambda\)设为1，尺寸损失仅作用于正样本补丁上。在推理阶段，所有补丁特征会被输入到相应头部，从而生成密集的缺陷概率图\(M \in \mathbb {R}^{(c+2)\times H' \times W'}\)，其中c为缺陷类别数量，\(H', W'\)则为\(( \lfloor H/\text {patch size} \rfloor , \lfloor W/\text {patch size} \rfloor )\)。随后可通过top-k采样为每个缺陷类别生成二值掩码B，我们此处设定k=5，这种随机采样方式能够提升缺陷图像的多样性。之后，图像I和掩码B会被作为输入，送入后续的修补扩散模型中。

修补扩散模型的微调
我们采用潜在扩散模型（LDM）（Rombach等人，2022年）作为生成模型的核心架构。具体而言，我们使用的修补扩散模型能够仅基于给定图像合成被遮盖的区域。对于输入的图像I、二值缺陷掩码B以及缺陷提示\(\mathcal {P}\)，首先会通过变分自编码器将图像编码为潜在表示。在去噪过程中，U-Net结构中的\(\epsilon _\theta \)会在每个去噪时间点t预测出噪声成分\(\epsilon \)。此外，在每次去噪完成后，未被遮盖区域\((1-B)\)对应的潜在表示会被重新写入，以此保留背景信息。

微调策略
我们提出了三种主要的策略来对修补扩散模型进行微调。首先，通过添加LoRA层来微调文本编码器和U-Net，这类层仅需少量参数即可实现微调。LoRA层包含两个可学习的低秩矩阵A和B，它们通过以下公式近似原始层\(W_0\)：$$\begin{aligned} W_0x+ \Delta Wx = W_0x + \frac{\alpha }{r} BA x \end{aligned}$$ (5) 其中\(W_0\)是原始的冻结层，r为秩值，\(\alpha\)为缩放参数。这些参数用于学习预训练阶段未能掌握的领域特定视觉特征。其次，通过引入新的可学习文本标记来帮助模型学习新概念。这些文本标记能够区分不同类型的缺陷，使得模型可以识别不同的缺陷种类。我们对每种缺陷类型分配一个专用标记，而产品名称则使用预训练好的自然语言标记。第三，我们采用了两种均方损失函数，即缺陷损失\(\mathcal {L}_{def}\)和重建损失\(\mathcal {L}_{rec}\)。这两种损失都是基于潜在空间中的差异来定义的：缺陷损失引导模型对带有缺陷的区域进行修补，而重建损失则要求模型保持产品的结构特征。在随机选择的时间步t下，总损失\(\mathcal {L}_{tot}\)即为这两种损失的之和，权重\(\lambda\)用于控制两种损失之间的平衡。在我们的案例研究中，我们设定的\(\lambda\)值为0.1。这两种损失的计算公式如下：$$\begin{aligned} L_{def}&= \mathbb {E}_{x_{t}, \epsilon , t} \big [ B \odot ||\epsilon -\epsilon _{\theta }(x_{t,B}, t, \tau (\mathcal {P})) ||_2^2 \big ] \end{aligned}$$ (6) $$\begin{aligned} L_{rec}&= \mathbb {E}_{x_{t}, \epsilon , t} \big [ B' \odot ||\epsilon -\epsilon _{\theta }(x_{t,B'}, t, \tau (\mathcal {P'})) ||_2^2 \big ] \end{aligned}$$ (7) $$\begin{aligned} L_{tot}&= L_{def} + \lambda L_{rec} \end{aligned}$$ (8) 其中I为输入图像，B和\(B'\)为缺陷掩码，\(\mathcal {P}\)和\(\mathcal {P'}\)为文本提示，\(\tau\)为文本编码器。我们还会随机抽取一个代表无缺陷区域的边界框掩码M’以及对应的文本提示\(\mathcal {P'}\)。文本提示的设定方式为：\(\mathcal {P}\)=“一张带有[产品名称]且存在[缺陷类型]的照片”，\(\mathcal {P'}\)=“一张[产品名称]的照片”。\(\mathcal {P}\)和\(\mathcal {P'}\)除了包含特定的缺陷标记外其余部分相同，这样的设计有助于让模型聚焦于缺陷的独特视觉特征。

合成缺陷图像的生成
借助给定的产品图像和缺陷掩码，修补扩散模型通过迭代去噪过程生成合成缺陷图像。不过由于扩散模型具有概率生成的特性，偶尔也会产生不符合预期的输出结果（Choi等人，2025年；Garcia-Perez等人，2025年）。这类不良输出可分为三类：正常重建结果、不真实的缺陷图像，以及不符合要求的掩码生成结果。虽然CAMG模块能够降低最后一种情况的出现概率，但前两种情况仍可能误导缺陷检测器。因此，我们引入了基于置信度的过滤方法，以实现完全自动化的生成流程。我们会使用在真实图像上训练过的缺陷检测器来评估生成的图像，再根据检测置信度对合成缺陷图像进行排序，剔除排名靠后的那k%的图像。

实验结果
本节介绍了案例研究中所使用的数据集以及后续的实验结果。实验是在Intel(R) Xeon(R) CPU、NVIDIA A100 GPU、64GB内存、Python 3.12以及PyTorch 2.8.0环境下进行的。推理速度则是通过在配备Intel(R) Xeon(R) CPU、NVIDIA RTX 3070 GPU、32GB内存、Python 3.11和PyTorch 2.8.0的边缘设备上测试得出的。

数据集说明
本案例研究使用了两个工业表面缺陷图像数据集。第一个是鞋类缺陷图像数据集（Cho等人，2026年），该数据集来自某鞋类生产线的实际生产环节，共包含2,916张缺陷图像和476张无缺陷图像，这些图像是从四个不同视角拍摄的。数据集中涵盖了八种不同的产品，五种表面缺陷都以边界框形式进行了标注。第二个是印刷电路板（PCB）缺陷图像数据集（Huang & Wei，2019年），该数据集包含8,534张用于训练的图像和1,066张用于验证的图像，涵盖了六种表面缺陷，这些图像来自12种不同的PCB产品。为模拟数据量不足的情况，我们仅随机使用了训练图像的10%。此外，我们还通过裁剪产品中的无缺陷区域，额外加入了799张无缺陷图像用于生成过程。这两类产品都具有结构复杂且存在局部表面缺陷的共同特点。输入图像均为裁剪后的图像块，其尺寸分别为\(512 \times 512\)像素和\(600 \times 600\)像素。图3展示了各类缺陷的可视化效果。

图3 全尺寸图像
两个工业缺陷检测数据集中的缺陷类型。(a) 鞋类缺陷图像数据集。(b) PCB缺陷图像数据集

CAMG模块在可学习缺陷上下文建模方面的有效性验证
表1中的实验结果展示了在鞋类数据集中，作为CAMG模块核心架构的不同预训练视觉基础模型特征的性能表现。实验中采用了学习率为1e-4的Adam优化器，训练过程最多进行10个周期，每批处理32个样本。实验结果表明，DINOv2模型的性能远远优于其他现有的先进基础模型。我们认为这一优势源于DINO模型所采用的自我蒸馏训练目标，该目标能够帮助模型理解部件级别的语义信息。相比之下，MAE模型侧重于像素级的图像重建，因此无法捕捉到高级语义信息。SigLIP和SAM模型则更注重全局的图像-文本对齐以及几何结构分割，这使得它们的缺陷识别能力相对较弱。此外，DINO模型特征的固有特性还能让模型在面对颜色、材质和结构等风格上的变化时依然保持稳定性（Caron等人，2021年）。

表1 CAMG模块中基于视觉基础模型的逐块分类与尺寸回归实验结果
完整表格格式
图4按类别展示了使用DINOv2模型作为核心架构的CAMG模块生成的缺陷概率图。对于鞋类产品，图中展示了两种结果，用以体现该模型在不同视角下的稳定性。从图中可以看出，CAMG模块能够生成具备合理上下文信息的缺陷掩码。例如在鞋类产品图像中，“高粘胶残留”和“底部污染”缺陷仅出现在橡胶鞋底区域，而“上部污染”和“线头松脱”缺陷则出现在产品的上部区域。需要注意的是，“起皱”缺陷在缺陷概率图中出现的频率较低，因为这种缺陷主要出现在产品的背面。此外，概率图还能准确区分产品区域和背景区域，这得益于DINO模型所具备的物体感知能力（Oquab等人，2024年）。在PCB产品图像中，“刺状突起”缺陷遍布整个产品，而“孔洞缺失”缺陷仅出现在焊接区域。这些概率图表明，CAMG模块无需任何额外的先验信息，就能有效建模缺陷的上下文特征。

图4 全尺寸图像
在无缺陷产品图像上生成的缺陷概率图。(a) 鞋类数据集。(b) PCB数据集

合成缺陷图像的生成过程
我们首先对一个预训练好的修补扩散模型（Rombach等人，2022年）进行了微调。我们在U-Net和文本编码器的注意力投影层以及输出投影层中添加了LoRA层，这些层的参数设置为\(r=8, \alpha =16\)。整个微调过程共涉及4600万个可学习参数，训练持续了10个周期，每批处理32个样本。所有模块都采用Adam优化器进行训练，U-Net的学习率为1e-4，文本编码器的学习率为5e-5。这些超参数的选择参考了之前的研究结果（Song等人，2025年）。负样本掩码的大小则是从各数据集的边界框尺寸分布的第一四分位数和第三四分位数之间随机选取的。整个微调过程耗时7到9小时。在生成阶段，我们通过top-k采样方式为每种缺陷类型随机选取一个缺陷区域，然后通过50次去噪迭代来生成缺陷图像。为了防止模型生成不必要的杂乱元素，我们还设置了“模糊、质量低劣、变形、外观丑陋、水印、签名、文字、logo”之类的负面提示词。在当前设置下，每生成一张图像需要4秒的时间。最终在鞋类和PCB数据集中分别生成了1,931张和829张缺陷图像。

生成质量评估
我们采用了四种质量指标来评估生成的图像，分别是前景结构相似度指数（Foreground SSIM）、Fréchet Inception距离（FID）（Heusel等人，2018年）、学习型感知图像块相似度（LPIPS）（Zhang等人，2018年）以及伪召回率。前景结构相似度指数用于衡量原始图像和生成图像在掩码区域内的结构相似程度，直接反映生成的缺陷与背景的融合程度。SSIM值越高，说明生成模型越能成功保留并呈现图像的结构特征。FID和LPIPS则用于从分布层面评估生成图像的视觉真实度和多样性。当合成图像的分布与真实缺陷图像的分布较为接近时，FID得分会较低；而LPIPS则用于衡量生成图像的感知差异程度。通常在图像合成任务中，较高的LPIPS值意味着图像具有更高的多样性，但过高的LPIPS值往往表明生成的缺陷过于夸张，不够真实。因此，我们更倾向于选择能够紧密反映真实数据集内在感知方差的LPIPS分数。伪召回率用于衡量合成缺陷图像与仅基于真实数据训练的参考检测器表现之间的匹配程度。具体而言，它是通过参考检测器在生成图像上的召回率来计算的，这一做法源于TRTS（在真实数据上训练，在合成数据上测试）评估范式（Esteban等人，2017年）。如果伪召回率过低，说明生成的缺陷与可学习的缺陷模式存在显著差异，这会在训练过程中引入噪声。评估结果如表2所示。表中的“随机”表示通过随机采样生成掩码，“CutPaste”则表示裁剪粘贴法（Li等人，2021年）。 “前景”指的是AnoGen（Gui等人，2025年）流程中推荐的GrabCut（Rother等人，2004年）前景提取算法。作为对比，还采用了基于GAN的DeepFillv2填充方法（Yu等人，2019年）。实验结果清楚地显示出，引入CAMG和扩散模型能够提升合成缺陷图像的质量。我们的方法优于其他基准方法，其前景SSIM值最高，FID值最低，与真实缺陷图像的LPIPS差异也最小。值得注意的是，无论是随机采样还是前景采样生成的掩码，结合扩散模型后都能取得具有竞争力的FID和LPIPS分数，但其伪召回率仍略低于我们的方法在两种数据集上的表现。这一差异表明，当缺陷掩码未被放置在上下文合适的区域时，合成缺陷无法与缺陷模式对齐。为了公平比较各生成方法的填充能力，仅在我们所采用的掩码生成方法内计算前景SSIM分数。在定性评估方面，图5展示了每个数据集中所有类型缺陷的样本合成缺陷图像。图表结果表明，这些合成缺陷图像具有高保真度，并且能够通过文本提示区分不同类型缺陷的独特视觉特征。此外，图6还提供了基于GAN的方法的对比结果。图中的红色框区域显示，基于GAN的方法在完全再现真实图像数据的纹理方面存在局限。同时，图表也表明，尽管该模型被训练用于生成缺陷数据，但它缺乏足够的表征能力来合成局部缺陷。下图所示的基于最大均值差异（MMD）的定量分析也证实，引入合成图像能够缩小训练集与验证集之间的分布差距。结论在本文中，我们通过提出一种完全自动化的合成缺陷图像生成流程，解决了动态制造环境中缺陷数据稀缺的问题。该方法仅需正常图像即可立即应用于新推出的产品，因此特别适用于那些真实缺陷图像极为罕见且产品设计频繁变化的制造环境。在两个真实的工业数据集上，通过对多种检测器架构进行的实验表明，合成图像始终能提升缺陷检测性能，而在新产品引入阶段能获得最显著的提升效果。这些结果表明，自动化缺陷数据生成流程是应对数据分布变化、维持强大检测系统的一个实用且具有可扩展性的方法。本研究存在的局限以及未来的研究方向如下：首先，当前方法基于缺陷类型固定的假设，尚未研究完全新型缺陷类型的生成能力，未来的工作可以探索用于缺陷图像生成和修复的少样本或零样本学习技术。其次，目前的研究是通过确定缺陷的类型、大小和位置来生成合成缺陷图像，这种方法并未考虑其他因素，如缺陷的方向或严重程度。提高缺陷图像生成模型的可控性，有望进一步提升数据集的多样性，从而增强其在后续任务中的实用性。