基于生成式扩散模型图像编辑的有效数据增强方法GenMix

《Expert Systems with Applications》：GenMix: Effective Data Augmentation with Generative Diffusion Model Image Editing

　　

数据增强被广泛用于提升视觉分类任务的泛化能力。然而，传统方法在源域与目标域存在差异时（如域适应场景）面临挑战，因其无法有效应对域间差距。研究人员引入了一种新颖的GenMix方法，这是一种可泛化的提示引导生成式数据增强方法，能够增强域内和跨域图像分类性能。该技术利用图像编辑，基于为每种问题类型专门设计的自定义条件提示生成增强图像。通过将输入图像的部分内容与其生成式编辑对应图像进行融合，并引入分形图案，该方法缓解了非真实图像和标签模糊性问题，提升了所得模型的性能和对抗鲁棒性。GenMix进一步整合了基于忠实度的过滤步骤，仅保留语义一致的编辑图像用于增强。该方法的有效性通过在八个公共数据集上进行的大量实验得到验证，涵盖一般分类和细粒度分类的域内和跨域设置。此外，研究人员展示了GenMix在自监督学习、数据稀缺场景和对抗鲁棒性方面的性能提升。与现有最先进方法相比，该技术在所有方面均实现了更强的性能。

《基于生成式扩散模型图像编辑的有效数据增强方法GenMix》一文发表于《Expert Systems with Applications》，由Khawar Islam等人提出了一种名为GenMix的新型数据增强框架，旨在解决深度学习模型在视觉分类任务中的过拟合与泛化不足问题，尤其关注域内分类与跨域适应两大核心挑战。

研究背景与动机方面，随着深度神经网络（DNN）复杂度不断提升，现代架构动辄包含数十亿参数，导致模型在训练数据有限或结构不佳时极易发生过拟合，泛化能力显著下降。这一问题在跨域场景中尤为突出，即模型需适应与训练数据分布差异显著的目标域时性能急剧衰减。传统图像混合数据增强技术（如CutMix、Mixup、SnapMix等）虽通过线性插值或区域替换策略生成新样本以丰富数据集，但其固有缺陷在于：当源图像与目标图像混合时，可能引入标签歧义，破坏关键前景区域或必要的背景上下文信息；同时，这些方法缺乏自适应能力，无法有效应对域间分布差异。近年来，扩散模型（DM）作为强大的图像生成与编辑工具被探索用于数据增强，但现有研究观察到有限性能增益，甚至训练于合成数据的模型偶尔逊于无增强基线，根源在于扩散模型对条件提示的敏感性——生成复杂场景、布局和形状时控制困难，粗劣的提示常导致不合适的增广图像，使模型适应错误的数据分布。因此，亟需更精确的提示选择机制与增强控制策略以提升域泛化与跨域性能。

基于此，研究人员提出GenMix，一种利用预训练生成式扩散模型通过精心设计的条件提示计算多样化增强样本的可泛化数据增强技术。GenMix通过融合原始与生成内容创建混合图像，在维持原始图像关键语义的同时引入丰富的对象细节与上下文信息。为增强结构多样性，该方法将自相似分形融入混合图像，有效缓解过拟合并提升模型性能。实验表明，GenMix在多种场景下超越现有最先进增强方法，兼具提示引导学习的域内与跨域适应性。

关键技术方法层面，GenMix的核心技术体系包含以下组件：首先，采用预训练的InstructPix2Pix图像编辑扩散模型，基于预定义的条件提示库执行图像编辑，生成输入图像的编辑对应图像；其次，设计基于DINOv2特征提取的忠实度感知无监督过滤机制，通过动态阈值筛选与原始图像语义一致的编辑图像，剔除不一致样本；第三，提出PatchSwap标签保留策略，通过随机掩膜在编辑图像与自然图像间交换图像块，同时保留原始标签；第四，发展平滑掩膜拼接技术，以特定混合宽度实现原始与合成内容的无缝融合；第五，引入分形插值方法，将混合图像与自相似分形图像进行线性插值，最终生成增强图像。提示设计方面，针对一般分类采用"秋季""雪景""日落""水彩艺术""彩虹""极光""马赛克""浮世绘""蜡笔素描"等滤光片式全局视觉效果提示，针对域适应额外设计"涂鸦""复古漫画""粉笔素描""水彩绘画""数字艺术""卡通风格"等提示。实验在CIFAR-100、Tiny-ImageNet-200、ImageNet-1K、CUB-200-2011、Stanford Cars、FGVC-Aircraft、Oxford Flower102、Office-Home等八个公共数据集上进行，涵盖ResNet-18/34/50、ResNeXt-50、ResNet-101、Swin Transformer及ConvNeXt等多种架构。

研究结果部分，研究从以下维度展开：

一般分类。在CIFAR-100、ImageNet-1K和Tiny-ImageNet-200三个基准数据集上，GenMix展现出强劲性能。ResNet-50在ImageNet-1K上的Top-1准确率较Vanilla基线提升2.49%，较次优的DiffuseMix提升0.68%；Tiny-ImageNet-200上较Vanilla基线绝对提升9.77%，较DiffuseMix提升1.19%；CIFAR-100上ResNet-18较Vanilla基线绝对提升6.21%，较DiffuseMix提升1.47%。

对抗鲁棒性。采用快速对抗训练评估，以FGSM误差率衡量攻击抵抗能力。CIFAR-100上GenMix取得16.83%的FGSM误差率，Tiny-ImageNet-200上为33.83%，均优于现有最优方法，表明该方法对对抗扰动具有强韧性。

细粒度视觉分类。在FGVC-Aircraft和Stanford Cars数据集上，GenMix在ResNet-18和ResNeXt-50架构均达最优。FGVC-Aircraft上较DiffuseMix分别绝对提升1.18%和1.14%；Stanford Cars上分别提升1.29%和0.85%。

迁移学习。基于ImageNet预训练的ResNet-50在CUB-Birds-200和Stanford-Cars微调，GenMix分别达到84.45%和90.84%的Top-1准确率，较Vanilla基线分别提升2.69%和1.96%。

数据稀缺。Flower102数据集每类仅10张图像的极端稀缺场景下，GenMix取得79.34%的验证准确率和76.38%的测试准确率，显著优于其他mixup方法。

域适应。基于LEAD框架在Office-Home数据集上评估，开放部分域适应（OPDA）场景平均H-score提升2.2%（从75.0%至77.2%）；开放集域适应（OSDA）场景平均H-score提升1.5%（从67.2%至68.7%）；部分域适应（PDA）场景平均H-score提升0.5%（从73.8%至74.3%）。

自监督学习。MoCo v2在Flower102、Stanford Cars、Aircraft上较DiffuseMix分别绝对提升1.42%、1.98%和1.40%；SimSiam上分别提升1.21%、2.61%和1.12%。

Grad-CAM可视化。与Mixup、CutMix、PuzzleMix、GuidedMixup相比，GenMix训练的模型对完整对象区域的关注更为集中，而非局部特征或背景，表明更好的泛化能力。

消融研究。系统验证各组件贡献：仅使用编辑图像（I^ij）效果有限，验证直接生成图像增强的局限；加入分形插值对简单数据集提升轻微；无缝拼接（Hiju）显著改善性能；完整GenMix pipeline达最优效果。

讨论与结论方面，关键发现表明GenMix在多种学习场景中持续提升深度神经网络性能，提示引导的扩散编辑与混合图像构建及分形插值的结合，在保持语义一致的同时实现有意义的训练数据多样性。学术层面，该工作展示了扩散图像编辑如何有效融入增强流程，生成样本的语义有意义变体，为生成模型与传统增强策略的整合开辟新方向，涵盖域泛化、对抗鲁棒性和自监督学习领域。实践层面，GenMix为标注数据昂贵的工业场景（如医学图像分析、工业检测、自动驾驶和遥感）提供可扩展的增强方案，其提示灵活性支持任务特定的视觉变体生成，改善模型对不同环境和域的适应性。

研究结论指出：GenMix是一种基于预训练图像编辑扩散模型的数据增强技术，通过编辑、平滑拼接和分形融合生成最终增强图像。该方法在一般分类、细粒度分类、域适应、数据稀缺、微调、自监督学习和对抗鲁棒性等多项任务中展现性能提升，涵盖ImageNet-1K、Tiny-ImageNet-200、CIFAR-100、Oxford Flower102、Caltech Birds、Stanford-Cars、FGVC Aircraft和Office-Home等广泛数据集与架构。GenMix具有两个主要局限：依赖文本提示进行图像编辑，不当提示可能导致非期望输出；引入额外的图像编辑计算开销，但可通过离线生成编辑图像和采用更快图像编辑方法缓解。未来研究方向包括整合Stable Diffusion 3或潜在一致性模型等更先进扩散架构以实现更快推理和更高保真增强，以及利用CLIP或LLaVA等视觉语言模型自动提示生成以减少人工策展并增强适应性。