控制增强方法以实现单次图像分类中的平衡不变性与多样性

《Neurocomputing》：Controlling augmentations for balancing invariance and diversification in one-shot image classification

　　郑圭宪|徐永德|郑裕珍|赵成宇|闵贤硕|崔成哲|金在荣韩国釜山浦项国立大学工业与数据工程系工业数据科学与工程专业摘要在计算机视觉领域，由于模型难以从少量样本中学习出强大的决策边界，因此使用有限数据进行训练往往会导致泛化能力较弱。数据增强已被证明对解决这一问题至关重要，近期还有研究利用扩散模型生成逼真的合成数据。然而，仅用类别名称提示扩散模型可能会产生误导或无关的结果（比如因模糊性或缺乏上下文细节而导致的混淆），而基于少量样本对扩散模型进行微调的方法则可能计算成本高昂，且仍与有限的真实数据紧密相关。在本研究中，我们提出了一种有效的框架，通过可控的两种类型增强过程将大型语言模型与扩散模型相结合。具体而言，我们设计了以多样性为重的合成方法，让大型语言模型生成包含丰富上下文的提示，从而在较低参考引导下引导扩散模型生成多样化的合成图像；同时还设计了以关键特征为重的合成方法，通过较高参考引导强调决定类别的视觉属性，以保留目标类别的细微特征。这两种互补类型的合成数据随后被纳入两阶段训练方案中：第一阶段扩大下游分类器的表示范围，第二阶段则使其与关键的类别不变特征相一致。我们在多种分类器架构上观察到一次性学习效果的持续提升，并在额外的少样本评估中也验证了其优势。引言深度神经网络在图像分类[1]、[2]、[3]、物体检测[4]、[5]以及实例分割[6]、[7]等计算机视觉任务中取得了显著成果。然而，在少样本学习场景中，尤其是在一次性分类这种极端情况下，真实样本的匮乏常常迫使模型依赖无关或虚假的线索。例如，如果某个类别唯一的训练图像中的物体处于独特颜色的背景上，模型可能会错误地将该背景视为重要特征来识别[8]、[9]、[10]，而非关注物体的类别不变属性。这样一来，过度拟合偶然出现的背景会削弱模型在新的多样化环境中的泛化能力。缓解数据稀缺的一种常见策略是数据增强，它无需额外的人工标注即可丰富与类别相关的特征表示[11]、[12]、[13]。传统的增强方法（如旋转、翻转、颜色抖动）具有较高的计算效率且被广泛使用，但它们通常通过应用几何或光度变化来实现，无法引入新的语义内容。因此，这类变换可能无法捕捉到一次性学习等任务所需的更广泛的类别内多样性。深度生成模型的最新进展为更强大的数据增强策略提供了可能。生成对抗网络[14]、[15]、[16]、[17]以及变分自编码器[18]、[19]都被用于生成额外的训练图像，但模式崩溃以及难以匹配特定类别分布等问题仍然存在挑战[20]、[21]。最近，扩散模型[22]、[23]、[24]、[25]、[26]展现出了巨大潜力，尤其在文本到图像的生成方面。通过依据文本提示（如“一张[类别]的照片”）生成图像，它们能够创造出高保真且多样的图像[27]、[28]。尽管具备如此潜力，直接的文本到图像提示往往无法捕捉到目标类别的细微特征，尤其是当类别标签较为模糊或描述范围较广时[29]。此外，过于简单的文本提示可能无法反映关键的视觉特征，从而导致训练用的合成样本效果不佳。另一方面，针对特定目标类别的真实数据样本对扩散模型进行微调[29]、[30]、[31]虽能更好地反映类别分布，但在需要为每个类别单独优化的多类别场景中，微调的计算成本极高。与其对扩散模型进行微调，另一种研究方向则是利用大型语言模型实现更高级的提示生成[32]、[33]。这些方法旨在生成更具表现力的提示，从而捕捉丰富的上下文细节，进而提高生成图像的多样性和真实性。虽然这类扩展后的提示能提升多样性，但有时也会产生过于复杂或重复的上下文，掩盖了下游分类器需要学习的本质特征（见图1中的?）。除了提示的表现力之外，那些过度追求场景多样性的合成数据可能忽视了那些对低样本场景下的稳健识别至关重要的细微、决定类别的视觉特征（见图1中的(d-e)）。此外，直接在具有冲突性归纳偏差和结构化多样性混合的合成图像上进行训练，可能会阻碍优化进程，导致下游性能不佳[34]、[35]。在本文中，我们提出了CABIN方法，这是一种用于控制增强过程以在少样本学习中平衡不变性和多样性的方法。CABIN结合了大型语言模型和扩散模型，生成两种具有互补学习作用的合成数据。其核心思想是将合成数据分为不同的学习角色，并将这些角色与分类器训练流程相衔接。具体而言，我们首先在扩散模型中采用较低参考引导来生成多样化的合成图像，以此增加背景、共现物体及姿态的多样性；随后再通过较高参考引导并尽量减少上下文细节，生成侧重于关键特征的合成图像，确保保留目标类别的核心视觉特征。我们在顺序训练流程中运用这两种类型的合成数据。在第一阶段（多样化训练）中，我们让分类器在富含上下文的图像上进行训练，以捕捉广泛的类别内多样性；在第二阶段（精细化训练）中，则利用侧重关键特征的图像对分类器进行微调，使其与类别的本质不变特征保持一致。我们认为，这种两阶段设计能够更好地平衡保持核心类别属性所需的不变性，以及超越有限真实样本实现泛化所需的多样性。通过实验证明，将这两类合成图像交替用于两阶段训练方案中，能够持续提升下游分类的准确性。我们的贡献总结如下：•我们提出了CABIN，这是一种具备角色意识的合成数据框架，它将大型语言模型引导的提示生成、基于角色的扩散模型合成以及两阶段分类器训练有机结合。通过将合成样本分为侧重多样性和侧重关键特征的两种类型，CABIN使合成数据生成与分类器训练流程相协调，帮助分类器更有效地兼顾上下文多样性以及类别不变特征的优化。•所提出的基于大型语言模型的策略通过先筛选候选内容再基于模板生成提示，避免了自由形式提示生成中固有的冗余场景，同时减少了大型语言模型的Token使用量，充分利用了无需微调的优势。•在多种低样本分类基准测试上的大量实验表明，与现有的基于扩散模型的增强方法相比，CABIN在多种分类器架构上都能带来一致的性能提升，不仅准确率高，而且泛化能力更强。部分内容摘录少样本学习中的数据增强数据增强是少样本学习中的关键策略，以往的研究也强调了识别影响现实场景中视觉多样性的因素的重要性。（细微特征）多项研究[36]、[37]、[38]表明，捕捉一个类别的固有属性对于提升低数据量条件下的识别性能至关重要。这一观点也与少数样本分割研究相关，后者同样强调了利用这些属性的重要性。方法论如图2所示，所提出的框架由三个主要模块组成。(1) 先向大型语言模型查询目标类别的相关信息，包括独特属性、可能的姿态以及相关的环境因素。这些提取出的描述符是构建文本提示的基础。(2) 生成两种类型的合成数据：一类注重多样性，用于捕捉广泛的视觉和上下文变化；另一类则侧重于目标类别的关键特征。实验设置我们主要在一次性分类任务上评估CABIN的性能，这类任务中每个类别仅有一个带标签的样本，远远不足以用来建模真实的 数据分布。这代表了合成数据增强所面临的最具挑战性的场景。此外，我们还在少样本场景（2次、4次、8次样本）下验证了该方法的性能，以体现其可扩展性。一次性图像分类性能我们在表1和表2中报告了六个基准测试中一次性分类的准确率（三次试验的平均值）。在表1中，我们还标明了每种方法是否(i)使用大型语言模型生成提示，以及(ii)是否需要对扩散模型进行微调。与传统增强基线方法（RandAug）相比，基于扩散模型的合成方法在这一一次性分类场景中通常能获得更高的平均准确率。在表1中，CABIN在ResNet50上的平均准确率为0.6628，而最强的基线方法则能达到……计算成本分析如表7所示，我们对比了OxfordPets一次性分类任务中的GPU运行时间和大型语言模型Token成本。那些需要对扩散模型进行微调的方法，如DA-Fusion、Diff-Mix以及两种DataDream变体，在“扩散模型微调”阶段会产生较高的额外成本，使得总运行时间达到3.8–5.5 GPU小时。相比之下，DALDA以及我们所提出的CABIN方法则无需进行扩散模型微调，仅使用预训练好的扩散模型进行推理，其总GPU运行时间分别为1.91小时和1.89小时。通过为不同角色设计合成数据生成方式在各种数据集和样本数量的不同设置下，实验结果（表1、表2、图4以及表B.2）表明，CABIN所带来的性能提升并非依赖于特定的分类器或实验配置，而是源于在数据稀缺条件下对合成数据生成过程的精心设计。在少样本场景中，合成样本对学习的贡献并不均匀，如果将所有合成数据视为同质化的整体，就可能会引入相互矛盾的训练信号。结论本文提出了CABIN，这是一种用于低样本图像分类的基于扩散模型的合成数据生成框架。CABIN通过为不同的样本分配保持不变性和多样性的互补角色，实现了对大型语言模型和扩散模型的有效利用，且无需对其进行微调。该框架结合了结构化的提示生成方式与两阶段训练策略，使得合成数据既能捕捉上下文多样性，又能可靠地保留类别的关键特征。致谢作者声明在撰写本文过程中，作者使用了ChatGPT来提升手稿的语言表达质量和可读性。在使用该工具后，作者对内容进行了必要的审核和修改，并对最终发表文章的内容负全责。利益冲突声明作者声明自己没有已知的、可能影响本文研究结果的财务利益或个人关系。致谢本研究得到了IITP（信息通信技术规划与评估研究院）-ICAN（ICT挑战与高级人力资源开发网络）项目的资助，该项目由韩国科学技术信息通信部提供支持，项目编号为IITP-2024-RS-2023-00259806，资助比例为20%；同时还得到了韩国政府科学技术信息通信部资助的韩国国家研究基金会项目，项目编号分别为RS-2024-00354675，资助比例为40%，以及RS-2024-00352184，资助比例也为40%。郑圭宪于2020年在韩国城南的加cheon大学获得工业工程学士学位，预计将于2026年2月从韩国釜山浦项国立大学获得工业与数据工程的硕士兼博士学位。他是工业人工智能实验室（TEAMLAB）的研究员，研究兴趣包括合成数据生成、少样本学习、扩散模型、大型语言模型以及人工智能数据整理。他的工作重点在于利用这些技术……