小数据集上文本到图像模型的数据密度缩放

《Neurocomputing》：Data density scaling for text-to-image models on small dataset

　　

叶森茂|刘飞|张大卫|范赫赫|魏伟|Madal Artur|王华|郑中龙

中国浙江省金华市浙江师范大学，邮编321004

摘要

本文表明，提高数据密度比增加数据量更具计算效率。实验显示，缩放规律的收敛性取决于数据密度而非数据量。当数据密度远未达到饱和状态时，数据量随数据量的变化几乎呈线性关系。在下游应用中，小型数据集仅能覆盖图像空间的小部分区域。而使用未经筛选的数据进行量化扩展会提高整个图像空间的密度，从而导致计算效率低下。为解决这一问题，采用领域内数据进行的密度扩展可通过避免在领域外数据上训练来节省计算资源。为区分领域内数据和领域外数据，我们提出了双阶段领域外检测方法，该方法包括利用数据内在流形结构的基于聚类的检测器，以及基于细粒度视觉分类的基于分类的检测器。为构建领域内文本到图像对，我们认为检索到的图像具有足够的特征空间密度，并提出了一种线性插值机制来扩展相关的文本特征。这种结合了领域外检测和插值的流程能够在最小额外计算开销的情况下提高数据密度。此外，我们在模型中应用循环仿射变换，构建层次化嵌入融合结构，以解决时间嵌入与文本嵌入之间的频率差异问题。大量实验表明，小型扩散模型能够以大幅降低的计算成本生成高质量图像，在CUB数据集上的FID得分为6.36，在Oxford数据集上为9.52，在COCO数据集上为3.89。数据、代码及预训练模型可在GitHub上获取。

引言

文本到图像生成技术致力于从自然语言描述中合成视觉内容。作为人类语言与生成模型之间的重要桥梁，这项技术[1]、[2]、[3]、[4]、[5]、[6]、[7]、[8]、[9]已广泛应用于数字人创建[10]、图像编辑[11]以及计算机辅助设计[12]等领域。然而，这种应用的多样性导致了众多规模通常较小的专业数据集的出现。

为提升下游性能，大型文本到图像模型[13]、[14]、[15]会先使用互联网上的大量文本到图像对进行预训练，然后再在小型数据集上进行微调。但未经筛选的互联网图像与特定数据集存在很大差异，这些图像可能包含与下游应用无关的内容。为提高计算效率，检索增强生成（RAG）模型[15]、[16]、[17]会利用检索方法从WikiImages等外部数据库中收集相似的训练样本。不过，这些数据库中针对特定条目的图像数量通常有限，且其标题风格与标准文本到图像数据集中的风格差异较大。为了获得更多相似的训练样本，传统方法依赖于几何变换（如裁剪、翻转）以及特征空间操作[18]（如混合技巧）。尽管这些方法通过人为设计的变换有效利用了现有数据，但它们本质上缺乏新信息的注入，因此只能带来有限的改进。

在本研究中，我们通过提高数据密度而非数据量来实现高质量图像生成与计算效率的提升。如图1所示，增加领域内数据量能显著提升生成性能。我们将原有的小型数据集定义为目标数据域，与该数据集中的图像在语义上相似的网页图像被归类为领域内数据，而相似度较低的则被归为领域外数据。相比之下，领域外数据对图像质量的影响极小。这一结果与在完整的Conceptual Captions数据集（1500万张图像）上预训练的VQ-Diffusion[19]所取得的微弱性能提升一致。我们的实验结果表明，领域内数据只需更少的数量和更低的计算资源就能展现出规模扩展的优势。

为区分领域内数据和领域外数据，我们提出了一种双阶段领域外检测方法，用以排除检索到的图像中的领域外数据。具体而言，我们将领域外异常数据分为无关数据和相似数据两类。对于无关异常数据的检测，我们使用K均值算法[20]将检索到的含噪声图像聚类为领域内图像和异常数据。在由CLIP编码器[21]生成的图像特征空间中，领域内图像会与数据集中的图像较为接近，而领域外异常数据则会相距较远。基于这一特点，我们会剔除与数据集图像差异较大的图像。对于相似异常数据的检测，我们会利用在原始数据集上训练的细粒度分类器为每张检索到的图像分配标签，如果标签与搜索关键词不匹配，则该图像会被视为异常数据并被剔除。

为获取领域内文本到图像对，我们通过在数据集图像的局部流形上进行插值来生成新的文本描述，而非依赖外部模型自动为检索到的图像添加标题[22]、[23]。受局部线性嵌入[24]的启发，我们认为检索到的图像在语义上与数据集图像较为接近，因此每张检索到的图像都可以由其k个最近邻来表示。通过这种基于相似性的检索和流形插值框架，我们成功构建了训练样本，使原始数据集的规模扩大了一个数量级。

此外，我们发现直接将文本嵌入和时间嵌入拼接在一起会导致性能不佳。我们推测，文本嵌入控制的是属于低频信息的语义内容，而时间嵌入控制的是属于高频信息的高斯噪声强度。因此，我们构建了一种层次化的文本融合方法，以不同频率整合文本嵌入和时间嵌入。具体而言，时间嵌入会在每个Transformer层通过条件群归一化[25]的方式注入，而文本信息则每隔四个Transformer层通过循环仿射变换（RAT）块注入。RAT块能够实现跨不同Transformer层的文本条件信息的统一注入。这种方法不仅提升了训练过程中的稳定性，还提高了文本条件驱动的图像生成的连贯性，使模型能够更有效地处理复杂的文本描述。

本文的贡献总结如下：

• •
  通过大量实验证明了数据密度扩展的计算效率。我们的研究结果表明，缩放规律的收敛性取决于数据密度而非数据量。为有效提高数据密度，我们提出了双阶段领域外检测方法。
• •
  对于文本到图像配对，我们认为检索到的图像具有足够的特征空间密度，因此提出了线性插值方法来获取相关的文本特征。
• •
  我们提出了一个层次化的循环嵌入融合结构，用于解决时间嵌入与文本嵌入之间的频率差异问题。我们通过循环仿射变换，以时间嵌入频率的四分之一速率注入文本嵌入。

章节节选

基于GAN的文本到图像模型

文本到图像合成是条件图像合成[26]、[27]、[28]、[29]、[30]、[31]中的关键任务。[1]的开创性工作首次使用条件GANs[32]解决了这一任务。为更好地将文本信息融入合成过程，DF-GAN[33]引入了一种深度融合方法，在单个模块中设置了多个仿射层。与以往方法不同，DF-GAN在不牺牲性能的前提下去掉了归一化操作，从而降低了计算需求。

模型

在本节中，我们首先介绍用于获取领域内图像的双阶段领域外检测方法，接着说明如何通过插值文本描述来构建领域内文本到图像对，最后介绍如何利用这些插值后的文本-图像对训练带有RAT块的扩散模型。

数据集

我们在流行的CUB、Oxford-102和MS COCO数据集上进行了测试。CUB数据集包含200个类别，共有11,788张鸟类图像；Oxford-102数据集包含102个类别，共有8189张花卉图像。与[1]、[54]中的方法不同，我们在训练和测试时都使用了全部数据集。每张图像都会对应10个标题。为扩大原始数据集的规模，我们又收集了399,246张鸟类图像和132,648张花卉图像。MS COCO数据集则包含123,287

结论与未来工作

在本研究中，我们通过大量实验证明了数据密度扩展的计算效率。我们发现，由于数据密度远未达到饱和状态，数据量随数据量的变化几乎呈线性关系。为区分领域内数据和领域外数据，我们的方法包括利用数据内在流形结构的基于聚类的检测器，以及基于细粒度视觉分类的基于分类的检测器。

CRediT作者贡献声明

叶森茂：撰写——初稿、正式分析、数据整理、概念构思。刘飞：研究调查。张大卫：软件开发。范赫赫：软件开发、资源协调。魏伟：撰写——审阅与编辑、方法设计。Madal Artur：模型验证。王华：资源协调、资金筹集。郑中龙：模型验证、监督指导、概念构思。

利益冲突声明

作者声明不存在任何可能影响本文研究结果的已知利益冲突或个人关系。

致谢

本研究部分得到了国家自然科学基金（NSFC）项目61873094的支持。

叶森茂毕业于西北工业大学，获学士和硕士学位，随后在南华大学获得博士学位。他目前是浙江师范大学的讲师，研究方向为图像生成与生成模型。