MAIC：用于视觉语言数据筛选的实例级与簇级多模态对齐方法

《Displays》：MAIC: Multimodal Alignment at Instance and Cluster levels for vision-language data pruning

　　

• •
  提出了MAIC框架，用于高效筛选图像文本数据。
• •
  通过实例级去噪和簇级去重提升数据质量。
• •
  仅使用25%的数据训练的VLM模型，性能优于使用完整数据集训练的模型。
• •
  在CC12M数据集上可将计算成本降低50%。

引言

视觉语言预训练模型在多种多模态下游任务中取得了显著成果，包括视觉问答[1]、[2]以及图像文本检索[3]、[4]、[5]。它们的有效性主要得益于从大量高质量图像文本对中学习到的强大跨模态表示能力[6]、[7]。然而，获取这类数据集成本高昂且耗时费力，因为通常需要大量的手动标注工作[8]。为解决这一难题，近期研究开始通过爬取网络数据来构建大规模数据集[9]、[10]、[11]、[12]。尽管这些网络爬取得到的数据集规模巨大，但往往存在两个严重问题：噪声（图像与文字描述之间的不匹配）[9]以及冗余（样本之间的语义重复）[13]、[14]。这些问题严重阻碍了有效的视觉语言表示学习[15]。

噪声与冗余之间存在密切关联：简单的噪声过滤方法可能会降低数据多样性并增加冗余。相反，高冗余程度会加剧噪声数据的影响，使得模型更容易受到重复性噪声模式的不良影响。这种相互作用凸显出需要一个能够同时处理去噪和去重问题的统一框架。在本研究中，我们提出了一种新的数据筛选框架，该框架首先进行去噪，然后再进行去重，从而提升大规模多模态数据集的质量与效率。

在去噪方面，现有方法大致可分为基于过滤和基于重新生成文字描述两类。基于过滤的方法通常利用相似度指标来判断数据质量，比如CLIPScore[16]，该指标通过预训练的CLIP模型计算图像与文本嵌入向量之间的余弦相似度。通过仅保留高相似度的数据对，这些方法可以有效提升对齐质量。不过，其明显缺点是不可避免地会丢失一些有价值的数据，因为许多相似度处于中间水平的样本会被舍弃。例如，如图1所示，若设定CLIPScore的阈值为0.3（该数值是根据人类评估在[12]中确定的），那么在CC3M数据集中，相似度介于0.2到0.3之间的样本就有近68%会被剔除。虽然这些数据对的对齐可能并非完美，但它们往往包含丰富的语义信息，将其全部删除会带来VLM训练过程中宝贵内容的巨大损失。

而基于重新生成文字描述的方法则试图通过用新生成的文字描述替换原始描述来去除噪声，这些新描述通常由BLIP等图像文字描述模型生成。虽然这种方法能够提升对齐效果，但其明显局限在于生成后的文字描述往往缺乏多样性和语义丰富度。这是因为大多数文字描述模型都是基于COCO和Conceptual Captions等学术数据集训练的，导致其语法和语义过于简单（如图1所示）。因此，基于这类简化后的文字描述训练出的模型很容易达到性能饱和甚至出现模式崩溃现象，进而限制了它们的泛化能力[14]、[17]。

为克服上述局限，我们提出了一种混合策略，结合过滤和重新生成文字描述的优点，在提升数据对齐度的同时保留语义丰富性。我们的方法首先筛选出对齐程度较好的样本，然后用这些样本来微调MiniGPT-4[18]作为文字描述重建模型。该模型能够将对齐程度较差的文字描述优化为内容详尽的语义描述。具体而言，我们通过截取部分对齐良好的文字描述并将其与对应图像配对，来模拟对齐程度不佳的情况。该模型被训练为能够重建原本对齐良好的文字描述，从而学会生成既与图像一致又语义丰富的文字。我们的方法通过将噪声样本转化为高质量样本，实现了实例级对齐，弥补了传统过滤方法和重新生成文字描述方法的不足，进而提升了整个数据集的对齐质量。

在去重方面，SemDeDup[13]和TLDR[14]等一些方法试图解决冗余问题，但它们通常采用单模态思路，通过对图像或文本特征进行聚类来实现去重。这种方法忽视了多模态样本之间的内在关联。例如，如图2(a)所示，两幅图像可能看起来几乎相同，但它们的文字描述却可能存在很大差异，反之亦然。因此，仅基于图像特征进行去重可能会无意中删掉有价值的文本多样性。

我们认为，在去重过程中应同时考虑图像和文字描述，因为在数据集中它们往往呈现出多对多的关系[19]、[20]。其中一个关键挑战就是模态差异，这是视觉语言表示学习中普遍存在的现象[21]。如图2(b)所示，图像嵌入和文本嵌入通常位于特征空间的不同区域，这使得直接进行跨模态聚类十分困难。这种差异可能导致冗余识别出现偏差：在某一模态中看似冗余的样本，在另一模态中可能仍包含互补信息，这就使得单模态去重方法容易过度删除具有多样性的数据对，或者遗漏真正冗余的样本。为解决这一问题，我们在聚类层面对两种模态进行对齐，如图2(c)所示。具体来说，我们将图像和文字描述视为对齐良好数据对的互补视角，并将它们的特征融合为一个全局表示。基于这个全局表示得出的聚类结果可作为每种模态的监督信号，引导统一的多模态聚类空间的学习。这种对齐策略能够在保留视觉和文本多样性的同时实现有效去重。

综上所述，我们的主要贡献如下：

• •
  我们提出了一种新的混合策略，结合过滤和重新生成文字描述的方法来实现实例级对齐。该方法克服了传统方法的局限性，同时保留了它们的优势，最终得到了对齐更好、语义更丰富的数据集。
• •
  我们提出了一种簇级对齐方法，用于高效去除重复数据。通过同时考虑图像和文本特征，我们的方法既保留了视觉多样性，也保持了文本多样性，从而实现了更全面、更高效的去重。
• •
  通过大量实验表明，仅使用我们框架筛选后的25%数据，其性能就能达到或甚至超过使用完整数据集训练的模型性能。

章节节选

图像文本数据筛选

数据筛选的目的是挑选出一部分训练数据，使得模型在更少的样本数量下仍能获得相近的性能，或者在相同的计算资源限制下提升性能。随着多模态数据集的快速发展，人们越来越关注针对大规模图像文本数据设计的筛选与数据整理方法。CLIPScore[16]通过计算图像嵌入向量与文本嵌入向量之间的余弦相似度作为质量评分，进而筛选掉低分的数据对。在此基础上

整体框架

我们提出了MAIC（多模态 在实例及 簇级层面的对齐）这一视觉语言数据集筛选框架，它同时整合了去噪和去重功能。该框架在两个不同层面发挥作用，具体如算法1所示：

• •
  用于去噪的实例级对齐（见图3(a)，3.2节）能够将对齐程度较差且含有噪声的文字描述优化为高质量描述。在已对齐良好的数据对的监督下，MAIC确保生成的文字描述在语义上与

实验分析

数据集。我们在以下数据集上测试了我们方法的有效性。

CC3M[9]是由网络爬取得到的图像文本对构成的，通过Google API进行筛选后仅保留了原始数据的0.1%，最终得到300万张图像。

CC12M[10]包含1200万组图像文本对，它是使用与CC3M类似但要求稍低的筛选方法收集的，在长尾视觉识别任务中的表现更为出色。

YFCC15M[34]是带有噪声的多语言

结论

在本研究中，我们指出了现有视觉语言数据筛选方法的局限性，这些方法往往会丢弃对齐程度较差但具有有用信息的数据，同时还由于依赖单模态聚类而降低了跨模态多样性。为解决这些问题，我们提出了MAIC框架，该框架将文字描述优化与统一的多模态聚类相结合。MAIC通过优化对齐程度较差的文字描述来实现实例级对齐，同时通过联合对图像和文本进行聚类来实现簇级对齐，从而

利益冲突声明

作者声明不存在任何可能影响本文研究结果的已知利益冲突或个人关系。

致谢

本研究得到了国家自然科学基金的支持（项目编号：62476069）。

Zhaopan Xu|Ziheng Qin|Wangbo Zhao|Pengfei Zhou|Xiaojiang Peng|Hongxun Yao