从关键词到上下文：一种以关系为中心的自动图像数据集准备框架

《Neurocomputing》：From keywords to context: A relation-centric framework for automated image dataset preparation

　　陆静静|徐伟轩|吴烨|王哲春 中国湖南省长沙市中南大学计算机科学与工程学院，邮编410083

摘要
深度学习模型的性能越来越受训练数据质量的影响，而非模型设计。本文提出了一种自动化框架，通过发现和建模定义现实世界视觉场景的关系来构建大规模图像数据集。该框架由两个关键模块组成。智能关系发现模块利用大型语言模型迭代扩展与每个对象类别相关的有意义且基于视觉的关系，从而确保全面的上下文表示。图像质量提升模块则过滤掉在语言上有效但在视觉上无关的关系，并去除冗余样本，进而提高语义对齐性和上下文覆盖率。这两个模块通过闭环流程共同提升数据集的精确度和多样性，生成更能反映现实世界视觉复杂性的数据。在相同的弱监督物体检测环境下进行的广泛实验表明，自动构建的数据集优于现有的自动筛选基准方法，其性能接近于使用相同WSDDN检测器手动收集的基准训练集。

引言
高质量数据已成为深度学习模型成功的关键因素。实际上，即便架构越来越强大，模型性能往往仍受训练数据质量而非网络设计的限制。随着模型架构的进步逐渐趋于平稳，研究重点转向以数据为中心的学习方式，即优化数据集的收集、筛选和优化过程[1]。高效可靠的数据集准备直接影响到模型的泛化能力、稳健性以及在实际应用中的表现，同时还能降低人工标注的成本和不一致性。

对于视觉领域而言，移动设备和社交媒体的普及使得网络成为最大且最易获取的图像数据来源。借助这一优势，近期有一些研究探索了从互联网上自动采集和筛选图像数据集的方法[2]、[3]、[4]、[5]、[6]、[7]。这些方法旨在用可扩展的、基于数据的流程替代成本高昂的人工标注，以保持任务相关性和语义一致性。通过自动化数据收集和筛选，这类方法大大降低了筛选工作量，提高了可重复性，为深度学习系统的持续发展提供了可持续的基础。

然而，自动网页图像采集仍存在检索数量与训练数据质量之间的根本差距。仅仅通过类别关键词检索更多图像，并不能保证其与目标概念的语义对齐，也无法充分覆盖现实世界中的各种视觉变化。现有的检索后筛选方法主要通过去除噪声样本来提高数据纯净度，而传统的关键词扩展方法通常仅限于词汇变体、语料库中的术语或手动设计的模板。因此，它们可能无法完全捕捉决定物体在复杂场景中呈现方式的物体间关系及物体与环境的关系。这促使我们采用以关系为中心的思路，即不仅通过物体外观的变化来体现数据集的多样性，还考虑每个物体类别所处的关系背景。为缩小检索数量与训练数据质量之间的差距，有必要确定那些决定网页图像能否构成有效训练数据集的关键因素。

尽管网络提供了前所未有的大量视觉数据，但其中大部分仍存在冗余、噪声或语义不一致的问题[8]、[9]、[10]。因此，构建用于自动筛选的高保真数据集取决于以下两个核心方面：
•语义对齐性。这指的是检索到的图像在概念上与目标类别的一致程度。自动检索常常因模糊的文本提示或不完善的搜索算法而出现语义偏差。即便是谷歌、必应和百度等先进搜索引擎，也可能因为多义词而将相关和无关的结果混在一起；例如，“bat”既可以指动物，也可以指运动器材。虽然人类标注者可以通过上下文推理来解决这类歧义，但自动流程必须通过算法保持类别的精确性，排除无关实例。
•上下文覆盖率。除了对齐性之外，数据集还必须涵盖现实世界场景中各种视觉和上下文变化。当前为人类使用而优化的网络搜索引擎存在典型视角偏差。例如，输入“aeroplane”时，通常会返回在干净天空下的标准正面视角图像，而忽略视角差异、共现实体和环境背景等方面的变化[7]、[11]。有限的上下文覆盖率会限制模型对复杂场景的泛化能力。因此，丰富图像数据的关系和情境多样性对于开发具有强大泛化能力和迁移能力的模型至关重要。

以往的研究已经通过多种检索后优化技术，在提升语义对齐性方面取得了显著进展。这些技术包括基于手动标注数据训练的分类器筛选方法[2]、图像聚类和渐进式学习策略[4]、[12]，以及多实例学习框架[6]、[13]。

相比之下，提升上下文覆盖率的努力主要集中在查询扩展上，即通过增加搜索关键词来提升检索图像的多样性。与使用单一标准术语相比，这些方法带来的视觉变化较为有限。例如，手动设计的模板会为查询添加视角或姿态等属性[3]，而像谷歌图书N-gram语料库这样的语言资源则被用来生成语义相关的关键词变体[2]、[6]、[14]。尽管这些方法在某种程度上有效，但它们缺乏语义深度和上下文适应性。它们主要在词汇层面运作，通过同义词或表面变体来扩展查询，却无法捕捉定义物体在现实场景中如何共现或交互的关系语义。因此，经过筛选的数据集上下文覆盖率较低，无法为需要强泛化能力和迁移能力的模型提供足够支持。

如图1所示，这些局限性促使人们重新思考视觉数据中上下文覆盖率的真正含义。我们认为，上下文覆盖率不应仅仅关注单个图像内的表面变化，如视角、姿态或外观，而应源自数据集中物体之间关系的分布。每个物体类别都会自然地参与到由三方面构成的关系网络中：（1）物体内部关系，反映状态、形态或属性的变化；（2）物体间关系，描述物体在自然场景中与其他实体的共现情况；（3）物体与环境关系，体现物体与其周围环境的交互。全面建模这些关系维度能使数据集更好地反映现实世界的视觉复杂性，让模型不仅能学习物体外观，还能理解上下文语义。这种以关系为中心的视角构成了我们自动数据集构建框架的概念基础。

基于这一思路，我们提出了一种基于关系发现的自动图像数据集构建框架。该系统旨在揭示、扩展并优化每个物体类别周围的关系背景，从而提升语义对齐性和上下文覆盖率。它由两个互补的模块组成：
•智能关系发现模块：该模块在实体与关系之间进行迭代且相互促进的处理。利用大型语言模型的语义推理能力，它逐步扩展与每个物体类别相关的有意义且基于视觉的关系，确保所发现的关系在上下文中具有相关性且在语义上连贯。
•图像质量提升模块：该模块从两个互补的角度对检索到的数据进行优化。首先，它去除在语言上有效但在视觉上无关的关系，确保所有保留的概念在视觉领域内具有感知意义。其次，它消除冗余或无关样本，从而改善数据的代表性平衡，维护数据集的整体完整性。

这两个模块共同作用，在保持语义对齐性的同时不断扩展关系覆盖范围，从而生成上下文丰富且语义一致的数据集，为在复杂现实场景中训练强大的视觉模型提供可靠的基础。

我们以物体检测作为代表性的下游任务来评估我们的框架。将自动筛选得到的数据集与现有的自动筛选基准方法以及包括PASCAL VOC [15]和MS COCO [16]在内的手动标注基准数据集进行比较。结果表明，在相同的基于WSDDN的WSOD评估协议下，所构建的数据集优于现有的自动筛选方法，其性能接近于手动收集的基准训练集。消融实验进一步验证了各个模块的作用，定性可视化结果也显示出我们的框架能产生更丰富的关系和上下文变化，证明了该设计方案的合理性与稳健性。

本研究的主要贡献有三点：
•我们提出了一种基于原则的自动化方法，从以关系为中心的角度重新定义了数据集的多样性。通过建模物体与其他实体及其环境之间的交互方式，我们的框架使数据能更准确地捕捉现实世界场景的结构和语义复杂性。
•通过关系发现模块和质量提升模块的协同设计，我们的方法同时增强了语义一致性并拓展了上下文表示能力，而这两者在以往的研究中往往被视为相互冲突的目标。
•在相同的WSOD评估协议下进行的广泛实验表明，自动构建的数据集优于现有的自动筛选基准方法，而且当使用所有数据集来训练相同的WSDDN检测器时，其性能接近于手动收集的基准训练集。

本文的其余结构如下：第2节回顾了自动数据集准备和物体检测领域的相关工作。第3节详细介绍了所提出的方法，包括问题定义、整体工作流程以及模块设计。第4节描述了实验设置，评估了我们框架的性能，同时还进行了消融实验和定性可视化分析。第5节提供了进一步的讨论和补充分析。最后，第6节对全文进行总结，并探讨了未来的研究方向。

相关工作
本文的相关工作主要涉及两个研究领域：（1）自动图像数据集准备，（2）物体检测，具体内容将在下文分别介绍。

方法设计
在本节中，我们将介绍所提出的自动图像数据集准备方法。具体而言，我们首先给出该问题的基本定义和形式化描述，然后阐述该方法的整体工作流程和设计思路，最后详细介绍各个模块的功能。

实验评估
在本节中，我们以弱监督物体检测作为评估场景，对所提出的自动图像数据集准备方法进行了实验评估。我们将该方法与现有的高质量、手动标注的物体检测基准数据集，如PASCAL VOC [15]和MS COCO [16]进行比较。此外，我们还与其他基准方法进行了对比，以验证所提方法的有效性。另外，还进行了全面的……

在不同视觉任务中的适用性
由于网页图像没有边界框标注，且WSDDN提供了统一的协议用于比较不同的训练数据集，因此主要实验以弱监督物体检测作为主要的评估场景。为了考察更广泛的适用性，我们参考了最近的一些研究[45]、[46]、[47]，进一步评估或探讨了所构建数据集在低光图像增强、单幅图像超分辨率处理以及高动态范围成像这三项图像恢复任务中的应用效果。

结论
本文提出了一种自动化框架，通过结合基于大型语言模型的关系发现技术与针对性的视觉优化手段，从大规模网页数据中构建高质量的图像数据集。该方法将目标类别转化为语义丰富、具备上下文意识的关键词，然后通过对检索到的图像进行去重、语义筛选和去噪处理，得到既多样化又具有良好视觉质量的数据集。该框架仅需目标类别作为输入，便能方便用户使用。

CRediT作者贡献声明
陆静静：撰写——初稿、方法论、数据筛选、概念设计。徐伟轩：方法论、数据筛选、概念设计。吴烨：撰写——审阅与编辑、项目管理、资金获取。王哲春：撰写——审阅与编辑、指导监督、项目管理。

利益冲突声明
作者声明不存在任何可能影响本文所述工作的已知财务利益或个人关系。陆静静目前在中国中南大学计算机科学与工程学院攻读硕士学位，她的研究兴趣包括图神经网络及其应用。