揭示图像中的开放词汇关联：一种由视觉语言模型引导的翻译嵌入方法

《Computer Vision and Image Understanding》：Unveiling open vocabulary relationships in images: A translation embedding approach guided by vision-language models

　　

• •
  我们提出了一种基于注意力机制的开放词汇视觉关系检测方法，用于揭示图像中未被观察到的关系。
• •
  我们的方法证明了视觉语言模型在视觉关系检测任务中的高效性。
• •
  在我们的方法中，VRD数据集的Recall@50和Recall@100指标分别提升了2.1%和2%。

引言

近年来，视觉关系检测（VRD）受到了广泛关注，因为它旨在理解图像中物体之间的交互关系，而这对于多媒体分析、多媒体理解、图像检索、视觉问答（VQA）、图像描述、视觉推理等诸多高级下游任务都十分重要。通过各种方法，这些任务的性能得到了显著提升，比如先验与后验统计方法（Dai等人，2017年）；知识正则化方法（Yu等人，2017年）、翻译嵌入方法（Zhang等人，2017年）、基于知识的特征优化方法（Gu等人，2019年）、注意力模型（Mi和Chen，2020年）等等。

然而，现有研究大多聚焦于封闭集VRD，即仅处理训练数据中预定义的有限关系类型，这与现实世界中的关系数据情况不符，也与当前发展开放词汇模型的趋势相悖。首先，由于每个物体都可能与其他物体存在关联，即便这种关联较为罕见，因此一对物体之间的关系也可能无法被完全标注出来（Dai等人，2017年）。其次，语言的多样性使得同一关系可以通过多种方式表达（Cheng等人，2022年），这就大大增加了可能的标注数量。因此，根本无法穷尽所有可能的关系。

目前，关于视觉关系检测或场景理解任务的研究大多采用封闭集设置，这就需要高昂的标注成本，且标注数据也相对不足。这些限制进一步增加了新场景处理的难度和成本。开放词汇模型则为解决这些问题提供了一种灵活的方案。与开放世界学习或零样本学习不同，开放词汇学习是在开放词汇环境中，利用图像描述等与视觉相关的语言词汇数据作为辅助监督信息（Zareian等人，2021年）。语言数据不仅比物体框或掩码标注更易获取且成本更低，还具有可扩展性和通用性。事实证明，在训练过程中引入图像描述能够显著提升模型的可扩展性（Cho等人，2021年）。

此外，那些在大规模图像-文本对数据上预训练过的视觉语言模型（VLMs）（Radford等人，2021年；Du等人，2022年；Jia等人，2021年）在各类视觉任务中表现优异，发挥了重要作用。这类模型能够将图像特征与语言词汇特征映射到同一个空间中。许多开放词汇语言模型正是通过利用从VLMs学到的映射关系，来缩小封闭集场景与开放集场景之间的差异，从而实现自身的功能（Gu等人，2021年；Minderer等人，2022年；S. Li等人，2023年）。作为一款VLM模型的CLIP（Radford等人，2021年），为开放词汇任务做出了重要贡献（Liang等人，2023年；Yu等人，2024年；Y. Li等人，2023年；X. Wu等人，2023年）。CLIP通过联合训练图像编码器与文本编码器，预测一批图像-文本训练样本的正确配对关系，从而学习到一个多模型嵌入空间，消除了文本与图像之间的距离。这使得CLIP成为实现开放视觉关系检测的一种极具前景的方法。在本文中，我们结合数据驱动的分析思路与开放词汇嵌入策略，来应对视觉关系检测（VRD）所带来的挑战。首先，我们对两个广泛使用的VRD数据集——VRD和Visual Genome（VG）进行了统计分析，发现了那些会阻碍传统训练方法应用的长尾分布问题以及严重的类别不平衡问题。为了进一步理解谓词与物体对之间的语义关系，我们分析了特征空间中的关系距离，并将GloVe等传统的词嵌入方法与从预训练的视觉语言模型（VLM）中得到的联合表示进行了比较。在UVTransE框架的基础上，我们保留了其组合关系嵌入的理念，同时加入了更具表达能力的特征。具体而言，我们用视觉语言模型取代了VGG16等传统模块以及静态词嵌入，该模型能够将视觉输入与文本输入共同编码到同一个语义空间中。这样的改进提升了物体-对象对与谓词之间的协同表示能力。此外，我们还引入了注意力机制，以便更精准地捕捉物体-对象之间的交互关系以及上下文线索。为了进一步提升模型在面对长尾分布时的稳定性，我们用焦点损失函数替代了传统的交叉熵损失函数，同时用Adagrad算法代替SGD算法，以在梯度稀疏的情况下稳定模型更新过程。我们将整个框架命名为开放视觉关系检测（OVRD），它既能够在标准基准测试中表现出良好性能，也能在需要推断未知关系的开放词汇场景下发挥作用。

• •
  据我们所知，这是首次有人解决开放词汇视觉关系检测（OV-VRD）问题。为应对这一极具挑战性的任务，我们将流行的视觉语言模型CLIP巧妙地整合到了VRD处理流程中，这样就可以根据查询文本提示，识别出图像中任意物体对之间的关系。
• •
  我们提出了一种基于翻译嵌入的注意力模型，该模型充分利用了注意力模型与翻译嵌入的优势，实现了高性能的开放词汇关系检测。
• •
  我们分析了该问题相关数据集中的数据，并提出了一种新的损失函数，用于缓解数据不平衡问题，进而提升了系统的准确率。
• •
  我们通过多项实证实验，对多个公开数据集上的模型进行了评估，从而找到了最优的解决方案。

各部分要点

场景图生成（SGG）

场景图的概念最早由Johnson等人（2015年）提出，最初是用于图像检索任务，后来逐渐在计算机视觉乃至语言处理领域受到了更多关注。场景图生成（SGG）的主要目标就是检测并构建场景中物体之间密集的关系。早期的研究主要侧重于挖掘特定类型的关系，比如空间关系（Galleguillos等人，2008年；Gould等人，2008年）。如今，许多模型已经突破了这一局限，能够生成更多类型的关系。

基础知识

本节将对我们在第1节“引言”和第2节“相关工作”中已经讨论过的该任务所面临的挑战进行详细阐述。

提出的方法

在本节中，我们首先提出了一种用于解决开放词汇关系检测问题的模型。随后，我们设计了一种损失函数来应对数据不平衡问题。最后，我们通过分析和实验，确定了该模型的最佳配置方案。

数据集

我们选择了规模适中且是最常用的关系检测基准数据集之一——视觉关系检测（VRD）（Lu等人，2016年）。此外，为了证明我们的方法不仅适用于小规模数据集和常见的关系类型，还能处理更多未知关系，以及最近出现的场景图生成任务，我们还在Visual Genome（Krishna等人，2017年）的数据集子集上进行了测试。

与基线模型的对比

由于目前还没有在开放词汇场景下经过评估的现有方法，因此

结论

在本文中，我们基于视觉语言预训练模型CLIP和TransE架构，提出了一种全新的开放词汇关系检测模型。该模型侧重于谓词检测，从而将关系预测与物体对匹配的准确性分开处理。给定物体的边界框和类别信息后，该框架就能够学习出对应物体对之间的关系。为了提升模型识别长尾关系以及罕见关系的能力，我们采用了注意力机制来

CRediT作者贡献说明

Nguyet Nguyen：可视化工作、论文初稿撰写、结果验证。Cong Tran：指导工作、论文审阅与修改。Anh Tran：指导工作、论文审阅与修改。Cuong Pham：指导工作、论文审阅与修改。

利益冲突声明

作者声明，他们不存在任何可能影响本文研究成果的已知财务利益或个人关系。

Nguyet Nguyen|Cong Tran|Anh Tran|Cuong Pham