用于图文检索的稀疏自适应图注意力网络

《Neurocomputing》：Sparse adaptive graph attention network for image-text retrieval

　　

# 摘要

精确的细粒度跨模态对齐仍然是图文检索中的核心挑战。现有的细粒度对齐方法能够有效捕获局部区域与词汇之间的对应关系，从而实现比纯全局方法更精确的语义匹配。然而，其全连接机制带来了显著的计算开销，且对无关区域-词汇对的噪声敏感，从而阻碍了精确对齐。为了解决这些局限性，我们提出了一种稀疏自适应图注意力网络（SA-GAT），用于高效且精确的图文检索。我们将我们的工作定位在细粒度图文对齐范式内，旨在在共享共同实验协议的方法中推进最先进水平。SA-GAT将图像区域和文本标记统一为异构图中的节点。它采用稀疏自适应邻接矩阵学习模块来动态构建稀疏图结构。我们的主要创新在于三个组件的协同集成与联合优化：一个输入自适应的双过滤图稀疏化器、一个跨模态图注意力传播器和一个监督对比目标。这一闭环设计确保了稀疏化、局部对齐和全局判别能力之间相互增强。该结构是稀疏的，仅保留高置信度的连接。在这个稀疏图上，利用多头图注意力机制来聚合模态内的上下文信息和模态间的语义线索，实现高效的细粒度交互。此外，我们设计了一种监督语义对比损失（SSC Loss）来增强全局嵌入的判别能力。SSC Loss显式地利用真实配对标签，将批次内来自另一模态的所有不匹配样本视为负样本，从而增加困难负样本之间的距离。在两个基准上的大量实验表明，SA-GAT在细粒度对齐范式内显著优于多种最先进的方法。

# 引言

图文检索是视觉-语言理解中的基本任务，旨在给定一个模态的查询，检索另一个模态中语义相关的内容。该技术在跨模态搜索引擎、智能相册管理和辅助问答系统中具有广泛的应用潜力。近年来，基于深度学习的方法[2]、[9]、[10]、[21]、[47]，特别是基于Transformer架构[41]构建的预训练视觉-语言模型（VLMs），如CLIP [32]、ALBEF [22]和BLIP-2 [23]，极大地推动了该领域的发展。这些模型利用自注意力有效捕获模态内的长距离依赖关系，同时采用交叉注意力或对比学习策略来实现跨模态对齐，从而取得了显著的性能提升。

然而，在追求更高性能的过程中，现有方法普遍面临精度与效率之间的权衡。全局对齐方法如VSE[9]和CLIP [32]学习图像和文本的整体嵌入。尽管它们具有较高的计算效率，但忽略了区域与词汇之间的细粒度语义对应关系。这导致语义粒度粗糙，难以捕获细微的局部差异，从而导致检索性能下降。尽管取得了总体成功，即使是ALBEF [22]、FLAVA [36]和BLIP-2 [23]等先进的VLM，也主要通过全局匹配目标来优化跨模态交互，缺乏对关键区域-词汇对齐的显式监督，限制了其细粒度检索能力。

相反，细粒度方法如SCAN [21]、IMRAM [2]和Pixel-BERT [14]建立了区域-词汇关联，但通常采用静态的稠密注意力或全连接图结构。这种固定的交互不仅带来了巨大的计算开销，还引入了来自无关物体的大量噪声，导致局部语义混乱。更关键的是，不精确或受污染的局部对齐会降低最终全局表示的质量，削弱其判别能力。

以效率为导向的模型如SparseVLM [52]通过视觉标记稀疏化来降低计算成本。近期工作探索了VLM中的动态标记或特征剪枝[1]、[46]以及上下文感知匹配框架[8]。然而，这些方法通常依赖于静态或预定义的稀疏模式，可能因过度剪枝而牺牲对齐质量。

我们的主要新颖性在于这种协同集成。我们联合优化一个输入自适应的稀疏图学习者、一个跨模态图注意力传播器和一个监督对比目标。这一闭环设计确保了稀疏化、局部对齐和全局判别能力之间相互增强，而不是作为孤立的组件运作。

近期方法通过负样本感知注意力[50]和迭代循环对齐[2]分别建模区域-词汇语义关系来增强细粒度对齐。然而，它们通常缺乏根据输入内容自适应调整交互结构的能力，从而损害了效率。显然，平衡模型效率与细粒度对齐能力是一个挑战。

此外，即使高质量的局部特征被聚合到全局表示中，嵌入空间可能仍然缺乏判别能力。这发生在正样本对和困难负样本对之间的距离没有被显式最大化时。因此，类间可分性不足，导致模型在细微语义变化下难以区分语义相似的干扰项。

这些问题凸显了需要在保持效率的同时联合优化局部对齐和全局判别能力。为此，我们提出：（1）一个自适应稀疏异构图，它有效抑制噪声和计算冗余，同时实现精确的细粒度交互；（2）一种监督语义对比损失（SSC Loss），用于显式构建跨模态困难负样本对，利用困难的跨模态负样本来联合增强全局判别能力和局部对齐。

我们提出的SA-GAT方法的主要贡献如下：

**（1）我们提出了稀疏自适应图注意力机制（SA-GAT）。** 与现有方法的固定稠密交互不同，SA-GAT引入了一个稀疏邻接模型，将图像区域和文本标记统一为异构图中的节点。该模块采用Top-K选择和相似度阈值过滤的双机制，为每个图文对动态构建稀疏语义图。二值邻接矩阵实现了高效的稀疏计算，而语义交互强度则由连续值的图注意力机制捕获，实现了结构学习与权重学习之间的合理分工。该图包含四种类型的关系，即图像内部（I2I）、文本内部（T2T）、图到文本（I2T）和文本到图（T2I）。在此图上的多层图注意力传播使每个节点仅从语义最强的邻居聚合信息，有效抑制噪声和冗余，同时实现高精度的局部对齐。

**（2）我们设计了一种监督语义对比损失（SSC Loss）。** 为了增强全局嵌入的判别能力，我们提出了一种适用于图文检索的监督语义对比学习策略。与标准的监督对比学习不同，SSC Loss显式地将同一批次中来自另一模态的所有不匹配样本纳入负样本集。从理论角度来看，SSC损失通过将批次内所有跨模态不匹配对作为负样本来显式优化困难负样本的判别能力，有效地执行了一种形式的可微困难负样本挖掘。这可以被视为在匹配的图文对之间的互信息上优化一个更紧的下界。这种跨模态全批次负样本采样策略更符合检索任务的内在特性。它可以直接优化全局嵌入空间，有效地将正样本对与语义相似的负样本分离开，显著提高对困难样本的鲁棒性。

**（3）在MS-COCO和Flickr30K基准上的大量实验表明，我们提出的SA-GAT方法在关键指标上优于细粒度对齐范式内的当前最先进方法，包括Recall@K（K=1,5,10）和rSum。** 值得注意的是，在这些已经饱和的基准上，我们的性能提升伴随着推理效率的显著改善，独特地推进了精度与效率的帕累托前沿，而不是将两者相互权衡。

本文其余部分组织如下。第2节回顾了图文检索、图神经网络和对比学习的相关工作。第3节详细介绍了我们提出的SA-GAT方法，包括整体架构、多模态特征提取、稀疏自适应图注意力机制、全局表示生成和损失设计。第4节提供了实验设置以及所提方法与竞争方法之间的实验对比。最后，我们在第5节总结全文。

# 相关工作片段

## 图文检索模型

图文检索模型的核心目标是学习一个统一的跨模态嵌入空间，其中语义相关的图像和文本彼此接近。该领域的发展大致可以分为三种范式：全局对齐、细粒度对齐和大规模视觉-语言预训练。我们的工作致力于推进细粒度对齐范式。

**早期双塔架构。** 早期方法如VSE[9]采用独立的"双塔"编码器来提取

## 所提方法

我们提出了一种稀疏自适应图注意力网络（SA-GAT），用于图文检索中的跨模态表示学习。我们的SA-GAT方法构建了一个包含模态内和模态间关系的异构图，并使用专门的图注意力机制来实现图像区域和文本标记之间的有效细粒度语义对齐。

## 实验设置

**数据集和评估指标。** 我们在两个广泛使用的公开图文检索基准上进行实验：MS-COCO [28]和Flickr30K [48]。MS-COCO包含123,287张图像，每张图像标注了5个人工撰写的描述。我们遵循标准的Karpathy划分[17]，使用113,287张图像进行训练，剩余的10,000张用于测试，后者进一步划分为五个不重叠的1K测试子集。MS-COCO的结果在5折1K测试图像上取平均以及在

# 结论

本文提出了一种新颖的稀疏自适应图注意力网络（SA-GAT）用于图文检索。SA-GAT在保持计算效率的同时实现了高细粒度对齐精度。它将图像区域和文本标记统一为异构图，并使用结合Top-K选择与相似度阈值过滤的双过滤机制动态构建邻接矩阵。因此，每个节点仅与其最相关的邻居交互，有效

## CRediT作者贡献声明

Jiayu Xie：撰写 – 审阅与编辑、撰写 – 原稿、验证、软件、项目管理、方法论、调查、形式化分析、概念化。Xiwei Dong：撰写 – 原稿、监督、项目管理、方法论、资金获取、概念化。Fei Wu：监督、形式化分析。Fei Ma：监督、项目管理。Guangxing Wang：验证、项目管理。Tao Liu：监督、项目管理。Xiaogang Dong：

## 利益冲突声明

作者声明以下可能存在潜在利益冲突的财务利益/个人关系：

Xiwei Dong报告由江西省自然科学基金提供财务支持。Jingjuan Guo报告由江西省自然科学基金提供财务支持。Tao Liu报告由中国国家自然科学基金提供财务支持。Fei Ma报告由自然科

## 致谢

本研究得到了江西省自然科学基金（项目编号20232BAB202053，20232BAB202054）、国家自然科学基金（项目编号62367004）、山东省自然科学基金（项目编号ZR2020MF105）以及江西省教育厅科技项目（项目编号GJJ2201915）的支持。

Jiayu Xie于2024年在中国宜春学院数学与大数据科学学院获得软件工程学士学位。他目前正在中国南昌的江西财经大学攻读硕士学位，与中国九江的九江大学合作。他的研究方向包括机器学习和模式识别。

Jiayu Xie | Xiwei Dong | Fei Wu | Fei Ma | Guangxing Wang | Tao Liu | Xiaogang Dong | Jingjuan Guo | Xiao-Yuan Jing