VLGRA：面向跨模态检索的视觉-语言语义优化与图推理

《Information Processing & Management》：VLGRA: Visual-Language Semantic Optimization and Graph Reasoning for cross-modal retrieval

　　**摘要**基于块的视觉Transformer中的视觉冗余和语义歧义严重阻碍了细粒度的图文匹配。本文提出了一种视觉-语言语义优化与图推理架构（VLGRA），以应对这些挑战。VLGRA引入了两个协同模块：语义权重过滤器（SWF），通过语言引导的可微采样动态选择与文本相关的图像块；语义空间细化器（SSR），将碎片化的图像块聚合成语义连贯的视觉标记。关系图推理器（RGR）随后对局部-全局相似性节点进行高阶推理。在Flickr30K数据集上，在Faster R-CNN + Bi-GRU设置下，VLGRA达到了82.6%的R@1（图像→文本）和62.5%的R@1（文本→图像），分别比NAAF高出0.7和4.0个百分点。在MS-COCO 1K数据集上，我们取得了77.5%/65.9%的R@1，超越了先前的最先进方法。广泛的消融实验证明了每个模块的有效性，完整框架在rSum指标上相比基线提升了31.5个百分点。我们的代码可在以下地址获取：https://anonymous.4open.science/r/VLGRA-4921/**引言**跨模态对齐旨在弥合视觉与语言之间的语义鸿沟，是实现图文检索、视觉问答等多种多模态任务的关键技术。其核心挑战在于准确衡量图像与文本之间的语义相似性。现有方法主要分为两类：第一类是粗粒度对齐方法，将整个图像和文本编码为全局嵌入，通过简单的余弦相似度计算相似性。虽然高效，但丢失了细粒度的交互信息。第二类是细粒度对齐方法，在视觉区域和文本词汇之间建立局部对应关系，然后聚合这些局部对齐分数以得出最终相似性，从而实现更精确的语义匹配。传统的细粒度对齐方法严重依赖预训练目标检测器（如Faster R-CNN）进行区域特征提取。这种方法不仅带来巨大的计算开销，而且由于其两阶段训练过程还容易受到误差传播问题的影响。近年来，视觉Transformer（ViT）的出现彻底改变了这一领域。纯Transformer架构将图像分割为不重叠的图像块并提取其特征，从而在图像块和文本词汇之间构建图像块-词对齐。与基于检测器的方法相比，这种端到端范式提供了更高的灵活性和效率，成为主流趋势。然而，现有的基于Transformer的细粒度对齐框架存在两个固有的缺陷，严重限制了其性能：**视觉冗余问题**：ViT将图像分割为大量微小的图像块。其中很大一部分图像块——主要是背景或与文本无关的区域——是冗余的。这些冗余的图像块不仅掩盖了关键的视觉线索，而且在图像块-词交互过程中还累积了噪声，最终导致不准确的对齐结果。**视觉歧义问题**：微小的图像块代表图像的碎片化组成部分，缺乏完整的语义信息。单个图像标记往往只捕获对象的局部纹理或颜色，缺乏"对象级"的语义完整性。这导致单个图像标记与多个不同词汇项之间存在模糊的、中等强度的对齐分数（例如，狗的白色皮毛可能与"狗"、"皮毛"和"白色"相关联），导致局部区域内的匹配错误和对齐不一致。为应对这些挑战，我们提出了一种新颖的视觉-语言语义优化与图推理架构（VLGRA）。据我们所知，VLGRA是首个旨在同时解决图像碎片冗余和歧义问题，并通过高阶关系推理增强跨模态对齐的框架。为直观展示该框架，请参考图1。该图描绘了VLGRA框架内核心模块的协作工作流程。首先，图上半部分的语义权重过滤器（SWF）对输入图像进行语言引导的视觉分析，检测与文本描述相关的对象区域（如狗、牵引绳和飞盘），并为每个区域生成初步的关联置信度分数。这些检测结果随后被送入语义空间细化器（SSR），后者聚合碎片化的图像块并融合冗余信息，生成一组语义完整、结构清晰且精炼的视觉标记（图左下角的图像）。最后，图下半部分的关系图推理器（RGR）对这些精炼的视觉标记和文本词汇进行高阶图推理，执行多步信息传播和关系建模，以纠正模糊的关联，最终输出精确且一致的对象-词关联结果。VLGRA的核心原则是"先优化，后推理"。首先，为获得语义精炼且紧凑的视觉表示，我们引入了一种结合语义权重过滤器（SWF）和语义空间细化（SSR）的协同优化机制。在该机制中，通过语言信息的引导，采用可微采样技术识别并选择与文本内容高度相关的关键图像碎片，同时消除冗余信息。随后，通过语义空间校准网络将过滤后的图像碎片聚合成"优化的图像块"，从而增强语义完整性和结构信息，从根本上解决了视觉冗余和歧义问题。其次，在获得高质量的优化图像块和文本词汇后，我们引入了关系图推理（RGR）模块。与仅聚合局部相似性的现有方法不同，RGR模块将所有局部和全局相似性表示视为图节点。通过图卷积网络，促进这些节点之间的信息传播和关系推理。这使得模型能够捕获不同对齐之间的复杂关联，从而推断出更全面和准确的跨模态相似性。本文的主要贡献总结如下：- 我们提出了一种新颖的视觉-语义优化与图推理架构（VLGRA），首次将语言引导的视觉语义细化与高阶相似性图推理相结合，用于高质量的细粒度跨模态对齐。- 我们引入了结合语义权重过滤器（SWF）和语义空间细化（SSR）的协同优化机制。通过语言引导的图像块选择和语义空间校准，该方法有效地解决了基于Transformer的跨模态对齐中的视觉冗余和语义歧义问题。- 我们成功地将关系图推理（RGR）模块集成到优化的图像块-词对齐框架中。该方法利用图结构挖掘局部和全局对齐之间的深层关系，从而产生更稳健的相似性分数。- 在两个主流基准数据集Flickr30K和MS-COCO上的实验结果表明，VLGRA在图文双向检索任务中达到了最先进的性能，显著优于现有的最先进方法。**图文匹配中的细粒度对齐**图文匹配的核心在于建立视觉元素与语言元素之间的精确对应关系。现有方法主要分为两类：粗粒度对齐和细粒度对齐。粗粒度方法将整个图像和文本编码为全局特征，映射到共享嵌入空间，并通过计算全局相似度来衡量匹配质量。虽然高效，但这些方法忽略了交互。**方法**所提出的视觉-语言语义优化与图推理架构（VLGRA）如图2所示。该框架旨在通过四个阶段实现精确的细粒度跨模态对齐：首先，从图像和文本中提取基本的视觉图像块和词汇特征。随后，语义权重过滤器整合了分数预测网络、图像自注意力和文本交叉注意力，为每个图像块生成语言引导的显著性分数。**数据集和评价指标**我们在两个广泛使用的图文检索基准数据集上评估了所提出的视觉-语言语义优化与图推理架构（VLGRA）。详情如下：Flickr30K包含31,783张图片，每张图片附有5句描述性句子。按照标准划分，我们使用29,000张图片进行训练，1,000张用于验证，1,000张用于测试。MS-COCO包含123,287张图片，每张图片有5个标题。**结论**本文提出了一种新颖的视觉-语言语义优化与图推理架构（VLGRA），以解决细粒度跨模态对齐中的关键挑战。该框架通过语言感知的语义权重过滤器（SWF）和语义空间细化器（SSR），有效解决了基于Transformer的视觉特征中的冗余和歧义问题，获得了语义完整且紧凑的精炼视觉表示。在此基础上，关系图推理器...**CRediT作者贡献声明****杨思源**：撰写-初稿，方法论，调查，概念化。**李智新**：撰写-初稿，方法论，数据整理。**尤中祥**：撰写-审阅与编辑，可视化。**姜曙霓**：撰写-审阅与编辑，可视化。**张灿龙**：撰写-审阅与编辑，可视化。**利益冲突声明**作者声明他们不存在可能影响本文所述工作的已知竞争性财务利益或个人关系。**致谢**本工作由国家自然科学基金（编号：62666010，62276073）、广西壮族自治区自然科学基金（编号：2026GXNSFAA00641057）和广西多源信息融合与智能处理协同创新中心资助。杨思源|李智新|尤中祥|姜曙霓|张灿龙