跨模态注意力融合引导的图像文本匹配语义统一方法

《Expert Systems with Applications》：Cross-modal Attention Fusion Guided Semantic Unification for Image-Text Matching

　　•提出一种用于图像-文本检索的跨注意力融合哈希框架。•捕捉图像与文本模态之间的共享语义关联与潜在语义关联。•从融合后的语义表示中生成统一的哈希码。•结合语义融合、语义相似度以及量化损失，以实现更可靠的哈希功能。•在MIRFLICKR25K、NUSWIDE-10K和MSCOCO基准测试中取得更优异的mAP值。

引言
随着互联网的快速发展，每天产生的多媒体数据量呈指数级增长，这些数据包括文本内容和视觉图像等多种格式。这一现象引发了人们对大规模多媒体检索的广泛研究兴趣（Liu等人，2025a；Wang等人，2024；Yang等人，2026）。在各种研究方法中，近似最近邻搜索已成为一个重要的研究方向。近似最近邻搜索的核心挑战在于如何在大规模数据集中高效且准确地找出与给定查询最相关的样本。

为了解决这一难题，刘等人（2023）提出的保持相似度的哈希技术因具有高检索效率和低存储需求而受到广泛关注。然而，多媒体数据往往以多种语义相关的形式存在。例如，一张图片可能与其对应的文字描述传达相同的语义信息。因此，跨模态检索变得越来越重要。跨模态检索旨在从某一模态中识别并返回与另一模态中的查询在语义上相关的结果。例如，用户可能希望根据给定的文字描述查找对应的图片。对于此类功能的需求不断增加，推动了人们对跨模态哈希技术的深入研究（Liu、Cheung、Hu、He和Zhong，2020b；Sui等人，2026；Tu等人，2025）。

根据特征学习策略的不同，跨模态检索方法可大致分为两类。第一类是浅层跨模态哈希方法，这类方法主要依赖手工设计的特征来学习投影函数，将每个数据样本映射到相应的二进制码中（Li、Sun、Wang、Zhu和Chang，2025a；Liu等人，2026b；Xu、Shimada、Taniguchi和He，2015）。在这些方法中，特征提取和哈希码生成是分开进行的。但由于手工设计的特征并非专门为哈希码学习而优化，因此在实际应用中可能会出现性能不佳的情况。第二类则是深层跨模态哈希方法，这类方法将特征学习和哈希码生成整合到一个统一框架中（Liang、Yang、Yang和Deng，2024；Liu等人，2026a）。这类方法更能捕捉跨模态样本之间的非线性关联，从而显著提升检索性能。在深层跨模态哈希中，每个样本通常由两种不同模态的配对数据组成，如图像-文本对。通过利用深度学习模型，这些方法可以自动学习更适合哈希码优化的特征表示，从而实现更准确、更高效的跨模态检索。

尽管近年来取得了显著进展，现有的深层跨模态哈希方法在生成真正统一的哈希码方面仍面临诸多挑战。目前大多数方法都是通过优化预定义的损失函数，来最小化语义相关数据点之间的哈希码差异（Xu、Li、Shao、Zeng和Li，2024）。虽然这种方法有助于提高不同模态下相关数据点哈希码之间的相似度，但仍然不足以学习统一的语义表示。这种局限性源于跨模态数据特征分布的固有差异，这些差异往往会导致生成特定于某种模态的哈希码。

此外，如图1所示，以往的方法往往采用启发式策略，优先考虑主导语义特征的匹配，而忽视了不同模态之间固有的特征多样性。这一局限性阻碍了对跨模态数据中多层级语义关联的有效建模。由于这些方法主要关注显式的成对相似性，未能充分利用潜在的辅助语义关系。因此，这种简化的 Semantic 对齐策略可能会影响更丰富的语义表示的保留，进而限制更复杂、更有意义的跨模态关联的发现。为了解决这些问题，我们的方法采用了跨注意力机制来捕捉跨模态数据之间的语义关联，运用先进的融合策略来保留更丰富的共享语义，并有助于在不同模态间生成统一的哈希码。

基于这些见解，我们旨在探索跨模态数据点之间的潜在语义关联，保留相似样本之间共享的语义特征，生成统一的哈希码，进而优化跨模态哈希学习过程，以提高检索性能。为实现这些目标，我们提出了一种名为跨注意力融合哈希（CAFH）的新方法。具体而言，所提出的CAFH框架包含三个关键组成部分。首先，我们设计了一个跨模态注意力融合模块，用于捕捉不同模态之间的共享语义特征，并整合来自相似跨模态数据点的语义相关信息。其次，利用融合后的跨模态语义表示来生成统一的哈希码，这些哈希码随后用于指导跨模态哈希学习过程。最后，我们引入了语义相似度学习机制，以降低不相似样本之间的相关性，同时增强跨模态表示的区分度。通过引入跨注意力融合模块，所提出的CAFH方法在多个实际的图像-文本跨模态检索基准测试中取得了显著的性能提升。本文的主要贡献如下：
•我们提出了一种基于融合引导的跨模态对齐策略，该策略利用通过特征融合获得的统一语义表示，来指导为语义相关的跨模态数据对生成一致的哈希码。
•我们开发了一个跨模态注意力模块，该模块能够有效捕捉配对数据之间的语义关联。该模块在保留显式语义特征的同时，还能发现潜在的辅助语义信息，从而有助于识别和保留跨模态之间更丰富的共享语义表示。
•在MIRFLICKR25K、NUSWIDE-10K和MSCOCO这三个基准数据集上的大量实验表明，所提出的方法在图像到文本以及文本到图像的检索任务中均表现出更优异的性能。CAFH框架在保持高计算效率的同时，始终优于现有的最先进方法。

相关工作
跨模态数据的特点是具有固有的特征多样性以及显著的语义关联。跨模态哈希检索利用了“相关实例具有相似哈希码”这一原理，将不同模态的特征空间转换为统一的汉明空间，从而实现跨多种数据类型的高效信息检索（Bai、Shu、Yu、Yu和Wu，2023；Li等人，2023）。基于哈希的检索方法具有诸多优势，比如能减少内存需求等。

问题定义
如图2所示，对于来自视觉或文本模态的查询实例，检索任务的目标是在互补模态中找到最相关的实例。形式上，设O = {o?, o?, ..., o?}表示包含n个样本的跨模态语料库，每个样本表示为o? = (I?, T?)。对于每个实例o?，其视觉信号表示为I? ∈ R1×D?，而文本数据则表示为T? ∈ R1×D?，其中D?和D?分别表示图像和文本的特征维度。

数据集
如表1所示，所提出方法的有效性是在三个广泛使用的跨模态数据集上进行评估的：MIRFLICKR25K、NUSWIDE-10K和MSCOCO。
•MIRFLICKR25K：该数据集由Huiskes和Lew在2008年引入，包含了通过Flickr公共API收集的25,015张图片，以及描述其视觉内容的文字注释。在我们的实验中，使用了其中20,015组图像-文本对。每组数据对都与24个语义标签中的一个或多个相关联，文字注释……

结论
本文提出了基于跨注意力感知的融合型跨模态哈希方法，该方法解决了跨模态检索任务中存在的模态特定特征差异以及语义对齐不足等关键问题。通过引入一种新颖的跨注意力感知融合模块，CAFH能够有效地整合不同模态之间的共享语义特征，从而确保哈希码表示的连贯性和统一性。此外，通过引入语义相似度学习机制，进一步提升了……

未引用图表
表3. CRediT作者贡献说明
刘晓青：概念设计、方法论、原文撰写。侯金辉：概念设计、方法论、原文撰写。余志文：方法论、验证、审稿与编辑、监督。蒋军：形式分析、数据整理、审稿与编辑。曾焕强：调研、可视化、审稿与编辑。陈C.L. Philip：验证、形式分析、项目管理。

利益冲突声明
作者声明不存在任何可能影响本文研究成果的已知财务利益或个人关系。
刘晓青|侯金辉|余志文|曾焕强|蒋军|陈C.L. Philip