基于语义相似度的对比哈希方法用于无监督跨模态检索

《Journal of Visual Communication and Image Representation》：Semantic similarity guided contrastive hashing for unsupervised cross-modal retrieval

　　高立蒙|王震|王新中|郑震|杨明哲
中国淄博张店区新村西山东理工大学计算机科学与技术学院，邮编255000

摘要
由于存储成本低且检索效率高的优势，无监督跨模态哈希在大规模跨模态检索任务中受到了广泛关注。然而，现有的大多数无监督跨模态哈希方法忽视了潜在的语义相关性，无法建立不同模态之间的语义联系。本文提出了一种新的无监督跨模态检索方法——语义相似性引导对比哈希（SSGCH）。首先，我们设计了注意力交互模块（AIM），该模块通过特征融合和自注意力机制来捕捉模态内及模态间的潜在语义相关性，从而避免对相同语义信息赋予不同的权重。其次，为确保相似样本的哈希码在汉明空间中更为接近，哈希对比学习模块（HCLM）要求内容相似的不同模态样本之间的语义关系保持一致。此外，语义相似性对齐模块（SSAM）则用于最小化汉明相似度矩阵与原始特征相似度矩阵之间的差异。这样一来，生成的哈希码能够更好地保留原有的语义相似性信息。我们在三个公共数据集MIRFLICKR-25K、NUS-WIDE和MS COCO上进行了全面实验及消融研究，结果表明所提出的SSGCH方法在跨模态检索性能上达到了当前最佳水平。

引言
近年来，随着互联网上多媒体数据的不断增长，用户对数据检索的需求也日益增加。如何高效地检索不同模态的多媒体数据已成为研究热点。跨模态检索[1]–[12]旨在利用某一模态作为查询条件，从另一模态中检索相关数据，同时探索不同模态数据之间的关联。跨模态哈希方法[13]–[24]则将高维跨模态数据映射为低维压缩后的哈希码，同时保留原有的语义关系。在检索阶段，通过计算哈希码之间的汉明距离来定位目标数据。

根据训练过程中是否需要语义标签，现有的跨模态哈希方法主要分为有监督和无监督两类。有监督跨模态哈希方法[25]–[28]依赖标签的语义分类信息来指导哈希函数的训练，从而实现较高的跨模态检索精度。但在现实环境中，获取手动标注需要耗费大量人力和计算资源。而无监督跨模态哈希方法[29]–[32]则不再依赖语义标签，而是基于训练数据的内在结构生成哈希码。本文主要研究图像-文本无监督跨模态哈希检索，该方法能够为图像和文本生成紧凑的哈希码。

目前已有多种深度无监督跨模态哈希方法被提出，并取得了优异的性能。深度联合语义重建哈希（DJSRH）[33]通过构建联合语义特征相似度矩阵来计算模态内及模态间的重建误差，从而捕捉多模态实例中的潜在关联。基于联合分布的相似性哈希（JDSH）[34]则通过构建联合模态相似度矩阵来保留原有的语义关联，同时通过采样和加权策略提升哈希码的区分度。具有多重相似性保留功能的无监督深度哈希（UMSP）[35]则通过多重相似性保留模块来弥补不同模态之间的差异，进而增强哈希码的区分能力。无监督自适应超图相关哈希（UAHCH）[36]提出了一种快速的参数自适应策略来优化神经网络的参数，并通过超图神经网络将语义信息和相关性强化到哈希码中。

然而，现有的无监督跨模态哈希算法仍然存在忽视潜在语义相关性以及相似性引导不准确的问题，这降低了跨模态邻居检索的性能。这些方法假设被检索样本与查询样本具有相同的相似性关系，但实际上，同一模态下不同样本所表达的主要语义信息并不一致。图1展示了跨模态检索的结果。在图像到文本的任务中，查询图像包含城堡、树木、喷泉、天空、云朵等元素，它们的权重值分别为0.2:0.2:0.2:0.2:0.2。对于文本(a)“一座白色的城堡被茂密的绿树环绕”，城堡、树木、喷泉、天空、云朵等语义特征的权重值分别为0.5:0.5:0:0:0；对于文本(b)“阳光下有一个喷泉池”，这些语义特征的权重值为0:0:0.5:0.5:0；而对于文本(c)“一座白色建筑矗立在蓝天白云之下”，它们的权重值为0.4:0:0.3:0.3:0。显然，文本(c)的语义权重与查询图像更为接近，因此检索结果中应首先返回文本(c)。同样，在文本到图像的任务中，查询文本包含计算机、鼠标、键盘和绿色植物等语义特征，它们的权重值为0.4:0.2:0.2:0.2。在给定的图像(e)、(f)和(g)中，计算机这一语义特征的权重值分别为0.4:0.2:0.2:0.2、0.4:0.3:0.3:0以及0.2:0.2:0.2:0.2。显然，图像(e)的权重值与查询文本更为接近，因此检索结果中应首先返回图像(e)。

为解决上述问题，我们提出了全新的语义相似性引导对比哈希（SSGCH）方法。其框架如图2所示。具体而言，SSGCH方法由四个模块组成：深度特征提取模块（DFEM）、注意力交互模块（AIM）、哈希对比学习模块（HCLM）以及语义相似性对齐模块（SSAM）。深度特征提取模块（DFEM）负责提取图像的浮点特征FI和文本的浮点特征FT。注意力交互模块（AIM）则将FI和FT整合为多模态融合特征F，它通过自注意力机制捕捉模态内及模态间的潜在语义相关性，进而生成图像注意力交互特征UI和文本注意力交互特征UT。随后，哈希对比学习模块（HCLM）通过模态内哈希对比损失函数和模态间哈希对比损失函数来保持不同模态样本之间的语义一致性。编码网络会生成图像、文本以及多模态注意力交互的哈希表示HI、HT和HF，这些表示随后会被映射为哈希码BI、BT和BF。最后，语义相似性对齐模块（SSAM）则整合来自不同模态的互补信息，使得汉明相似度与原有的潜在语义关系保持一致。为了在汉明空间中保留原有的语义相似性，SSAM会最小化原始图像特征相似度矩阵SI、文本特征相似度矩阵ST、多模态语义相似性对齐矩阵S与哈希相似度矩阵SBI、SBT、SBIT之间的差异。我们将SSGCH的贡献总结如下：
•所提出的注意力交互模块（AIM）通过特征融合和自注意力机制，有效捕捉了图像和文本模态之间的模态内及模态间潜在语义相关性。此外，在哈希对比学习模块（HCLM）中，我们进一步增强了不同模态之间的语义关联，使得内容相似的不同模态样本在汉明空间中更加接近。
•为确保模态内及模态间的潜在语义相关性在汉明空间和原始空间中保持一致，语义相似性对齐模块（SSAM）最小化了原始相似度矩阵与汉明相似度矩阵之间的差异，从而使生成的哈希码能够更好地保留原有的语义相似性。
•我们在三个广泛使用的数据集MIRFLICKR-25K、NUS-WIDE和MS COCO上进行了跨模态检索对比实验，实验结果表明，所提出的SSGCH方法在跨模态检索性能上优于现有的各种先进跨模态哈希方法。消融实验结果则验证了各个模块的有效性。

章节节选
有监督跨模态哈希
有监督跨模态哈希方法利用手动标注的标签信息或预定义的相似度矩阵来指导不同模态之间哈希码的训练。两阶段离散跨模态哈希（WATCH）[37]提出了平滑矩阵分解和标签松弛策略，有效减少了量化误差，提升了哈希函数的学习性能。深度语义多模态哈希网络（DSMHN）[38]则同时学习两组特征。

符号说明与问题定义
在本文中，我们将包含m对图像-文本对的训练数据集记为O=∑_{i=1}^m(I_i, T_i)，其中I_i和T_i分别代表第i个图像样本和文本样本。我们定义图像的浮点特征为FI∈R^{m×d_I}，类似地，文本的浮点特征定义为FT∈R^{m×d_T}。我们将F*映射到汉明空间，从而生成图像和文本的哈希码B*∈{-1,+1}^{m×k}，其中?∈I,T，k为哈希码的长度。在训练阶段，我们要求汉明相似度与原始相似度之间的关系保持一致。

实验
在本节中，我们使用三个公开的跨模态检索数据集——MIRFLICKR-25K[51]、NUS-WIDE[52]和MS COCO[53]，来评估所提出的语义相似性引导对比哈希（SSGCH）方法的跨模态检索性能。我们还采用了14种先进的基准算法，并通过消融实验来分析各个组件的作用。

结论
本文提出了一种用于无监督跨模态检索的新方法——语义相似性引导对比哈希（SSGCH）。其中的注意力交互模块（AIM）通过特征融合和自注意力机制，能够捕捉模态内及模态间的潜在语义相关性，有效弥合了不同模态之间的语义差异。而哈希对比学习模块（HCLM）则有助于增强模态内及模态间的语义一致性。

CRediT作者贡献声明
高立蒙：写作——审阅与编辑、写作——初稿撰写、可视化、方法论、研究工作。王震：写作——审阅与编辑、监督、资金筹集。王新中：写作——审阅与编辑、验证。郑震：写作——审阅与编辑、可视化、研究工作。杨明哲：写作——审阅与编辑、可视化、方法论。

未引用参考文献
[60]、[61]、[62]、[63]

利益冲突声明
作者声明不存在任何可能影响本文研究成果的已知财务利益或个人关系。

致谢
本研究得到了国家自然科学基金项目（编号61841602）、山东省自然科学基金项目（编号ZR2021MF017、ZR2020MF147）、山东省高校青年创新科技团队计划项目（编号2021KJ031）以及中央高校基本科研业务费项目（济南大学，编号93K172021K12）的支持。