用于大规模图像检索的深度语义通道哈希技术

《Signal Processing: Image Communication》：Deep semantic channel hashing for large-scale image retrieval

高效检索成为计算机视觉重点，现有哈希方法忽视高维实数空间与离散汉明空间差异导致解决方案空间压缩和损失函数震荡问题。本文提出DSCH框架，通过分类样本三元组（完全相似/部分相似/不相似）实施差异化哈希约束，并引入语义通道机制缓解震荡问题，在三个数据集上mAP分别提升6.25%、6.78%、8.90%，显著优于现有方法。

　　

张丽娜|张梦茹|秦启兵|黄雷|张文峰

中国潍坊市潍坊大学图书馆

摘要

随着互联网的快速发展，多媒体数据的量持续呈指数级增长。从海量数据集中高效检索目标信息已成为计算机视觉领域的一个关键研究焦点。由于其高效的检索能力和较低的存储成本，哈希方法逐渐成为图像检索任务中的核心技术。大多数现有的哈希方法专注于在将高维特征映射到二进制哈希码的过程中最小化语义差异，但往往忽略了实值空间与离散汉明空间之间的结构差异。实际上，不仅语义差距，空间差异也会显著影响检索性能。此外，现有的哈希方法可能会导致解决方案空间压缩和损失函数振荡等问题，这进一步影响了检索性能。为了解决这些问题，本文提出了一种名为深度语义通道哈希（DSCH）的新框架。具体来说，DSCH根据标签计算出的相似性将样本对分为三类：完全语义相似、部分语义相似和语义不相似。该框架对每一类应用不同的哈希约束，以更有效地利用整个汉明空间。此外，引入了语义通道机制来减轻模型训练过程中的梯度振荡问题，从而提高了学习到的哈希码的区分能力。与当前先进的深度哈希方法相比，DSCH在三个数据集上的mAP分别提高了6.25%、6.78%和8.90%，显示出在检索精度方面的显著优势。此外，结合多种评估指标的比较分析表明，DSCH在不同数据集上表现出稳定且显著的性能优势，凸显了其在实际图像检索应用中的巨大潜力。我们提出的DSCH框架的源代码已发布在https://github.com/QinLab-WFU/DSCH。

引言

随着互联网时代的不断进步，大量高维多媒体数据（如图像、视频和文本）正以前所未有的速度生成。从这些数据中高效检索目标信息已成为计算机视觉领域的一个关键研究焦点，并对信息处理技术提出了越来越大的挑战[1]、[2]。为了解决这个问题，研究人员提出了基于近似最近邻（ANN）搜索[3]的方法，这些方法因其优越的检索效率而受到广泛关注。在各种ANN算法中，基于哈希的学习特别适合大规模图像检索任务，因为它具有快速的检索性能和较低的存储开销。其主要目标是在尽可能保留原始数据的语义结构的同时，将高维特征转换为紧凑的二进制表示，从而提高检索精度和整体效率[4]、[5]、[6]。

现有的哈希方法通常分为两类：监督哈希[7]、[8]、[9]、[10]、[11]和无监督哈希[13]、[14]、[15]，主要区别在于训练过程中是否使用标记数据。无监督方法通过探索底层数据结构来学习哈希函数，生成紧凑的表示；而监督方法则依赖手动注释的标签来指导学习过程，从而更好地捕捉语义关系。由于有效利用了语义信息，监督哈希方法通常优于无监督方法，特别是在需要准确语义对齐的应用中。在这项工作中，我们专注于监督哈希，以生成高度区分性的二进制代码，以实现高效的大规模图像检索。

在哈希学习中，高维实值特征通常被映射到低维汉明空间以生成二进制哈希码，从而实现高效的图像检索[5]、[16]、[17]。尽管现有方法主要通过最小化语义损失来优化哈希函数以保留语义结构，但忽略了实值空间与离散汉明空间之间的结构差异。在大多数情况下，这种差异要么被简化为离散约束[18]，要么被量化为量化误差[19]，缺乏对汉明空间内在属性的深入探索。具体来说，汉明空间与实值空间在以下三个方面有所不同：（1）点的数量是有限的；（2）点对之间的相似值是离散且有限的；（3）对于任何锚点，锚点与其他所有点之间的汉明距离遵循二项分布$B(K,1/2)$，其中表示哈希码长度。

如图1所示，现有方法通常通过将语义相似的样本拉近并将不相似的样本推开来保留语义关系。典型策略包括强制哈希码的正交性（图1-(a)）或最大化不相似样本之间的距离（图1-(b)）。然而，由于汉明空间的容量有限，这些策略在实际应用中往往导致解决方案空间压缩，意味着检索集中的样本被迫分布在有限的空间内。具体来说，图1-(a)中显示的正交性约束倾向于将不相似的样本聚集在固定的汉明距离K/2周围，导致近一半的汉明空间未被充分利用。这不仅限制了样本的总体分布范围，还压缩了语义相似样本的分布空间。同样，图1-(b)中的最大间隔策略可能会将大量负样本压缩到空间的一个小区域内，从而进一步加剧了拥挤问题。这使得区分不相似样本的空间变得困难，导致解决方案空间压缩和检索性能下降。相比之下，设计的DSCH方法将样本对分为完全相似、部分相似和不相似三类，并相应地施加不同的约束，如图1-(c)所示。这种方法有效缓解了解决方案空间压缩的问题，并提高了检索效率。此外，现有的哈希方法还存在损失函数振荡的问题，即在最优解处梯度不为零。这阻碍了损失函数的稳定收敛，不仅削弱了模型训练过程的可靠性，还直接降低了生成哈希码的区分能力，最终可能降低检索性能。总之，当前的哈希方法在处理空间结构差异和确保优化稳定性方面仍有改进空间。同时，卷积神经网络（CNN）在各种视觉任务中展示了出色的特征表示能力和计算效率。例如，它们在航空遥感图像中的车辆检测[20]、仪器指示目标识别[21]、古代壁画元素检测[22]和手指静脉识别[23]等任务中取得了显著成果。这些研究充分验证了CNN在复杂视觉场景中进行高效特征提取的通用性和有效性。

因此，为了解决上述问题，本文提出了一种深度语义通道哈希（DSCH）框架。整个框架包括两个主要组成部分：特征提取模块和目标函数模块，如图2所示。特征提取模块使用卷积神经网络高效提取具有区分性的图像特征。目标函数模块结合了语义通道机制和差异化的约束策略，以提高学习到的哈希码的区分能力，从而显著提高图像检索性能。

总体而言，本工作的主要贡献可以总结如下：

• (1)
  首先，为了解决哈希学习中的空间差距问题，提出了新的深度语义通道哈希（DSCH）方法，有效缓解了由空间差异引起的解决方案空间压缩和损失函数振荡。
• (2)
  其次，我们的框架通过基于样本标签的相似性计算将样本对分为三类语义相似性，并对每一类样本对施加不同的哈希约束。该机制不仅实现了汉明空间的有效利用，还确保了完全语义相似的样本尽可能接近，部分语义相似的样本分布相对紧密有序，而语义不相似的样本保持的汉明距离大于$K/2$

(3)

第三，为了缓解训练过程中的振荡问题，引入了语义通道机制，将第一阶段分配的汉明距离进一步扩展到语义通道中，确保损失函数的梯度在最优解处为零，从而提高了优化过程的稳定性。

(4)

最后，在三个数据集上进行的广泛实验表明，我们的算法有效地学习了一个高度区分性的汉明空间，并且始终优于现有的哈希方法。

本文的其余部分组织如下：第2节简要回顾了相关工作。第3节详细介绍了提出的DSCH方法。第4节展示了比较实验结果以评估其性能。最后，第5节总结了本文并指出了未来研究的方向。

章节片段

相关工作

由于哈希学习具有低存储开销和高计算效率的优势，它已被广泛应用于图像检索和其他领域。本节简要回顾了监督哈希和无监督哈希方法，以及最近在弥合特征空间差距方面的进展。

方法论

本节从特征提取和哈希学习两个角度分析了DSCH深度学习方法。

实验

本节旨在验证提出的DSCH框架的有效性。在三个大规模图像检索数据集（MIRFLICKR-25K、NUS-WIDE和MS COCO）上进行了广泛的实验，并将该方法与几种最先进的深度哈希方法进行了比较。实验结果表明，DSCH在多个方面都具有显著的性能优势

结论与未来工作

在这项工作中，我们提出了深度语义通道哈希（DSCH）框架，以解决由语义空间差异引起的哈希解决方案空间压缩和损失函数振荡问题。具体来说，该方法根据标签之间的语义相似性将样本对分为三类（完全语义相似、部分语义相似和语义不相似），并对每一类施加不同的哈希约束。

CRediT作者贡献声明

张丽娜：撰写——原始草案、方法论、数据管理、概念化。张梦茹：可视化、验证、监督、方法论。秦启兵：项目管理、方法论、调查、资金获取。黄雷：项目管理、调查、资金获取。张文峰：可视化、软件、项目管理、资金获取。

利益冲突声明

作者声明他们没有已知的可能会影响本文所述工作的财务利益或个人关系。

致谢

本工作得到了山东省自然科学基金（编号：ZR2022QF046, 编号：ZR2025MS1067）、重庆市自然科学基金（编号：CSTB2023NSCQ-MSX0407）和重庆市教育委员会科学技术研究计划（编号：KJQN202200551）的支持。