非对称判别式跨模态哈希（ADCH）：提升多媒体检索效率与精度的创新方法

本文提出一种非对称判别式跨模态哈希方法（ADCH），通过融合核判别分析（KDA）与成对标签距离保持机制，有效挖掘多模态数据的判别性信息，并采用严格离散约束优化策略减少量化损失。实验表明ADCH在多个基准数据集上显著优于现有跨模态哈希方法（如EDMH、JSPSH），为多媒体检索与计算机视觉领域提供了高效解决方案。

　　

Highlights

• 我们提出一种判别性跨模态哈希框架。该框架无缝整合了基于核判别分析（Kernel Discriminant Analysis, KDA）的投影学习模块与成对标签关系嵌入模块，能够充分探索模态间互补信息与模态内语义判别信息。

• 开发了一种严格约束离散变量的非对称学习方法，以解决离散优化问题。大量实验结果表明，我们的ADCH方法在跨模态检索性能上实现了显著提升。

Related work

现有跨模态哈希（CMH）方法可根据训练数据标签是否已知分为无监督CMH方法与有监督CMH方法。本节我们从以下两个角度初步回顾该领域的相关研究。

无监督CMH方法通常侧重于探索模态内和模态间的结构、分布及拓扑信息，以学习鲁棒哈希函数。例如……

Notations

假设训练集由n个多模态样本及其对应标签组成。每个样本包含两种模态（如图像与文本）。X_m = {x^m_i}ⁿ_i=1 表示训练集中第m种模态，其中x^m_i ∈ R^d_m（m=1,2）。L ∈ R^n×c 代表标签矩阵，c为类别数。∥·∥_F 和 tr(·) 分别表示矩阵的Frobenius范数与迹。Q ∈ R^p×q 的?_2,1-范数定义为 ∥Q∥_2,1 = ∑^p_i=1√(∑^q_j=1Q²_i,j)。exp(·) 和 sgn(·) 分别指数函数与符号函数。

Experiment

我们开展了多项跨模态检索对比实验以验证所提出方法的有效性。本节详细说明数据集、基线方法、评估指标、实施细节及实验结果。

Conclusion

本文提出了一种非对称判别式哈希方法以改进跨模态哈希检索。首先，我们的模型利用核判别分析方法在投影学习中提取判别性多模态特征信息，并在投影过程中应用?_2,1-范数约束以促进多模态特征学习。其次，我们通过哈希码保持标签空间中的成对距离关系，确保语义结构的完整性……