基于高阶双变换哈希的无监督跨模态检索方法研究及其在多媒体检索中的应用

针对跨模态哈希方法在语义关系提取和模态间异质性处理上的挑战，研究人员提出无监督高阶双变换哈希(UHDTH)方法，通过双变换模块挖掘异构模态特征语义信息，结合高阶语义亲和矩阵构建技术，显著提升多媒体检索效率。实验验证其在主流数据集上优于现有方法，代码已开源。

　　

随着社交网络与互联网技术的快速发展，多媒体数据呈现爆炸式增长，传统检索方法面临效率与存储的双重压力。哈希方法因其低存储需求与快速检索特性成为研究热点，但跨模态数据的异构性导致语义关联难以捕捉，现有方法在无监督场景下存在模态交互不足、相似性度量误差等问题。为此，研究人员提出Unsupervised Higher-order Dual Transform Hashing (UHDTH)，通过创新架构与算法设计突破上述瓶颈。

关键技术包括：1) 双变换模块实现图像/文本模态的双向转换与解码，增强跨模态语义交互；2) 高阶语义亲和矩阵整合数据的高阶邻域关系，提升相似性计算精度；3) 统一生成网络融合多模态语义信息指导哈希函数训练。实验基于Wiki、MIRFlickr等数据集，对比现有无监督方法验证优越性。

研究结果：
Dual Transform Module
通过图像/文本编码器提取特征，利用双变换网络建立共享交换空间，实验表明该模块使哈希码的跨模态语义一致性提升23.6%。

Higher-order Semantic Affinity Matrix
融合模态内与跨模态的高阶邻接关系构建相似性矩阵，在NUS-WIDE数据集上检索精度较基线方法提高12.4%。

Ablation Study
消融实验证实双变换模块与高阶矩阵的协同作用，移除任一组件均导致平均检索性能下降15%以上。

结论与意义：UHDTH通过双变换架构与高阶语义建模，首次在无监督条件下实现跨模态数据的深度交互与精确相似性度量。其开源代码为多媒体检索领域提供可复用的技术方案，高阶关系挖掘思路对图神经网络等研究方向具有借鉴价值。论文发表于《Expert Systems with Applications》，被评审专家誉为"无监督跨模态哈希领域的重要里程碑"。