基于双重聚合的联合模态相似性哈希算法在跨模态检索中的创新研究

本文推荐：作者提出DAJSH（Dual Aggregation based Joint-modal Similarity Hashing）算法，通过Transformer编码器融合CLIP预训练的多模态特征，结合对比损失优化跨模态一致性，并首创双重聚合策略构建亲和矩阵（affinity matrix）。实验表明，该无监督方法在MIR Flickr等数据集上检索精度提升1.9%～5.8%，显著解决跨模态语义对齐与相似性建模难题。

　　

亮点

• 引入Transformer编码器处理融合特征，显著增强跨模态表征能力，并通过对比损失（contrastive loss）优化模态间语义对齐。

• 首次提出基于双重聚合策略的亲和矩阵构建方案，整合模态内余弦相似度与欧氏距离，同时纳入跨模态相似性，最大化保留语义信息。

• 在MIR Flickr、NUS-WIDE和MS COCO数据集上，性能超越现有方法1.9%～5.8%，验证了方法的有效性。

结论

DAJSH成功解决了无监督环境下跨模态检索的两大核心问题：语义对齐与相似性建模。通过CLIP模型实现初始特征空间统一，结合Transformer深度增强多模态表征，最终生成的哈希码（hash codes）兼具语义一致性与检索高效性，为医疗影像-文本关联分析等场景提供新思路。

（注：原文中非生命科学专业内容已适配转化，如"跨模态检索"可关联医学图像-报告匹配等应用场景）