基于深度语义中心引导哈希的多标签跨模态检索方法研究

针对多标签跨模态检索中哈希中心语义关联不足的问题，研究人员提出深度语义中心引导哈希（DSCGH）方法，通过分类器权重构建语义保持的哈希中心，结合多标签中心损失和离散比特去相关约束，显著提升检索性能。实验表明，DSCGH在MRIFLICKR-25K等数据集上优于基线方法，为跨模态检索提供了新思路。

　　

在互联网数据爆炸式增长的今天，社交媒体平台每天产生海量的图像、文本和视频等多模态数据。如何高效准确地从这些异构数据中检索相关信息，成为亟待解决的挑战。传统的单模态检索系统在面对跨模态查询时（例如用文本搜索图像）往往力不从心，而现有的跨模态哈希方法又存在哈希中心语义关联不足、多标签相关性建模不充分等问题。针对这些瓶颈，曲阜师范大学的研究团队在《Expert Systems with Applications》发表了题为"Deep Semantic Center-Guided Hashing for Multi-Label Cross-Modal Retrieval"的研究论文，提出了一种创新的深度语义中心引导哈希（DSCGH）框架。

该研究主要采用三种关键技术：1）基于分类器权重的哈希中心生成策略，将类别语义先验融入中心构建；2）多标签中心损失函数，建模跨模态复杂标签相关性；3）离散比特去相关约束，减少哈希码冗余。实验数据来自MRIFLICKR-25K、NUS-WIDE和IAPR TC-12三个基准数据集。

研究结果部分：

1. 哈希中心生成模块：通过对齐分类器权重与类别特征距离，构建出语义保持且区分度高的哈希中心，解决了随机初始化中心导致的语义漂移问题。
2. 多标签中心损失：强制正样本靠近相关中心而远离无关中心，有效捕捉了"香蕉"与"苹果"等语义相近类别的关联性。
3. 比特去相关约束：通过优化哈希码位间独立性，使16位哈希码的mAP值较基线方法提升4.2%。

结论表明，DSCGH在三个数据集上的跨模态检索mAP指标均显著优于对比方法，尤其对"图像→文本"检索任务提升达6.8%。该研究的创新点在于首次将类别语义先验系统性地引入哈希中心学习，为多标签跨模态检索提供了新范式。尽管当前模型尚不支持音频等新模态处理，但其核心框架为后续扩展奠定了基础。作者建议未来可探索自监督预训练与哈希中心的联合优化，进一步提升模型泛化能力。