分布相似性感知跨模态哈希（DSAC-Hash）：提升多媒体检索性能的创新框架

《Image and Vision Computing》：DSAC-Hash: Distribution-Similarity-Aware Cross-modal Hashing

本文提出DSAC-Hash（Distribution-Similarity-Aware Cross-modal Hashing）框架，通过创新语义交互聚合器（SIA）和加权损失函数优化跨模态相似度，在MS COCO等数据集上实现图像-文本双向检索性能显著提升（MAP提高4.59%~12.96%），为大规模多媒体检索提供新解决方案。

　　

关键创新点

（1）提出分布相似性感知跨模态哈希（DSAC-Hash），专门设计用于弥合图像与文本模态间的语义鸿沟。

（2）开发语义交互聚合器（SIA）模块，通过基于注意力的相似度聚合对齐跨模态语义，并结合Jensen-Shannon散度（JSD）正则化增强一致性。

（3）构建加权损失框架，同步优化跨模态相似性、语义对齐和结构一致性，显著提升二进制哈希码的判别质量。

（4）在MS COCO等数据集上的实验表明，DSAC-Hash在图像到文本（I2T）和文本到图像（T2I）检索任务中实现突破性性能提升（如MS COCO上I2T提升4.59%~10.45%，T2I提升7.39%~12.96%），验证了其鲁棒性和可扩展性。

讨论

本研究提出的DSAC-Hash框架通过三大核心技术突破——语义交互聚合器（SIA）实现结构化跨模态表征、统一加权损失函数强化模态不变判别力、端到端可训练架构生成鲁棒二进制编码，有效构建动态语义矩阵（DSM）捕捉模态间关键特征关联。该框架为解决多媒体数据异构性挑战提供了新思路，尤其适用于生命科学领域中的多模态数据整合分析场景。

结论

DSAC-Hash通过创新动态相似度矩阵（DSM）精准捕捉图像与文本特征间复杂关联，增强语义相关性并提升检索精度。消融实验证实，该方法的性能优势依赖于其核心模块的协同作用，为大规模跨模态检索任务提供了可靠技术支撑。