GCMR-IMA：基于图的跨模态检索方法，具备不完整模态感知能力

《Scientific Reports》：GCMR-IMA: graph-based cross-modal retrieval with incomplete modality awareness

　　

摘要

跨模态检索在医学图像分析、多媒体搜索以及个性化推荐等领域发挥着重要作用，尤其是在处理图像与文本对的数据时。然而，模态差异性、数据缺失和噪声等问题仍限制着其应用效果。传统方法往往存在计算复杂度高的问题，而基于深度学习的方法则难以捕捉长距离语义关联并处理缺失的模态数据。为解决这些问题，我们提出了一种基于图的不可完全模态感知跨模态检索方法（GCMR-IMA），该方法包含四项关键创新：（1）采用双层语义架构，通过图像与文本的双重嵌入来实现全局语义图的学习及长距离语义关联的捕捉；（2）利用稀疏化的模态邻接图来建模潜在的模态间关系，从而提升模态关联感知能力；（3）采用图引导的缺失模态感知方法，借助全局语义图的稀疏邻接矩阵为缺失模态提供语义上一致的指导；（4）设计自适应损失函数，优化模态投影以实现基于上下文的缺失模态检测。大量实验表明，即使在存在模态缺失的情况下，GCMR-IMA依然能保持良好的性能。该框架提升了跨模态检索系统的稳健性与效率，有助于在实际应用中做出更优的决策。