视觉-语言提示学习方法MaPLeMeta在图像检索中的应用与性能提升

《Scientific Reports》：Application optimization of visual-verbal cue learning in image search system

　　

摘要

在现代图像检索系统中，视觉与语言模态之间的有效对齐以及高效的检索是提升系统性能的关键。然而，传统的提示学习方法难以实现良好的泛化能力。本文提出了一种视觉–语言提示学习方法MaPLeMeta，旨在提升图像检索系统的整体性能。MaPLeMeta通过结合双模态提示学习技术，在视觉编码器和文本编码器中分别引入可学习的提示，从而实现视觉特征与文本描述之间的深度对齐。此外，MaPLeMeta通过非对称对比学习目标对视觉和文本提示进行优化，提升了跨模态特征的语义一致性和检索准确性。在表示学习之后，仅使用标准HNSW索引作为工程组件来加速近似最近邻搜索；该索引不参与提示优化或视觉–语言对齐。在DeepFashion上的实验表明，与所评估的基线相比，MaPLeMeta实现了稳定提升：与最强基线相比，MaPLeMeta将Recall@1提高了1.3个百分点（81.5%对80.2%），NDCG@10提高了0.01（0.89对0.88）。这些结果表明该方法在跨领域、跨类别和小样本检索中均具有竞争力，而HNSW后端则单独提升了查询效率。