关于合成图像检索的综合性研究

《ACM Transactions on Information Systems》：A Comprehensive Survey on Composed Image Retrieval

本文针对多模态图像检索（CIR）领域，综合分析150余篇顶会论文，系统梳理监督式与零样本CIR模型的细粒度分类方法，探讨相关任务如属性检索和对话检索，对比多数据集实验结果，并展望未来研究方向。

　　

摘要

合成图像检索（Composed Image Retrieval，CIR）是一项新兴且具有挑战性的任务，它允许用户使用多模态查询来搜索目标图像。这种查询包括一张参考图像和一段修改文本，其中修改文本指定了用户对参考图像所做的期望更改。鉴于其重要的学术和实际价值，CIR已成为计算机视觉和机器学习领域中一个迅速发展的研究方向，尤其是在深度学习技术进步的推动下。据我们所知，目前尚不存在关于CIR的综合性综述，无法及时呈现该领域的最新进展。因此，我们综合了来自150多篇顶级会议和期刊（包括ACM TOIS、SIGIR和CVPR）的文献中的见解。具体而言，我们采用细粒度分类法对现有的监督式CIR模型和零样本CIR模型进行了系统分类。为了进行全面回顾，我们还简要讨论了与CIR密切相关的研究方法，如基于属性的CIR和基于对话的CIR。此外，我们总结了用于评估的基准数据集，并通过比较多个数据集上的实验结果来分析现有的监督式和零样本CIR方法。最后，我们提出了该领域未来的研究方向，为有兴趣进一步探索的研究人员提供了实用的参考建议。