交互式图像检索结合大型语言模型和视觉语言模型实现查询重写

《ACM Transactions on Multimedia Computing, Communications, and Applications》：Interactive Image Retrieval Meets Query Rewriting with Large Language and Vision Language Models

本文提出一种基于多轮交互的图像检索系统，结合视觉语言模型（VLM）生成初始查询扩展，并利用大型语言模型（LLM）进行去噪优化。通过改编MSR-VTT和MSVD数据集构建新评估集，实验显示该系统在六轮交互后召回率提升10%，达到最优性能。

　　图像检索在多媒体和计算机视觉领域中扮演着至关重要的角色，其应用场景广泛，从互联网搜索到医学诊断，无处不在。传统的图像检索系统主要依赖于单次查询流程，即通过文本或视觉查询从数据库中检索出最相关的候选结果。然而，这类方法存在诸多局限性，例如可能因词汇不匹配或语义鸿沟导致检索结果不够准确或召回率较低。此外，随着应用场景的复杂化，用户期望的检索体验也在不断变化，传统方法难以满足这些需求。为了解决这些问题，我们提出了一种交互式图像检索系统，该系统能够在多轮交互中根据用户的反馈不断优化查询，从而提升检索的准确性和全面性。

### 1. 交互式图像检索的重要性

图像检索系统的核心目标是通过某种方式，将用户的查询与图像集合中的相关内容进行匹配。传统的检索系统往往只进行一次查询，然后直接返回结果。然而，这种单次检索方法在实际应用中可能无法全面覆盖用户所需的所有相关信息，尤其是在面对复杂、多义的查询时。用户在首次检索后，可能会发现结果中仍然存在不相关或不够精确的内容，因此需要进一步的反馈和调整。在这种情况下，多轮交互式检索系统的优势就显现出来了。通过多轮交互，系统可以不断优化查询，从而更精确地匹配用户的实际需求。

### 2. 传统方法的局限性

传统的图像检索方法，如伪相关反馈（Pseudo-Relevance Feedback, PRF）和向量空间模型（Vector Space Model, VSM），虽然在一定程度上提升了检索性能，但它们也存在明显的缺陷。PRF通过利用初始检索结果中的一些“伪相关”图像来扩展查询，但这种方法容易引入噪声，尤其是在图像描述不够准确或存在重复信息的情况下，可能导致查询质量下降。此外，向量空间模型在调整查询向量时，可能会改变其原有的语义表达，影响后续的检索效果。这些方法在面对复杂语义任务时表现不佳，特别是在需要更精确的语义理解或更广泛的检索覆盖时。

### 3. 交互式图像检索的创新点

为了克服传统方法的不足，我们提出了一种基于多轮交互的图像检索系统。该系统通过引入视觉语言模型（Vision-Language Model, VLM）来提升文本查询的质量。VLM能够生成更准确、更丰富的图像描述，从而为后续的查询扩展提供更有价值的信息。在每一轮检索中，系统都会根据用户的反馈对查询进行优化，逐步提高检索的准确性。此外，我们还引入了一种基于大语言模型（Large Language Model, LLM）的去噪机制，用于优化扩展后的文本查询，消除冗余信息，提升查询的精确度。

### 4. 新数据集的构建

为了更全面地评估我们提出的交互式图像检索系统，我们构建了一个新的数据集。该数据集基于现有的MSR-VTT和MSVD视频检索数据集，通过将视频描述转化为图像检索任务，为每个查询提供了多个相关的地面真实图像。这与传统的MSCOCO和Flickr30k等图像检索数据集不同，后者通常为每个查询提供单一的相关图像，无法充分反映实际应用中用户可能拥有的多个相关图像的需求。通过构建这样的数据集，我们能够更真实地模拟用户检索场景，从而更准确地评估系统的性能。

### 5. 系统的工作流程

我们的交互式图像检索系统分为三个主要步骤：图像检索、相关反馈和查询扩展。在图像检索阶段，系统使用预训练的VLM来计算查询与图像之间的相似度，从而返回最相关的图像列表。在相关反馈阶段，系统通过模拟用户行为（如人工演员）来评估检索结果的准确性，并根据反馈信息对查询进行优化。在查询扩展阶段，系统利用VLM生成的图像描述来扩展原始查询，使其更加丰富和具体。通过这种多轮交互机制，系统能够在每一轮中不断优化查询，从而提升整体的检索效果。

### 6. 查询扩展与去噪机制

在查询扩展过程中，系统会根据相关反馈的信息生成更详细的图像描述，并将其与原始查询进行整合。然而，如果这些扩展后的查询包含大量冗余或重复的信息，可能会影响检索的准确性。因此，我们引入了基于LLM的去噪机制，对扩展后的查询进行优化。LLM能够识别并去除不必要的词汇，同时保留关键信息，从而确保查询的简洁性和准确性。通过这种方式，我们不仅提升了查询的质量，还提高了系统的整体性能。

### 7. 实验结果与分析

我们通过广泛的实验验证了所提出系统的有效性。实验结果显示，与传统的单次检索方法相比，我们的交互式系统在召回率方面提升了10%。此外，通过对比不同模型和方法的性能，我们发现基于CoT（Chain-of-Thought）的查询总结方法在多轮检索中表现尤为突出。CoT方法通过分步骤推理，使得LLM能够更准确地理解查询的语义，并生成更高质量的查询扩展。同时，我们还发现，使用不同的LLM和VLM对系统性能产生了一定影响，但总体而言，LLM的去噪能力显著提升了系统的检索效果。

### 8. 用户研究与实际应用

为了进一步验证系统的实用性，我们进行了用户研究，通过模拟用户行为来评估系统在真实场景中的表现。研究结果显示，系统在大多数情况下能够准确识别相关图像，并且用户对系统的反馈与人工演员的评估具有较高的一致性。这表明，我们的系统在实际应用中具有良好的用户体验和较高的准确性。此外，我们还发现，一些特定的查询结构和关键词能够显著提升检索效果，这为未来的系统优化提供了方向。

### 9. 未来研究方向

尽管我们的系统在多个方面取得了显著进展，但仍有许多可以进一步优化的方向。例如，可以探索如何更好地融合用户偏好和领域知识，以进一步提升系统的检索精度。此外，还可以研究如何在多轮交互中更有效地调整查询，使其更符合用户的实际需求。随着技术的不断发展，交互式图像检索系统将在更多领域中得到应用，如医疗诊断、电子商务和内容推荐等。我们提出的基于VLM和LLM的交互式检索方法，为这些应用提供了新的思路和工具。

### 10. 结论

综上所述，我们的研究提出了一种基于多轮交互的图像检索系统，通过不断优化查询，提升了检索的准确性和全面性。该系统结合了VLM和LLM的优势，能够在复杂场景下更好地理解用户需求，并生成更高质量的查询。通过构建新的数据集和进行广泛的实验，我们验证了系统的有效性，并展示了其在实际应用中的潜力。未来，我们希望进一步探索该系统的优化路径，以实现更高效、更智能的图像检索体验。