通用跨领域检索的可泛化属性引导式提示方法

《ACM Transactions on Multimedia Computing, Communications, and Applications》：Generalizable Attribute-Guided Prompting for Universal Cross-Domain Retrieval

　　

摘要AI总结

要查看此由AI生成的总结，您需要拥有高级访问权限。

了解更多登录

摘要

摘要

通用跨领域检索（UCDR）旨在在未见过的领域和类别中检索语义上相关的图像，从而反映真实的开放世界场景。虽然近期的一些方法采用了如CLIP这样的视觉语言模型，但它们通常仅将图像与粗粒度的类别名称对应起来，而忽略了细粒度的语义属性，这导致其在面对领域和语义变化时泛化能力有限。在本文中，我们提出了可泛化属性引导提示（GAP），这是一种全新的端到端框架，它利用细粒度且可迁移的视觉属性来弥合已知领域与未知领域及类别之间的差距。首先，我们设计了一个属性库构建流程，该流程利用大型语言模型自动为每个类别生成描述性的视觉属性，这些类别名称来自多个数据集，从而实现丰富多样的语义表达。接着，我们引入了一种属性引导学习流程，通过属性感知的视觉提示、属性引导增强器（AGE）、属性级对齐损失以及轻量级属性感知适配（LAA）等手段，将属性级语义注入到视觉文本对齐过程中，这些方法共同作用以提高在不同领域和类别中的泛化能力。在多个基准测试上的大量实验表明，与现有方法相比，GAP在各种UCDR场景下都能取得相当甚至更优的性能。我们的代码可在此处获取。

AI总结

AI生成的总结（实验性内容）

此总结是使用自动化工具生成的，并非由文章作者撰写或审核。它旨在帮助读者发现相关内容、评估文章的相关性，以及便于来自相关研究领域的读者理解本文内容。它是对作者提供的摘要的补充，后者仍是文章的主要总结部分。完整文章才是最具权威性的版本。点击此处了解更多。

点击此处，可以对该总结的准确性、清晰度及实用性发表意见。您的反馈将有助于我们对总结进行改进并生成后续版本。

要查看此由AI生成的通俗语言总结，您需要拥有高级访问权限。