即插即用的、具备类别感知能力的知识注入技术，用于结合视觉语言模型实现prompt学习

《INTERNATIONAL JOURNAL OF COMPUTER VISION》：Plug-and-play Class-aware Knowledge Injection for Prompt Learning with Visual-Language Model

　　

摘要

提示学习已成为一种有效且广泛使用的技术，用于提升视觉语言模型（VLMs）（如CLIP）在各种下游任务中的性能，尤其是在特定领域的零样本分类任务中。现有方法通常专注于为给定领域学习类共享提示，或通过条件提示学习生成实例特定提示。尽管这些方法取得了有希望的性能，但它们往往在提示设计中忽略了类特定知识，从而导致效果不佳。原因如下：1）与粗略的类共享提示相比，类特定提示提供了更细粒度的监督，有助于防止不同类别的数据被错误地分类到同一类别中；2）与类特定提示相比，实例特定提示忽略了多个实例之间的更丰富的类别级信息，可能会导致同一类别的数据被划分成多个类别。为了有效地将类特定知识补充到现有方法中，我们提出了一个即插即用的类感知知识注入（CAKI）框架。CAKI包括两个关键组件，即类特定提示生成和查询-键提示匹配。前者将类特定知识编码到属于同一类别的少样本提示中，并将学习到的提示存储在类别级知识库中。后者为每个测试实例提供了一种即插即用的机制，以便从知识库中检索相关的类别级知识，并将这些知识注入模型预测中以进行优化。大量实验表明，我们的CAKI有效地提高了现有方法在基础类别和新类别上的性能。代码可在https://github.com/yjh576/CAKI处公开获取。