SOT-GLP：基于稀疏最优传输的局部-全局提示学习方法

《Digital Signal Processing》：SOT-GLP: Sparse Optimal Transport Guided Local-Global Prompt Learning

　　

Deniz Kizaro?lu|ülkü Tuncer Kü?ükta?|Emre ?akmakyurdu|Alptekin Temizel

土耳其安卡拉中东技术大学信息学研究生院

摘要

像CLIP这样的视觉-语言模型（VLMs）的少样本适应通常依赖于学习与全局图像嵌入相匹配的文本提示。最近的研究通过结合局部图像-文本对齐来捕获细粒度的视觉线索，扩展了这一范式，但这些方法通常为每个提示独立选择局部区域，导致局部特征的冗余使用和提示重叠。我们提出了SOT-GLP，它引入了共享的稀疏补丁支持和平衡的最优传输分配，以在特定类别的局部提示之间明确划分显著的视觉区域，同时保持全局对齐。我们的方法学习了共享的全局提示和特定类别的局部提示。全局分支保持标准的图像-文本匹配，以实现强大的类别级对齐。局部分支使用V-V注意力构建一个条件化的稀疏补丁集，并通过平衡的熵最优传输将其与多个特定类别的提示对齐，从而产生一个防止提示重叠和崩溃的软分区。我们在两个互补的目标上评估了我们的方法：（i）在11个标准基准测试上的少样本分类准确性；（ii）分布外（OOD）检测。在标准的11数据集基准测试中，SOT-GLP达到了85.1%的平均准确性，优于之前的提示学习方法。我们发现提示学习中存在一个明显的准确性-鲁棒性权衡：虽然可学习的投影优化了分布内的拟合，但它们改变了基础特征空间。我们证明了无投影的局部对齐保留了CLIP流形的原始几何结构，从而实现了最先进的OOD检测性能（94.2%的AUC），超过了完全适应的模型。实现代码可在以下链接获取：https://github.com/Deniz2304988/SOT-GLP

引言

像CLIP、ALIGN和BLIP这样的大规模视觉-语言模型[1]、[2]、[3]已经证明，将图像与自然语言监督相结合是固定类别监督的强大替代方案，在识别和检索基准测试中实现了强大的零样本和少样本性能。通过学习共享的嵌入空间，可以通过将类别名称编码为文本提示来识别新类别（零样本），然后通过选择与图像嵌入最相似的文本嵌入来对图像进行分类。然而，在实践中，这种能力受到两个主要因素的限制：文本提示的质量和图像编码器捕捉细粒度视觉结构的能力。

提示学习方法，如CoOp[4]，通过用在小规模标记集上适应的可学习文本提示替换手写模板来解决提示质量问题。虽然这大大减少了领域差距，但大多数现有方法依赖于将单个全局图像嵌入（通常是[CLS]令牌）与全局文本嵌入进行匹配。这种全图像目标平均了所有空间区域，丢弃了对于区分相似类别和检测分布外（OOD）样本至关重要的细粒度局部特征，如对象部分、纹理模式和空间配置。此外，使用局部特征的方法进行独立的每个提示的补丁选择，这允许多个提示关注重叠区域，并限制了有效的专业化。我们提出了SOT-GLP（稀疏最优传输引导的局部-全局提示学习），该框架在保持CLIP的全局对齐的同时，明确地对细粒度空间结构进行建模。如图1所示，我们的方法采用了具有四个互补组件的双分支架构。全局提示分支保持标准的CLIP风格的图像-文本匹配，保持强大的类别级泛化。局部提示分支通过值-值（V-V）注意力提取补丁令牌，使模型能够捕获纹理和细粒度部分。为了减轻背景干扰，我们引入了显著性引导的稀疏化，这是一种动态抑制非区分性杂乱的过滤机制，以构建干净的语义支持集。最后，稀疏最优传输（OT）通过平衡的集合到集合目标将这些过滤后的视觉补丁特征与多个特定类别的局部提示对齐。通过强制统一的传输边际，OT公式限制每个提示接收相当的分配质量，防止多个提示关注相同的主导补丁。

我们的贡献包括发现了提示学习中一个独特的准确性-鲁棒性权衡。我们证明，虽然可学习的局部投影可以最大化少样本准确性，但移除这种投影可以保留预训练的CLIP特征流形，从而实现最先进的分布外检测性能（23.8 FPR95 / 94.2 AUC），显著优于最近的方法。

本文的其余部分组织如下。第2节回顾了与提示学习、局部感知特征提取和补丁-提示对齐相关的工作。第3节详细介绍了我们的方法，包括全局和局部提示参数化、基于V-V注意力的特征提取以及稀疏最优传输对齐。第4节展示了少样本分类和分布外检测的实验结果。第5节提供了关于局部分支设计选择的消融研究。第6节总结了局限性和未来方向。

章节片段

相关工作

我们的工作基于三个研究方向：VLMs的全局提示学习、局部感知特征提取以及基于传输的补丁-提示对齐。

方法

我们引入了双提示分支：全局提示通过全图像特征保持类别级对齐，而局部提示通过将通过V-V注意力提取的显著补丁与特定类别的嵌入进行对齐来捕获细粒度细节。

实验结果

我们在两个互补的目标上进行评估：（1）在11个标准基准测试上的少样本分类，报告每个类别的Top-1准确性，分别为{1, 2, 4, 8, 16}次样本；（2）在以ImageNet为中心的测试套件上的分布外（OOD）检测，模型需要区分分布内的ImageNet样本和OOD示例。对于OOD检测，我们报告了FPR95（在95%真正例率下的假正例率）和AUROC（ROC曲线下的面积），遵循GL-MCM协议[21]。

关于局部设计选择的消融

为了隔离每个局部分支组件的贡献，我们在保持全局分支和训练协议不变的情况下进行了三项有针对性的消融。表3报告了在11个基准测试上的16次样本准确性：（1）SOT-GLP（完整）；（2）不使用V-V注意力，使用标准的CLIP补丁令牌代替V-V流；（3）不使用局部投影，在OT之前移除可学习的投影；以及（4）不使用特定类别的局部提示，用共享池替换每个类别的局部提示。

值-值注意力。

结论

SOT-GLP结合了用于类别级语义的全局提示分支和通过熵最优传输与显著补丁匹配的特定类别的局部提示；双分支设计进一步使用V-V注意力产生局部感知的补丁特征和Top-K选择来抑制背景。实证表明，SOT-GLP在标准少样本基准测试上始终优于之前的基于CLIP的提示学习基线，在局部线索（纹理、部分、空间

手稿准备过程中生成式AI和AI辅助技术的声明

在准备这项工作时，作者使用了Gemini来提高语言质量并进行校对。使用该工具/服务后，作者根据需要审查和编辑了内容，并对已发表文章的内容负全责。

CRediT作者贡献声明

Deniz Kizaro?lu：概念化、方法论、软件、写作——原始草稿、写作——审阅与编辑。ülkü Tuncer Kü?ükta?：概念化、方法论、软件、写作——审阅与编辑。Emre ?akmakyurdu：方法论、可视化、写作——审阅与编辑。Alptekin Temizel：监督、方法论、写作——审阅与编辑。

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。