MV-PT：面向视觉-语言模型的多视角领域一致性引导提示调优

《Neurocomputing》：MV-PT: Multi-view domain-consistent guided prompt tuning for vision-language models

　　

•我们提出了MV-PT，一个用于视觉-语言模型域适应的轻量级提示微调框架。•MV-PT在冻结CLIP编码器的情况下，纯粹通过类别共享的文本描述注入域知识。•多视图域表示和域注入适配器实现了高效且有效的融合。•一致性引导的目标在域偏移下稳定了优化过程。•MV-PT仅使用0.13 M可训练参数，便取得了最先进的少样本和基于-到-新颖性能。引言视觉-语言模型（VLMs），如CLIP，已成为强大的基础模型，并广泛应用于下游识别任务[1]、[2]、[3]、[4]，包括遥感、医学图像分析和细粒度识别。尽管具有如此广泛的适用性，VLMs在域偏移下往往出现显著的性能下降，这主要是由于自然图像预训练语料库与遥感或医学图像等专用域之间的分布和语义差距。以可扩展且高效的方式弥合这一差距仍然是一个基本挑战。为了高效地适应VLMs，参数高效微调（PEFT）方法已被广泛研究[5]、[6]。提示微调方法如CoOp[7]引入了附加到文本提示中的可学习上下文标记，而CoCoOp[8]将该思想扩展到实例感知提示生成。KgCoOp[9]通过将提示与手工制作的文本嵌入对齐来减轻过拟合，随后的工作包括MaPLe[10]、PromptSRC[11]和CoPrompt[12]进一步通过微调多模态提示并强制模态间一致性来增强跨模态对齐。基于适配器的方法如Tip-Adapter[13]、[14]也通过缓存特征进行快速适应来提供高效的替代方案。尽管这些方法在自然图像基准上取得了强大的泛化能力，但它们在专用域上的性能通常有所下降，因为在专用域中，域特定的视觉模式和采集条件与自然图像存在显著差异。最近的域提示学习方法[15]、[16]、[17]试图通过注入从大规模域特定基础模型中提取的域特定表示来缩小这一差距。这一系列工作与CoOp[7]、CoCoOp[8]和ProDA[18]等通用提示学习方法不同，后者主要优化基于类别名称的提示、实例条件提示或提示分布，但并未明确构建可重用的域级先验。尽管这些方法有效，但存在两个主要局限性。首先，由于依赖额外的域特定视觉骨干网络，它们会带来较高的计算和内存开销。其次，其可扩展性有限，因为适应每个新域都需要维护一个专用大模型，严重限制了跨域灵活性。为了克服这些局限性，我们提出了多视图域一致性引导提示微调（MV-PT），这是一个轻量级框架，通过文本纯粹注入域知识，同时保持CLIP编码器冻结，如图1所示。与CoOp、CoCoOp和ProDA不同，MV-PT不仅仅关注学习提示上下文或提示分布；相反，它首先构建类别共享的域先验。与DPL类方法不同，该先验来自LLM生成的文本，而非额外的域特定视觉模型。对于每个域，我们利用大型语言模型（LLMs）[19]、[20]生成一小批类别共享的描述性语句来总结域特征。这里，"类别共享"意味着同一组域描述用于目标域内的所有类别，而不是为每个类别生成单独的描述。这些描述也是类别无关的：它们描述的是域级视觉因素，如视角、尺度变化、空间布局、纹理和成像条件，而不是类别特定属性。至关重要的是，我们故意避免类别条件描述生成。与依赖类别特定描述的先前设计不同，我们的类别共享公式捕获跨类别共享的域级线索，而不以类别身份为条件，这对于基于-到-新颖泛化至关重要：此类与类别无关的域线索可以迁移到未见过的类别，而逐类生成可能会将域声明与类别依赖的语义或LLM偏见纠缠在一起，从而损害迁移能力。除了提高通用性之外，每个域生成一组固定的域语句一次，使得提示成本和存储与类别数量无关，消除了对领域专家或手工本体论的需求，并能够无缝进行域切换，而无需引入任何域特定视觉编码器。基于这些类别共享语句，MV-PT使用冻结的CLIP文本编码器构建三种互补的零样本域感知文本证据。我们推导出随机、整体和聚合的域特定特征，以捕获同一域先验的不同方面同时控制噪声：随机采样提供受控的多样性以减少对措辞变化的敏感性，整体编码建模所有域描述的联合语义以获得更丰富的上下文，聚合通过平均抑制语句级方差以产生稳定的类别不变基线。关键剩余挑战是如何利用这些信号，使得域知识注入到分类器中，而不让强先验或噪声视图主导决策边界。为此，我们引入了轻量级域注入适配器（DIA），通过结构化两阶段融合将上述原则付诸实践。首先，DIA将随机、整体和聚合的域特定特征融合为多视图域特定文本特征，作为从多个视图蒸馏出的域先验的丰富总结。其次，DIA通过将来自基础锚点提示的域共享文本特征与聚合的域特定特征进行融合，将域知识注入分类器，产生用于余弦相似度分类的最终域特定文本特征。这一选择直接反映了稳定性-通用性的权衡：聚合特征提供低方差的域线索，而域共享特征将分类器锚定在CLIP的预训练语义空间中，减轻域偏移下的漂移和过拟合。最后，MV-PT将此融合结构与一致性引导优化相结合，以在训练期间保留域信息。域特定一致性知识引导（DCKG）强制多视图域特定文本特征与最终域特定文本特征之间达成一致，确保从多个视图蒸馏出的多样域线索在分类器表示中被保留，而不直接将融合先验转化为决策原型。并行地，图像一致性知识引导（ICKG）将可学习图像嵌入与冻结的CLIP图像特征对齐，提供稳定的视觉参考，进一步稳定域偏移下的优化过程。综上所述，类别共享域先验、结构化两阶段融合和一致性引导学习使MV-PT能够以最小开销实现可扩展的域适应。我们的主要贡献总结如下：•我们提出了多视图域一致性引导提示微调（MV-PT），一个轻量级且可扩展的提示微调框架，它利用大型语言模型生成的类别共享描述性语句将域知识注入到冻结的CLIP模型中，而不引入任何域特定视觉骨干网络。•我们设计了一个具有两阶段融合结构的轻量级域注入适配器（DIA）：它首先将随机、整体和聚合的零样本域特定特征融合为多视图域特定文本特征，然后将域共享文本特征（源自基础锚点提示）与聚合的域特定特征融合以产生用于余弦相似度分类的最终域特定文本特征。•我们引入了两个互补的引导目标：域特定一致性知识引导（DCKG）强制多视图域特定文本特征与最终域特定文本特征之间的一致性，防止过度漂移向域共享锚点并避免强先验主导决策边界；图像一致性知识引导（ICKG）通过将可学习图像嵌入与冻结的CLIP图像特征对齐来正则化图像分支，以稳定域偏移下的优化过程。•大量实验表明，MV-PT在遥感基准上在基于-到-新颖泛化和少样本设置下均取得了比较级的性能，并在医学数据集上取得了强大的竞争结果，同时开销大幅降低（0.13 M可训练参数，而先前方法需要额外的92 M参数冻结域模型）。本文其余部分组织如下。第2节回顾了视觉-语言模型、提示微调和域感知适应的相关研究。第3节介绍了提出的MV-PT框架，包括类别共享域描述的构建、随机、整体和聚合视图、域注入适配器以及一致性引导目标。第4节介绍了实验设置、对比结果、消融研究和敏感性分析。最后，第5节总结了本文并讨论了其局限性和未来研究方向。节摘要视觉-语言模型视觉-语言模型（VLMs）[21]、[22]代表了多模态学习的一个重要里程碑，其中视觉和文本模态通过大规模预训练联合建模。其中，对比语言-图像预训练（CLIP）[21]已成为基础模型。CLIP由图像编码器和文本编码器组成，使用对比目标训练，在共享嵌入空间中将匹配的图像-文本对拉近并将不匹配的对推开。在Web规模上训练…方法在本节中，我们介绍了多视图域一致性引导提示微调（MV-PT），这是一个轻量级框架，通过文本纯粹注入域知识，同时保持CLIP编码器冻结。对于每个域，MV-PT利用大型语言模型生成一小批类别共享的描述性语句，并故意避免类别条件描述生成。使用冻结的CLIP文本编码器，MV-PT推导出三种互补的零样本域特定特征，即…数据集为了全面评估我们提出的MV-PT框架的泛化能力，我们在两个具有挑战性的领域进行了实验：遥感和医学成像。这些领域在纹理、尺度和语义结构方面与自然图像存在显著差异，从而为评估跨域适应性提供了严格的测试平台。遥感数据集。我们在八个广泛使用的基准上进行了评估：MLRSNet [43]、PatternNet [44]、RSSCN7 [45]、AID [46]、RSICD [47]、UCM [48]结论我们提出了多视图域一致性引导提示微调（MV-PT），这是一个轻量级框架，通过文本纯粹注入域知识，同时保持CLIP编码器冻结，避免了依赖骨干网络的域适应的高开销和有限的可扩展性。MV-PT使用LLM生成的类别共享描述性语句（无需类别条件生成）来构建随机、整体和聚合的零样本域特定特征，并采用两阶段域注入…CRediT作者贡献声明Qingqing Yang：验证、监督、资源、项目管理、概念化。Yansheng Gao：写作-初稿、可视化、验证、监督、形式分析。利益冲突声明作者声明不存在已知的竞争性经济利益或个人关系，这些关系可能影响到本文报道的工作。Yansheng Gao目前正在中国长春吉林大学计算机科学与技术学院攻读博士学位。他目前的研究兴趣包括视觉-语言模型、提示微调、遥感图像理解和域适应。Qingqing Yang|Yansheng Gao