视觉语言模型(VLMs)[1], [2], [3], [4], [5]已被广泛研究,用于实现多模态信息的融合与理解,并在各种下游任务中展现出出色的泛化能力。尽管它们具有强大的判别和泛化能力,但在面对有限的下游数据时,直接微调VLMs容易忘记有用的预训练知识,并可能过拟合下游数据。提示调优[6]被提出作为一种有效的微调方法,并被广泛应用于VLMs的迁移学习任务[7], [8], [9], [10]。
传统的提示调优方法[6], [11], [12], [13], [14], [15], [16]引入了可学习的提示向量来适应下游任务,如图1(a)所示。为了进一步丰富对视觉特征的理解,现有方法[17], [18], [19], [20]考虑在视觉分支中引入可学习的提示,以帮助正确对齐视觉和语言模态,如图1(b)所示。
尽管现有的多模态提示调优可以在一定程度上提高模型的泛化能力,但它们忽略了学习多模态判别知识的重要性。之前的方法[17], [18], [19], [20]尝试通过可学习的多模态提示联合训练图像和文本,但这忽略了高效预训练特征的作用。(1) 判别能力:: 直接对模型进行提示学习或知识约束会限制判别知识的学习[21], [22], [23],这是现有方法在下游任务中泛化能力有限的根本原因。现有方法[11], [12], [17]考虑使用一致性损失来约束微调模型和预训练模型之间的一致性。然而,在泛化过程中缺乏下游数据以及这种过度约束会影响类别信息的判别能力。提高判别能力可以丰富模型特征表达,从而提高泛化能力[24], [25], [26]。(2) 多模态:: 与单模态信息相比,多模态判别信息可以更全面地总结CLIP所学的知识[27], [28],因为CLIP在预训练期间基于多模态特征之间的相关性进行决策[1]。因此,为了解决现有方法的局限性,本文专注于设计一个框架,以增强VLMs在下游任务中的多模态判别能力。
由于大规模数据的预训练,CLIP多模态编码器的特征输出具有相当的泛化和判别能力[1], [30], [31]。因此,从多模态判别性的角度来看,它可以成为自然的、有价值的多模态知识先验来源,从而为模型提供更强的多模态先验知识,以解决判别能力有限的问题。受此启发,我们提出了多模态判别先验(MoDe),用于提示调优,以实现VLMs的判别增强,如图1(c)所示。该框架利用原始的多模态分支进行先验知识引导,以优化微调模型的下游性能。在此基础上,MoDe还利用预训练的局部视觉先验中包含的详细知识,帮助模型获得更全面的多模态判别信息,这也是现有方法所忽略的。
具体来说,提出了多模态知识注入(MKI)模块,将原始的多模态先验与可学习的提示融合,以注入判别知识。对于视觉分支,视觉感知增强(VPE)模块从全局和局部角度提取原始视觉先验的知识,以进一步理解类别之间的差异。最后,知识引导优化(KGO)策略帮助模型学习增强后的多模态特征与原始多模态特征之间的一致性,避免过拟合的同时提供判别指导。由于预训练的多模态先验补充了判别知识,因此不必担心KGO策略会导致过度约束并降低判别能力。初步实验表明,我们的方法比现有方法表现出更好的特征分离能力和判别能力,如图1(d)所示。
总结来说,我们的多模态判别先验框架具有以下主要贡献:
•我们提出了多模态判别先验,以解决现有提示调优方法中判别知识不足的问题。
•我们进一步提出了视觉感知增强模块和知识引导优化策略,可以为模型提供足够的判别指导,并降低过拟合的风险。
•MoDe已被证明可以有效增强VLMs在下游任务中的判别能力,并获得更好的实验性能。
本文的结构如下:第2节概述了与我们工作相关的先前研究。第3节介绍并描述了所提出的提示调优算法。第4节我们进行了比较实验来评估所提方法的性能。最后,第5节提出了我们的方法结论。