模式:用于提示调优的多模态判别性先验

《Neurocomputing》:MoDe: Multi-modal discriminative priors for prompt tuning

【字体: 大 中 小 】 时间:2026年04月12日 来源:Neurocomputing 6.5

编辑推荐:

  多模态判别性先验框架MoDe通过多模态知识注入、视觉感知增强和知识引导优化模块,有效提升视觉语言模型在有限数据下的判别能力和泛化性能,实验验证优于现有方法。

  
Xinyang Huang|Chuang Zhu|Maoyuan Shao|Zekuan Yu
北京邮电大学人工智能学院,中国北京

摘要

近年来,视觉语言模型(VLMs)在各个领域展现了巨大的潜力。提示调优(Prompt Tuning)被提出作为一种高效的VLMs迁移学习方法,用于下游任务。然而,现有方法主要集中在视觉语言分支的设计或模型知识的一致性上,忽略了在数据有限的情况下过度约束模型所导致的判别能力下降问题。为了解决这一不足,本文提出了多模态判别先验(Multi-modal Discriminative Priors, MoDe)用于提示调优,该框架旨在通过多模态先验来增强VLMs的判别能力。MoDe首先引入了多模态知识注入(Multi-modal Knowledge Injection, MKI)模块,该模块自然地使用预训练的多模态特征作为可学习提示的先验,以注入判别知识,从而促进后续的泛化能力。此外,为了解决现有视觉先验局部细节不足的问题,视觉感知增强(Visual Perception Enhancement, VPE)模块通过融合全局和互补的视觉特征,将更丰富的语义信息注入到多模态先验中。最后,知识引导优化(Knowledge-guided Optimization, KGO)策略使增强后的多模态特征与原始的预训练特征保持一致,以确保一致性并避免过拟合。该框架的各个部分可以相互补充,从而在不损失判别能力的情况下避免过拟合。广泛的实验表明,MoDe表现优异,显著提高了VLMs的泛化和判别能力。我们方法的代码将在https://github.com/bupt-ai-cz/MODE处提供。

引言

视觉语言模型(VLMs)[1], [2], [3], [4], [5]已被广泛研究,用于实现多模态信息的融合与理解,并在各种下游任务中展现出出色的泛化能力。尽管它们具有强大的判别和泛化能力,但在面对有限的下游数据时,直接微调VLMs容易忘记有用的预训练知识,并可能过拟合下游数据。提示调优[6]被提出作为一种有效的微调方法,并被广泛应用于VLMs的迁移学习任务[7], [8], [9], [10]。
传统的提示调优方法[6], [11], [12], [13], [14], [15], [16]引入了可学习的提示向量来适应下游任务,如图1(a)所示。为了进一步丰富对视觉特征的理解,现有方法[17], [18], [19], [20]考虑在视觉分支中引入可学习的提示,以帮助正确对齐视觉和语言模态,如图1(b)所示。
尽管现有的多模态提示调优可以在一定程度上提高模型的泛化能力,但它们忽略了学习多模态判别知识的重要性。之前的方法[17], [18], [19], [20]尝试通过可学习的多模态提示联合训练图像和文本,但这忽略了高效预训练特征的作用。(1) 判别能力:: 直接对模型进行提示学习或知识约束会限制判别知识的学习[21], [22], [23],这是现有方法在下游任务中泛化能力有限的根本原因。现有方法[11], [12], [17]考虑使用一致性损失来约束微调模型和预训练模型之间的一致性。然而,在泛化过程中缺乏下游数据以及这种过度约束会影响类别信息的判别能力。提高判别能力可以丰富模型特征表达,从而提高泛化能力[24], [25], [26]。(2) 多模态:: 与单模态信息相比,多模态判别信息可以更全面地总结CLIP所学的知识[27], [28],因为CLIP在预训练期间基于多模态特征之间的相关性进行决策[1]。因此,为了解决现有方法的局限性,本文专注于设计一个框架,以增强VLMs在下游任务中的多模态判别能力。
由于大规模数据的预训练,CLIP多模态编码器的特征输出具有相当的泛化和判别能力[1], [30], [31]。因此,从多模态判别性的角度来看,它可以成为自然的、有价值的多模态知识先验来源,从而为模型提供更强的多模态先验知识,以解决判别能力有限的问题。受此启发,我们提出了多模态判别先验(MoDe),用于提示调优,以实现VLMs的判别增强,如图1(c)所示。该框架利用原始的多模态分支进行先验知识引导,以优化微调模型的下游性能。在此基础上,MoDe还利用预训练的局部视觉先验中包含的详细知识,帮助模型获得更全面的多模态判别信息,这也是现有方法所忽略的。
具体来说,提出了多模态知识注入(MKI)模块,将原始的多模态先验与可学习的提示融合,以注入判别知识。对于视觉分支,视觉感知增强(VPE)模块从全局和局部角度提取原始视觉先验的知识,以进一步理解类别之间的差异。最后,知识引导优化(KGO)策略帮助模型学习增强后的多模态特征与原始多模态特征之间的一致性,避免过拟合的同时提供判别指导。由于预训练的多模态先验补充了判别知识,因此不必担心KGO策略会导致过度约束并降低判别能力。初步实验表明,我们的方法比现有方法表现出更好的特征分离能力和判别能力,如图1(d)所示。
总结来说,我们的多模态判别先验框架具有以下主要贡献:
  • •
    我们提出了多模态判别先验,以解决现有提示调优方法中判别知识不足的问题。
  • •
    我们进一步提出了视觉感知增强模块和知识引导优化策略,可以为模型提供足够的判别指导,并降低过拟合的风险。
  • •
    MoDe已被证明可以有效增强VLMs在下游任务中的判别能力,并获得更好的实验性能。
  • 本文的结构如下:第2节概述了与我们工作相关的先前研究。第3节介绍并描述了所提出的提示调优算法。第4节我们进行了比较实验来评估所提方法的性能。最后,第5节提出了我们的方法结论。

    章节片段

    视觉语言模型

    视觉语言模型(VLMs)作为一种强大的范式,整合了视觉和文本模态,利用大规模的图像-文本对学习丰富和泛化的表示[1], [2], [4], [32]。这些模型在零样本和少量样本学习场景中展示了显著的能力,实现了在多种下游任务中的稳健迁移能力。代表性的VLMs包括CLIP [1], MLM [33], [34], DePT [35], MAE [36], [37]和LFA [38]。这些模型

    方法论

    我们探索了判别性提示调优在下游任务中的潜力,以高效微调CLIP。图2展示了我们的整体学习框架。我们首先在第3.1节回顾了CLIP和基于CLIP的提示调优,然后在后续章节介绍了我们的多模态判别调优框架。

    从基础到新任务的泛化

    我们遵循零样本设置,其中数据集被分为基础类和新类。模型仅在少量样本设置中在基础类上进行训练,并在基础类和新类上进行了评估。

    少量样本分类

    为了验证模型的泛化能力,我们遵循少量样本设置,使用少量标记图像对所有数据集进行分类,并在具有相同类别分布的测试集上进行评估。

    跨数据集泛化

    为了验证我们模型的跨数据集泛化能力,我们进行了评估

    结论

    总之,我们提出了MoDe,这是一个新颖的框架,旨在使用多模态先验来增强视觉语言模型(VLMs)的判别能力。我们的方法整合了多模态知识注入(MKI)模块,该模块引入预训练的多模态特征来丰富可学习的提示;视觉感知增强(VPE)模块,通过融合全局和互补特征来增强局部视觉细节;以及知识引导优化(KGO)

    CRediT作者贡献声明

    Xinyang Huang:撰写 – 审稿与编辑,撰写 – 原始草稿,软件开发,项目管理,方法论,形式分析,数据管理。Chuang Zhu:撰写 – 审稿与编辑,监督,资金获取。Maoyuan Shao:撰写 – 审稿与编辑,可视化,验证。Zekuan Yu:验证,监督。

    利益冲突声明

    作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。

    致谢

    本工作得到了中国国家重点研发计划(2021ZD0109802)、国家自然科学基金(81972248)、北京邮电大学高性能计算平台以及北京邮电大学创新计划(2024-YC-T031)的支持。
    Xinyang Huang于2023年获得西安电子科技大学学士学位。他目前正在北京邮电大学攻读人工智能硕士学位。他还是北京邮电大学数据科学中心的成员。他的研究兴趣包括计算机视觉、多模态学习和迁移学习。
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号