解耦与对齐:计算高效提示学习的新范式

《Knowledge-Based Systems》:Decoupling and aligning: A new paradigm for Computationally Efficient Prompt Learning

【字体: 大 中 小 】 时间:2026年08月30日 来源:Knowledge-Based Systems 8.0

编辑推荐:

   •我们提出了一种新颖的计算高效提示学习(CEPL)范式。 •引入 TPD 模块,将动态文本编码器输入精确减少至一个。 •SAA 模块通过双重分类损失将视觉特征与文本对齐。 •CEPL 减少了 95% 的 GFLOPs,并在 11 个基准测试中取得了最先进(SOTA)的结果。

  

•我们提出了一种新颖的计算高效提示学习(CEPL)范式。
•引入 TPD 模块,将动态文本编码器输入精确减少至一个。
•SAA 模块通过双重分类损失将视觉特征与文本对齐。
•CEPL 减少了 95% 的 GFLOPs,并在 11 个基准测试中取得了最先进(SOTA)的结果。
•CEPL 作为一个多功能插件,可增强现有的提示学习方法。

引言
基础的大规模预训练视觉语言模型(VLMs),如 CLIP [1] 和 ALIGN [2],已成为解决各种复杂视觉任务的强大范式。得益于海量多样的图文数据,VLMs 可以从自然语言描述中学习开放词汇视觉概念,从而在各种下游任务中显示出良好的泛化能力,包括物体识别 [3]、图像描述 [4] 和语义分割 [5]。然而,从头训练这些复杂的模型需要大量的标注数据,这使得它们在真实场景中的直接应用颇具挑战性。为此,最近的研究集中在参数高效微调(PEFT)上,即冻结整个骨干网络架构,仅更新少量额外的可训练参数 [6], [7], [8], [9], [10], [11], [12], [13], [14]。

受 NLP 领域提示工程显著成功的启发 [15], [16], [17], [18], [19], [20],提示学习已成为将 VLMs 部署到特定下游任务中最流行的范式。CoOp [7] 首次证明,使用少量样本训练可学习文本提示能够在下游任务中取得巨大性能,远高于人工制作的提示和传统线性探测模型。在此基础上,CoCoOp [8] 强调了静态软提示对类别偏移高度敏感的问题,并通过轻量级神经网络引入了输入条件文本提示。最近的 KgCoOp [21] 和 ProGrad [22] 减少了可学习特定知识与通用文本知识之间的差异,取得了最先进(SOTA)的性能。尽管最近的 PEFT 方法性能令人印象深刻,但关于计算效率的研究却很少。如图 1(a) 所示,当前最先进的 KgCoOp 的 GFLOPs 随着类别数量的增加而迅速增加。这种现象在大多数 PEFT 研究中也很普遍,如表 2 所示。主要原因是这些方法严重依赖下游任务的类别名称来生成文本提示作为编码器输入(例如,"a photo of a [CLASS]",其中 [CLASS] 令牌被预定义的类别名称如"dog"、"fish"、"bird"等替换)。由于文本编码器必须同时处理所有文本提示输入,文本编码器的计算成本与下游任务中的类别数量成正比。

为了解决这个问题,我们提出了一个文本提示解耦(TPD)模块,它在架构上将类别名称与文本编码器的动态前向传播解耦。而不是嵌入所有完整的类别名称进行对比学习,我们的 TPD 学习单个图像条件文本提示。如图 3 所示,我们的 TPD 使文本提示独立于完整的下游类别,从而将文本编码器的文本提示输入数量从 C 减少到一个。因此,我们的方法可以以极低的计算成本适应所有下游数据集。如图 1(a) 所示,我们方法在所有下游数据集上的计算成本约为 22G,这比 KgCoOp 在 ImageNet 数据集上的 1,968G 低了约 100 倍。具体来说,为了确保无类别文本提示保留丰富的文本语义知识,我们设计了词汇空间和特征空间的双重监督损失来生成可学习文本提示。至于词汇空间的监督,我们部署了图像条件文本提示与人工制作提示之间的交叉熵损失。至于特征空间的监督,我们采用欧氏距离来衡量调整后文本特征与原始文本特征之间的差异。这样,我们的 TPD 模块可以有效降低计算成本,同时保留丰富的文本语义知识。

另一方面,尽管图像条件提示学习被广泛认为是一种显著提高泛化能力的有效技术 [8], [11],但大多数方法不加区分地将整张图像视为条件,从而忽视了图像内部不同且独特的语义部分的重要性变化 [23]。如图 1(b)(II) 所示,Grad-CAM 可视化表明,原始 CLIP 模型的注意力区域分散在整个图像中,而没有关注关键区域。CoCoOp [8] 作为一种代表性的条件提示学习方法,通过一个可学习的两层线性网络将图像特征与可学习文本提示结合起来。然而,其在图 1(b)(III) 中的 Grad-CAM 可视化显示,该方法忽略了调整图像特征以与语义级别信息对齐。针对这一问题,我们进一步提出了一种新颖的语义对齐适配(SAA)模块,该模块根据图像 [CLS] 令牌与其他令牌之间的相似性,使用特征语义适配器(FSA)重新组织图像特征(如图 1(b)(IV) 所示,我们的方法更关注图像中的语义区域)。在 SAA 中,我们通过优化任务特定和任务无关的损失来训练特征语义适配器,以适应原始图像特征从而提高下游任务的性能。除了最小化用于学习下游知识的任务特定损失外,我们还引入了额外的任务无关损失来保留模型的固有知识,以增强泛化能力和鲁棒性。这样,SAA 成功微调了原始 CLIP 模型的图像特征,使其不仅与语义级别信息对齐,而且适应下游任务。结果,SAA 将 11 个数据集上的平均性能从 77.48% 提升至 81.86%。

总之,我们提出了一种新颖的计算高效提示学习方法,称为 CEPL,它集成了高效的 TPD 模块和有效的 SAA 模块,用于 VLMs 的快速适应。如图 2 所示,我们的方法在 11 个基准测试中的 10 个上取得了新的最先进(SOTA)性能。此外,如表 2 所示,CEPL 可以无缝集成到其他现有提示学习方法中,如 CoCoOp 和 ProGrad,带来性能的巨大提升和计算成本的显著降低。我们的主要贡献总结如下:
•我们提出了一种高效的 TPD 模块,它在架构上将预定义的类别名称与文本编码器的动态前向传播解耦。通过学习单个图像条件文本提示并利用预存储的特征,TPD 通过双重监督损失显著降低了计算成本,同时保留了丰富的文本语义。
•我们引入了一种有效的 SAA 模块,强调语义相关的图像表示以与语义级别的文本对齐。此外,我们的 SAA 通过任务特定和任务无关的损失进行优化,以适应原始图像特征到下游任务。
•我们的 CEPL 在 16/8/4/2/1 次分类任务中,以极低的计算成本在 11 个基准测试的平均性能上取得了新的最先进(SOTA)水平。CEPL 也可以轻松应用于其他提示调优方法,以显著改善性能和效率。

章节片段
视觉语言模型
大规模 VLMs 最近取得了实质性进展,在各种下游视觉任务中展示了卓越的表示和泛化能力 [1], [2], [24], [25], [26], [27], [28], [29]。作为代表性工作,CLIP [1] 使用对比学习目标在 4 亿对图文数据上训练多模态模型,在零样本视觉识别任务中取得了显著性能。受其成功启发,出现了几种后续方法。

概述
我们旨在探索 CLIP [1] 在下游图像识别任务上的高效微调技术。如图 3 所示,我们将提出的方法与 CoCoOp 和 KgCoOp 进行了比较。对于名为 CEPL 的我们的方法,从 C 类图像数据集中采样图像 x 和相应的标签 y,CLIP 中的文本编码器 $\phi(\cdot)$ 和图像编码器 $\psi(\cdot)$ 保持冻结用于后续特征提取。我们通过两个关键模块实现高效计算和显著的性能提升。

实验
我们在三种设置下评估我们的方法:(1) 少样本分类(第 4.1 节);(2) CEPL 帮助最先进方法(第 4.2 节);(3) 域泛化(第 4.3 节)。所有实验均使用预训练的 CLIP 模型,结果取三次运行的平均值。数据集、模板和设置的详细信息如下。

数据集。
我们在 11 个公共图像识别数据集上进行了广泛实验,遵循 CoCoOp [8] 和 KgCoOp [21] 使用的评估协议。这些数据集

局限性
我们的研究专注于将 VLMs 适应于图像分类任务,遵循大多数现有的 PEFT 方法。虽然这种设置提供了评估效率和有效性的清晰基准,但它并不能反映现实应用的全貌,如物体检测、分割或开放世界识别。这些任务涉及更复杂的空间和语义推理。将 CEPL 扩展到这些领域是一个有希望的方向。其解耦的提示设计和图像条件

结论
在本文中,我们提出了 CEPL,一种优先考虑参数和计算效率的 VLMs 微调方法。我们的 CEPL 由两个模块组成:高效的 TPD 模块和有效的 SAA 模块。TPD 模块在架构上将预定义的类别名称与文本编码器的动态前向传播解耦。通过学习单个图像条件文本提示并依赖预存储的特征和单类别监督,它确保计算复杂度保持

CRediT 作者贡献声明
Sifan Long:审阅与编辑,原创草稿,可视化,验证,监督,软件,资源,项目管理,方法论,调查,资金获取,形式分析,数据整理,概念化。Jingyuan Feng:可视化,软件,形式分析,数据整理。

利益冲突声明
作者声明他们没有已知的可能影响本工作报道结果的竞争性经济利益或个人关系。

致谢
这项工作得到了中央高校基本科研业务费专项资金(编号:DUT25RC(3)154)的支持。

Sifan Long|Jingyuan Feng
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号