用于CLIP少样本学习的伪文本空间中的多偏置Logit融合

《Knowledge-Based Systems》:Multi-bias logit fusion in a pseudo-text space for CLIP few-shot learning

【字体: 大 中 小 】 时间:2026年08月30日 来源:Knowledge-Based Systems 8.0

编辑推荐:

   【摘要要点】 • 在伪文本空间中对三种互补的对数几率偏置进行融合,用于 CLIP 少样本学习。 • I2T-w 将图像投影到文本子空间,以缩小模态间隙并减少视觉偏置。 • SAKR 采用全局核岭读出机制,对噪声支持样本进行降权,无需训练。 • 双层记忆机制产生实例自适应的对数

  【摘要要点】• 在伪文本空间中对三种互补的对数几率偏置进行融合,用于 CLIP 少样本学习。• I2T-w 将图像投影到文本子空间,以缩小模态间隙并减少视觉偏置。• SAKR 采用全局核岭读出机制,对噪声支持样本进行降权,无需训练。• 双层记忆机制产生实例自适应的对数几率,提升跨任务稳定性。• 伪文本空间将"图–图"与"图–文"相似度统一转化为"文–文"相似度,从而降低偏置影响。【引言】诸如对比式语言–图像预训练(CLIP)[1]、[2] 等预训练视觉–语言模型,在众多视觉分类基准上已展现出令人瞩目的零样本识别性能。仅依靠类别名称与文本提示,CLIP 便超越了众多有监督基线,成为下游少样本任务中极具吸引力的骨干网络。然而,直接沿用其原始零样本分类器往往并非最优选择。如图 1 所示,现有大多数 CLIP 适配方法 [3]、[4] 均可统一视为:在零样本 CLIP 分类器之上学习不同的对数几率偏置项。但这类方法通常只建模单一偏置来源,因而难以同时应对多种误差因素。为说明这些误差如何引发不同类型的偏置,我们在图 2 中总结了三点关键观察。图 2(a) 表明,原始测试图像并不一定能捕捉到真正的感兴趣目标,而裁剪区域则能更好地凸显判别性细节;使用多种类型的测试图像可提高多样性,并有利于选择低熵、高置信度的视角。图 2(b) 表明,少样本集合中的每个支持样本并非同等重要:一种全局正则化器可以对真正具信息量的样本进行加权提升,而对信息量较少的样本进行降权。此外,CLIP 在视觉与文本表征之间存在模态间隙 [5]、[6],该间隙在模型初始化阶段即已产生,并在跨模态对比损失的训练过程中被保留甚至加剧。如图 2(c)(左)所示,视觉模态中的视觉偏置与背景杂波,加上模态间隙所诱导的分离,可能产生距离关系 d? < d? 与 d? < d?,从而导致"猫"被误分类为"狗"。这些观察促使我们提出本研究的核心问题:能否设计一个 CLIP 适配框架,在保留默认免训练特性的同时,利用超出局部缓存的全局任务信息,显式建模图像与文本子空间之间的几何关系,并在统一的多偏置视角下联合校准对数几率?为此,我们提出 MBLF-PTS——一个多分支框架,可建模多种互补的对数几率偏置,适用于零样本、少样本以及免训练少样本场景。我们分析了图像与文本表征之间的模态间隙。在 CLIP 中,分类通常基于"图–图"或"图–文"相似度。当前者受视觉偏置干扰、后者受模态间隙阻碍时,二者都可能给出不可靠的预测。如图 2(c)(右)所示,我们的方法通过将图像映射为伪文本表征来解决该问题,使得同一类别的样本在文本子空间中紧密聚类(d_cat < d_dog),从而得到正确预测。受"CLIP 视觉空间受严重模态内不对齐瓶颈所制约"的近期发现 [7] 以及"线性映射足以弥合视觉与文本空间概念结构"的证明 [8] 启发,我们提出了图像–文本虫洞(I2T-w):这是一个基于投影定理 [9] 和奇异值分解(SVD)的投影分支。I2T-w 将图像特征映射为伪文本表征,并与文本子空间中的类别原型进行比较。该投影产生一种对数几率修正,鼓励同类样本在文本子空间中形成更紧密的聚类,从而有助于缓解与模态间隙和视觉偏置相关的误分类问题。此外,我们从核岭回归(KRR)的角度重新审视支持集的利用方式,并提出了支持感知核读出(SAKR)分支。与按查询样本执行局部核平均的方法 [10] 不同,MBLF-PTS 在再生核希尔伯特空间中学习一个全局核记忆,从而得到一种从支持集中学习到的核修正。该全局正则化器会自动抑制冗余或噪声支持样本,并强调真正具判别力的样本,从而克服传统少样本方法中将好支持与差支持一视同仁的常见局限,同时保留免训练方法的高效性优势。最后,受近期双层记忆架构 [11] 启发,我们在伪文本空间中构建了一个记忆驱动的分支:支持记忆存储带标签的支持特征,而流记忆在推理过程中持续累积高置信度测试样本。二者共同作用,为每个查询样本生成一个实例自适应分类器,从而形成记忆驱动的对数几率偏置。在伪文本空间中,我们以统一方式在对数几率层聚合记忆驱动的实例自适应偏置、支持驱动的核偏置和投影诱导偏置。该框架完全支持免训练设置,即不更新任何模型参数;也可通过微调少量投影参数来进一步提升性能。我们在 11 个标准视觉分类基准上,对 MBLF-PTS 在零样本、少样本和免训练少样本场景下进行了大量评估,并进一步考察其在自然分布偏移下的鲁棒性。实验表明,如表 1 所示,MBLF-PTS 在所有三种范式下均一致超越代表性方法,其中在免训练少样本场景下提升尤为显著。我们的框架与提示学习、适配器等技术 [3]、[4] 互补,可与代表性 CLIP 适配方法集成。我们的主要贡献如下:• 我们提出 I2T-w,将图像映射到伪文本子空间以构造投影诱导的对数几率偏置,从而减轻模态间隙与视觉偏置的影响,提升复杂背景和分布偏移下的预测可靠性。• 我们设计 SAKR,将支持集利用建模为再生核希尔伯特空间中的全局 KRR,从而得到一种从支持集中学习到的、免训练的核修正,可有效区分信息量大的支持与冗余支持样本。• 我们提出 MBLF-PTS,一个统一的 CLIP 适配框架,在伪文本嵌入空间中显式建模多种互补的对数几率偏置,覆盖零样本、少样本和免训练少样本场景,而非依赖单一偏置来源。【章节要点】相关工作文本侧与视觉侧的偏置学习。一条重要研究线索聚焦于文本侧偏置。CoOP [3]、SPAC [12]、CuPL [13] 等方法引入可学习或 LLM 生成的提示,从而在类别名称周围学习任务特定的语言偏置。本质上,它们在文本子空间中重塑类别原型,以更好地匹配下游视觉分布。另一条研究线索针对视觉侧偏置。CLIP-Adapter [4] 与 CALIP [14] 插入轻量级残差与……方法本节首先介绍基于投影的 I2T-w。随后我们提出 SAKR,在 I2T-w 所诱导的子空间中构建全局核记忆。接着,我们描述记忆驱动的实例自适应对数几率偏置分支,该分支在同一语言子空间中统一支持记忆与流记忆。最后,我们说明 MBLF-PTS 以统一方式融合这些多源对数几率偏置的机制。实验设置数据集。我们在 11 个图像分类基准上评估所提框架,包括 ImageNet [31]、Flowers102 [32]、DTD [33]、OxfordPets [34]、StanfordCars [35]、UCF101 [36]、Caltech101 [37]、Food101 [38]、SUN397 [39]、FGVCAircraft [40] 和 EuroSAT [41]。为进一步评估对自然分布偏移的鲁棒性,我们在四个 ImageNet 变体上评估 MBLF-PTS:ImageNet-V2 [42]、ImageNet-A [43]、ImageNet-R [44] 和 ImageNet-Sketch [45]。设置。我们采用预训练的 CLIP 视觉编码器,……【结论】我们提出 MBLF-PTS,一个融合多种对数几率偏置的统一框架,用以将冻结的 CLIP 模型适配到下游图像分类任务,覆盖三种设置:零样本、免训练少样本和需训练少样本。基于双层记忆适配,MBLF-PTS 以伪文本空间为核心:通过 I2T-w 将图像投影到伪文本子空间,并利用支持记忆进行支持感知核校准,从而实现互补……【CRediT 作者贡献声明】张毅:论文撰写——审阅与编辑,论文撰写——初稿,软件,方法学,调查研究,数据整理,概念构思。毛宇:论文撰写——审阅与编辑,可视化,资源,方法学,调查研究。陈慧:可视化,验证,软件,资源,调查研究。高金玉:可视化,软件,数据整理。黄志强:软件,资源。林耀金:论文撰写——初稿,验证,资源。【利益冲突声明】作者声明以下可能被视为潜在利益冲突的财务利益/个人关系:毛宇报告接受来自国家自然科学基金委员会的资金支持。其余作者声明不存在可能影响本文所述工作的、已知的竞争性财务利益或个人关系。【致谢】本工作受国家自然科学基金委员会(编号 62576158)、福建省自然科学基金(编号 2026J002035 与 2026J001987)以及武夷山学院茶产业大数据应用与智能化福建省重点实验室开放项目计划(编号 FKLBDAITI202501)资助。作者:张毅|毛宇|陈慧|高金玉|黄志强|林耀金
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号