面向长尾识别的双提示语义解耦与迁移

《Neural Networks》：Dual-Prompt Semantic Decoupling and Transfer for Long-Tailed Recognition

　　

## 摘要

现实世界数据通常呈现长尾分布，少数头部类别包含大量样本，而大多数尾部类别则面临严重的样本稀缺问题。这种不平衡会使深度学习模型偏向头部类别，导致尾部类别的表示不可靠，尤其是当类别特定特征与虚假的背景相关性纠缠在一起时。为解决这一问题，我们提出了一个用于长尾识别的双重提示语义解耦与迁移（DSDT）框架。DSDT引入了两种互补的视觉提示：判别性提示，强调类别特定线索以增强类间可分性；上下文提示，捕捉共享的背景上下文。通过显式解耦判别性知识和上下文知识，模型能为尾部类别学习更鲁棒的表示，同时减轻上下文干扰。此外，我们设计了上下文提示迁移增强机制，将语义相似的头部类别的上下文原型迁移到尾部类别，丰富上下文多样性并提升欠采样类别的表示质量。在CIFAR-100-LT、ImageNet-LT和iNaturalist 2018上的大量实验表明，DSDT consistently优于现有方法，并显著提升了尾部类别的识别性能。

## 引言

长尾分布在现实世界数据中普遍存在，导致样本丰富的头部类别与仅有少量样本的尾部类别之间存在显著不平衡（Deng, Kamel, Zhang, 2025a, Deng, Li, Ji, Zhang, Li, Yan, Zheng, Wang, Zhang, 2025b）。这种不平衡给深度学习模型带来了挑战，模型往往偏向头部类别，因此在欠表征的尾部类别上性能下降。因此，处理长尾分布在许多现实应用中都尤为重要，例如医疗诊断、物种识别和细粒度视觉分类，其中罕见类别可能承载关键信息。

现有的应对方法大致可分为四个主要方向：（1）**损失优化**通过设计定制化损失函数来强调尾部类别，如类别重加权或对数调整（Cao, Wei, Gaidon, Aréchiga, Ma, 2019, Chen, Zhou, Wu, Yang, Li, Hu, Wang, 2023, Cui, Jia, Lin, Song, Belongie, 2019, Jamal, Brown, Yang, Wang, Gong, 2020, Li, Cheung, Lu, 2022c, Lin, Goyal, Girshick, He, Dollár, 2017, Ma, Jiao, Liu, Li, Yang, Liu, 2023a, Menon, Jayasumana, Rawat, Jain, Veit, Kumar, 2021, Ren, Yu, Sheng, Ma, Zhao, Yi, Li, 2020, Shu, Xie, Yi, Zhao, Zhou, Xu, Meng, 2019, Tan, Wang, Li, Li, Ouyang, Yin, Yan, 2020, Zhang, Li, Yan, He, Sun, 2021, Zhang, Pfister, 2021, Zhao, Chen, Tan, Huang, Zhu, 2022, Zhong, Cui, Liu, Jia, 2021）。（2）**数据再平衡策略**，包括重采样（Devi, Biswas, Purkayastha, 2017, Shen, Lin, Huang, 2016）和数据增强（Chen, Zhou, Wu, Zhang, Zhou, Li, Wang, 2022, Chu, Bian, Liu, Ling, 2020, Du, Yang, Jia, Nan, Chen, Yang, 2023, Kim, Jeong, Shin, 2020, Li, Gong, Liu, Wang, Qiao, Cheng, 2021, Liu, Li, Sun, 2022, Park, Hong, Heo, Yun, Choi, 2022, Wang, Lukasiewicz, Hu, Cai, Xu, 2021a），直接在数据层面应对类别不平衡。（3）**表示增强方法**试图为尾部类别学习更鲁棒和更具判别力的特征，包括解耦训练范式（Kang et al., 2020）和基于对比学习的方法（Jiang, Chen, Mortazavi, Wang, 2021, Kang, Li, Xie, Yuan, Feng, 2021, Khosla, Teterwak, Wang, Sarna, Tian, Isola, Maschinot, Liu, Krishnan, 2020, Samuel, Chechik, 2021, Tian, Hénaff, van den Oord, 2021, Wang, Han, Wei, Zhang, Wang, 2021b, Zhou, Yao, Wang, Han, Zhang, 2022）。（4）**集成学习**整合多个专家模型以利用互补优势，提升头部和尾部类别的整体性能（Cai, Wang, Hwang, 2021, Cui, Liu, Tian, Zhong, Jia, 2023, Sharma, Yu, Fritz, Schiele, 2020, Xiang, Ding, Han, 2020）。然而，这些传统策略通常需要从头训练模型，仍存在固有的性能局限性，尤其是当数据不平衡严重时。

随着基础模型的快速发展，近期的长尾学习研究越来越多地利用预训练表示来应对数据不平衡（Ma et al., 2021）。现有研究大致可分为两个方向：**视觉-语言（VL）模型方法**和**纯视觉（VO）模型方法**。第一个方向聚焦于VL模型，通常基于CLIP。例如，VL-LTR（Tian et al., 2022）使用CLIP编码器对齐视觉和文本特征，并引入文本先验引导分类。LIFT（Shi et al., 2024）进一步表明CLIP的过度微调可能损害尾部类别性能，因此提出了自适应轻量微调。第二个方向基于VO模型，如在ImageNet-21K上预训练的ViT。LPT（Dong et al., 2023）引入共享和组特定提示以实现领域适应和细粒度判别。GNM-PT（Li et al., 2024）应用输入无关的高斯扰动来缓解尖锐极小值并增强尾部类别泛化能力。这些方法在长尾识别上取得了令人瞩目的成果。

尽管性能优异，现有方法通常将判别性知识（类别特定特征）与非判别性上下文线索（如纹理或光照）混合在一起。因此，模型可能将尾部类别与虚假的背景相关性关联，限制了其学习真正判别性表示的能力。例如，斑马条纹构成高度判别性的视觉属性，而背景和光照条件则不然。在长尾场景中，有限的斑马样本往往共享相似背景，共同学习判别性和上下文特征可能导致在新背景下误分类。相比之下，如马等头部类别拥有丰富的多样样本，通常能被更可靠地识别。

受人类区分判别性信息和上下文信息能力的启发，我们模拟了类似的认知过程。从丰富的头部类别样本中，人类自然地学会将共享的背景线索与类别特定特征分离。当遇到尾部类别样本时，这些背景先验帮助他们聚焦于真正具有判别力的特征。受此启发，我们在模型中实现了一种类似机制，通过显式解耦判别性和非判别性知识。在训练过程中，从头部类别样本学到的非判别性特征被用来捕捉通用背景线索。因此，在处理尾部类别样本时，模型能识别上下文模式并聚焦于学习类别特定表示（如斑马条纹），而非周围元素（如草地）。

本文提出了一个用于长尾学习的双重提示语义解耦与迁移（DSDT）框架，包含两个关键组件。第一个组件是**基于提示的语义解耦（PSD）模块**，解纠缠两种互补信息：判别性提示（D-Prompt）和上下文提示（C-Prompt）。D-Prompt专注于捕捉类别特定特征以提升类间可分性，而C-Prompt建模与类别无关的上下文信息，如背景和跨类别共享的视觉模式。为此，我们利用视觉变换器（ViT）中逐层的类别标记作为动态查询。对于每个查询，基于注意力的提示模块从各自的提示池中动态检索相关的D-Prompt和C-Prompt。这些提示与类别标记和补丁标记一起插入变换器，使模型能学习判别性和上下文信息的解耦表示。第二个组件是**上下文提示迁移增强（CTE）模块**。对于每个尾部类别样本，CTE通过将语义相关头部类别的上下文提示迁移过来来增强其上下文表示。这种迁移引入了尾部类别中因样本有限而常被欠表征的多样上下文线索。同时，D-Prompt持续引导模型学习类别特定的判别性特征，使类别标记能为尾部类别形成更鲁棒的表示。

遵循先前工作（Kang et al., 2020），我们采用两阶段训练策略。在第一阶段，PSD模块使用标准交叉熵损失在全数据集上优化以学习判别性和上下文提示。在此期间，C-Prompt生成器从头部类别样本丰富的上下文多样性中受益，捕捉通用上下文模式。在第二阶段，C-Prompt生成器被冻结以保留学到的上下文先验。然后我们应用所提出的CTE机制，通过将语义相似头部类别的上下文知识迁移来增强尾部类别的C-Prompt，同时使用对数调整损失优化模型以减轻头部类别偏差。与此同时，D-Prompt引导模型为鲁棒的尾部类别表示学习类别特定特征。

本文贡献总结如下：

- 我们提出了一个基于提示的语义解耦（PSD）模块，用于显式解耦长尾学习中的判别性和上下文信息。通过利用逐层类别标记作为自适应查询来动态生成判别性提示（D-Prompt）和上下文提示（C-Prompt），模型学习到互补的表示以提升尾部类别判别能力。
- 我们引入了上下文提示迁移增强（CTE）策略，将语义相关头部类别的上下文知识迁移到尾部类别。该机制丰富了尾部样本的上下文多样性，缓解了因数据有限导致的虚假上下文相关性。
- 在CIFAR-100-LT、ImageNet-LT和iNaturalist 2018上的大量实验证明了DSDT在长尾识别中的有效性。

本文其余部分组织如下：第2节回顾了长尾图像分类的相关工作，包括传统方法和基于CLIP、ViT等基础模型的方法。第3节提供了方法的必要背景，包括视觉提示微调和基于注意力的动态提示生成。第4节介绍了所提出的DSDT框架，包含两个组件：使用D-Prompt和C-Prompt分离类别特定信息和上下文信息的基于提示的语义解耦模块，以及通过从头部类别迁移知识来丰富尾部类别上下文表示的上下文提示迁移增强模块。第5节展示了综合实验，包括基准评估、消融实验和敏感性分析。最后，第6节总结全文。

## 长尾图像分类

从类别不平衡数据中学习是计算机视觉中长期存在的挑战。现有方法大致可分为四种策略：损失函数优化、数据再平衡、表示学习和集成方法。损失函数优化通常使用重加权，增加尾部类别或困难样本的重要性（Chen, Zhou, Wu, Yang, Li, Hu, Wang, 2023, Cui, Jia, Lin, Song, Belongie, 2019, Jamal, Brown, Yang, Wang, Gong, 2020, Lin…

## 预备知识

**视觉提示微调**：视觉提示微调（VPT）提供了一种参数高效的预训练视觉变换器（ViT）适应策略，仅优化少量可学习的提示标记，同时保持骨干网络冻结。具体而言，引入一组可训练提示标记序列 $P = [p_1, p_2, \ldots, p_{n_p}] \in \mathbb{R}^{n_p \times D}$，其中 $D$ 表示ViT标记的嵌入维度。给定类别标记 $z_{\text{cls}}$ 和补丁标记 $Z = [z_1, z_2, \cdots, z_{N_z}] \in \mathbb{R}^{N_z \times D}$，VPT-Deep中第 $l-1$ 层的输入标记序列为…

## 方法

我们提出了DSDT，一个解耦提示框架，将类别判别性和上下文信息分离以提升长尾识别。在长尾分布中，尾部类别往往表现出有限的上下文多样性，导致类别特定线索与背景模式之间的虚假相关性。DSDT通过解耦判别性和上下文信号，并为尾部类别丰富上下文多样性来解决这一问题。如图1所示，DSDT包含…

## 实验设置

**数据集**：遵循先前工作，我们在三个广泛使用的长尾基准上评估所提出的方法：CIFAR-100-LT（Cui et al., 2019）、ImageNet-LT（Liu et al., 2019）和iNaturalist 2018（Van Horn et al., 2018）。

我们将不平衡比定义为 $\gamma = \frac{N_{\max}}{N_{\min}}$，其中 $N_{\max}$ 和 $N_{\min}$ 分别表示最高频和最低频类别的训练样本数。具体来说，CIFAR-100-LT是原始CIFAR-100数据集的长尾版本，包含100个类别。我们评估…

## 结论

本文提出了双重提示语义解耦与迁移（DSDT）框架，该框架在预训练视觉模型中显式解耦判别性和上下文知识。判别性提示（D-Prompt）强调类别特定特征以增强类间可分性，而上下文提示（C-Prompt）捕捉纹理、背景和上下文信息等通用视觉先验。此外，DSDT引入了上下文提示迁移…

## CRediT作者贡献声明

陈晓华：写作——审阅与编辑，写作——原稿撰写，可视化，方法论，调查研究，资金支持获取，形式化分析，概念化。王悦：可视化，验证，监督，方法论，调查研究，形式化分析，概念化。马艳彪：写作——审阅与编辑，验证，监督，软件，资源，项目管理，方法论，数据管理，概念化。

## 利益冲突声明

作者声明不存在任何已知的竞争性财务利益或个人关系可能影响本文报告的工作。

## 致谢

本工作得到中国国家自然科学基金（资助号62506204）、中国博士后科学基金（资助号2025M771689）以及博士后创新人才支持计划（资助号GZC20251164）的支持。

陈晓华 | 王悦 | 马艳彪