解耦与蒸馏：面向少样本类增量学习的任务自适应LoRA教师模型及集成知识迁移

《Neurocomputing》：Decoupled and distilled: Task-adaptive LoRA-teachers with ensemble knowledge transfer for few-shot class-incremental learning

　　

# 摘要

小样本类别增量学习（Few-Shot Class-Incremental Learning, FSCIL）旨在解决从极有限样本中学习新类别、同时保留已学类别知识这一根本性挑战。尽管近期基于预训练模型的参数高效微调（PEFT）技术在类别增量学习中展现出潜力，但在小样本场景下仍受到制约。特别是，受限的PEFT方法通常施加严格的基于梯度的约束来缓解遗忘问题；然而，在此类约束下维持可塑性需要大量训练数据——而这在FSCIL中不可得——从而加剧了可塑性-稳定性权衡。此外，解决可塑性瓶颈的多专家范式通过动态模块选择或运行时模块生成引入了显著的推理开销，限制了实际部署。

为应对这些问题，我们提出了TALON（任务自适应LoRA教师与集成知识蒸馏），这是一个兼具高精度和推理效率的新型框架。TALON引入了任务自适应LoRA-Teacher模块，为每个增量任务动态分配，从而在极端数据约束下实现有效的任务特定表示学习。为降低推理开销，我们设计了集成知识蒸馏（EKT）机制，将多个冻结LoRA-Teacher的知识蒸馏至统一的LoRA-Student中。此外，一种语义引导蒸馏策略根据特征空间相似度自适应加权教师贡献，从而同时缓解灾难性遗忘和过拟合。在三种类别顺序的实验中，TALON在四个FSCIL基准上取得了可比或更优的平均准确率，在CUB200、CIFAR100、ImageNet-R和miniImageNet上的表现分别为___、___、___和___。TALON在CIFAR100、ImageNet-R和miniImageNet上保持了显著的平均改进，在更敏感于类别顺序的CUB200基准上与SEC-prompt性能相当。TALON还减少了多达___的部署参数，并将每个任务的平均推理时间降低至26.7秒，相对于ASP（45.8秒）减少了41.70%。

# 引言

在开放世界环境中，数据以流式方式到达并不断涌现新类别：这一场景被称为类别增量学习（Class-Incremental Learning, CIL）。在这种数据上顺序训练的常规机器学习模型会遭受灾难性遗忘[1], [2]，即学习新知识会破坏已获得的表示，导致严重的性能下降。

自动驾驶、医学影像和机器人等现实应用[3]经常遇到这种场景，其中新的物体类别仅有少量标注样本。这催生了小样本类别增量学习（Few-Shot Class-Incremental Learning, FSCIL）[4]，一个极具挑战性的范式：模型首先在具有充足监督信号的基类上进行训练，然后必须从严重受限的样本中增量地适应新类别——通常在N-way K-shot协议下[5]。这一设置加剧了旧类的灾难性遗忘和新样本的过拟合，导致了显著的可塑性-稳定性困境[6]。

预训练模型（PTMs）凭借从大规模数据集[7], [8]中习得的强泛化能力，为增量学习提供了坚实基础。然而，完全微调PTM可能会损害其泛化能力。近期CIL研究的进展通过冻结PTM主干并引入参数高效微调（PEFT）模块来解决这一问题[9]，如提示（prompts）[10], [11]或低秩适应（LoRA）[12], [13], [14], [15]。这些方法以极少的可训练参数实现任务特定适应，从而在保留泛化能力的同时减少遗忘。

尽管取得了这些进展，现有FSCIL方法仍面临两个基本局限：

**挑战I：数据稀缺下特征学习不足。** CIL中基于受限PEFT的方法[5], [10], [13], [14]施加了基于梯度的约束（如正交子空间、共享梯度方向），这些约束需要足够的数据才能可靠估计。在FSCIL极端数据稀缺的条件下，这些约束变得不可靠，导致欠拟合（可塑性不足）或过拟合（泛化能力差），具体取决于方法和数据集（例如，图1中的InfLoRA；详见补充材料中的详细分析）。

**挑战II：多专家持续学习范式的推理低效。** 为了克服可塑性瓶颈（挑战I），一个有力的策略是使用多专家学习（如混合专家或逐样本适配器）。然而，这引入了显著的推理时开销：

- **动态模块选择：** 基于查询的方法[10], [11]需要对模块池进行昂贵的相似度计算，随着任务累积产生可扩展性瓶颈。
- **运行时模块生成：** 输入条件方法[5], [16]为每个输入合成任务特定模块，产生逐样本计算开销。

这些挑战凸显了一个核心研究问题：**我们如何在极端数据稀缺下同时优化可塑性-稳定性权衡，并保持推理时效率？**

为此，我们提出TALON（任务自适应LoRA教师与集成知识蒸馏），一个针对FSCIL的新型推理高效框架，通过有原则的多教师蒸馏策略应对上述两个挑战。TALON为每个增量任务分配一个专用的LoRA-Teacher模块。这些教师模块集成至Transformer层中，能够在有限数据下实现高效表示学习，同时在任务间保持完全的参数隔离——从而在不牺牲稳定性的情况下实现可塑性。为降低推理开销，我们引入集成知识蒸馏（EKT），将所有冻结LoRA-Teacher的集体知识蒸馏至统一的LoRA-Student中。该设计将集成级知识整合至单一模型，消除了动态模块选择或运行时模块生成的需求。此外，我们提出语义引导蒸馏策略，利用特征空间相似度自适应加权教师贡献，确保连贯且有效的知识迁移，同时缓解遗忘和过拟合。

我们的主要贡献如下：

- **我们识别出现有PEFT-FSCIL的瓶颈在于"共享参数"假设。** 我们提出解耦学习范式，为每个增量任务动态分配独立的LoRA-Teacher以实现小样本约束下的有效任务特定适应。仅训练当前教师，先前教师保持冻结，通过完全参数隔离确保强可塑性和稳定性。
- **我们提出集成知识蒸馏（EKT），** 一种多教师蒸馏机制，将所有LoRA-Teacher的知识整合至单一学生模型中，消除了动态模块选择或运行时模块生成的推理时开销，同时保留了集成级性能。
- **我们设计了语义引导蒸馏策略，** 基于特征空间相似度最优整合教师集成知识，缓解灾难性遗忘和过拟合。
- **在多个FSCIL基准上的广泛实验表明TALON以优越的效率达到了最先进性能。** 我们还通过TALON-MLP变体展示了架构灵活性，该变体探索了替代的教师集成策略，同时保持了竞争性结果。

# 相关工作

**基于知识蒸馏的CIL。** 类别增量学习（CIL）旨在持续获取新类别知识，同时保留已学表示[17], [18], [19], [20]。知识蒸馏（KD）[21]在此场景中被广泛使用，通常采用自蒸馏框架，即先前任务训练的模型作为教师，将知识迁移至当前学生模型以缓解遗忘。遵循先前工作[22]，CIL中已探索了三种主要KD范式：

1. **作为正则项的KD**

# 问题建模

在小样本类别增量学习（FSCIL）中，我们考虑一个任务序列，记为 ，其中第 个任务 包含 个实例。这里， 表示来自域 的输入样本， 是来自标签空间 的对应标签。关键在于，任务间的标签空间互不相交（ 对 ）。第一个任务 提供充足的训练数据，称为基类任务。相比之下，每个后续增量任务 ()包含有限数量的标注样本，通常表示为整体框架TALON的整体框架如图2所示。它对每个增量任务采用两阶段范式，以有效从有限样本中学习，同时确保高推理效率。

**阶段1：任务自适应LoRA-Teacher。** 鉴于小样本场景下训练样本有限以及预训练模型的强泛化能力，我们在整个增量训练过程中保持预训练权重 固定。

为确保模型可塑性并在每个阶段保持任务内预测性能……

# 实验

本节提供TALON在多个基准上的全面评估。

# 结论

本文提出了TALON，一个通过任务自适应LoRA-Teacher模块和集成知识蒸馏应对小样本类别增量学习（FSCIL）核心挑战的新型框架。TALON通过为每个增量任务动态分配专用LoRA-Teacher并将它们的集体知识整合至统一的LoRA-Student模型中进行高效推理，有效平衡了稳定性-可塑性权衡。

TALON的关键贡献包括：

- **动态**……

CRediT作者贡献声明：

Hongwei Zhao：撰写-原始草稿、验证、软件、调查、形式分析。Rui Liu：监督。Yansong Liu：可视化。Zhiyuan Zou：可视化。Yong Chen：撰写-审阅与编辑。

**利益冲突声明：** 作者声明不存在可能影响本论文所述工作的已知财务利益或个人关系。

**致谢：** 本研究部分由国家自然科学基金（资助号：62372054, 62006005）和国家重点研发计划（资助号：2022YFC3302200）支持。

Hongwei Zhao目前在中国北京航空航天大学计算机科学与工程学院软件发展环境国家重点实验室攻读博士学位。他的研究方向包括计算机视觉和持续学习，特别关注类别增量学习。

Hongwei Zhao | Rui Liu | Yansong Liu | Zhiyuan Zou | Yong Chen