基于受脑神经元启发的 LoRA 可扩展网络的跨领域类增量学习

《Pattern Recognition》：Cross-Domain Class-Incremental Learning via Brain Neuron-Inspired LoRA Expandable Network

　　

• •
  一种新颖的 SBES 机制通过贝叶斯专家选择和知识迁移实现高效的新任务获取。
• •
  一种新颖的 BSS 机制通过双向抑制无关类别激活来缓解灾难性遗忘。
• •
  一种新颖的 FIPUP 机制通过基于任务复杂度的费雪信息引导迭代剪枝来压缩模型。
• •
  一种新颖的 CHPD 机制通过整合当前和历史概率差异来增强专家选择的鲁棒性。

引言

持续学习（CL）旨在使模型能够从顺序任务中增量获取知识，同时保持对先前学习任务的性能，这一能力对于在动态环境中运行的现实世界系统至关重要。传统持续学习研究主要关注两种孤立的范式：类增量学习（CIL），它处理在平稳输入分布下标签空间不相交的任务 [1], [2], [3]；以及域增量学习（DIL）[4]，它解决标签空间固定但数据分布发生变化的情况。最近的研究开始探索更整合和现实的设置，例如去除显式任务边界的通用持续学习（GCL）[4]，引入任务组合随机性的随机增量模糊（Si-Blurry）[5]，以及在自然分布偏移下强调严格在线学习的在线持续学习 [6]。尽管有这些进展，一种明确且系统地解决从标签空间互斥的任务中获取知识同时适应显著域偏移的双重挑战的公式化仍未得到充分探索。在许多实际场景中，系统必须在不同的环境条件或传感器模式下连续识别不断演变的类别集合，这一要求既未被传统设置也未被最近的混合设置完全形式化。

为了弥补这一差距，我们正式引入了跨域类增量学习（CDCIL）场景。CDCIL 复合了两种关键的平稳性来源：不相交标签空间的持续扩展以及跨域输入分布的显著偏移。虽然标准 CIL 主要面临由于无法访问历史数据而导致的灾难性遗忘和分类器偏差问题，但 CDCIL 通过改变传入数据的潜在特征分布进一步加剧了这些问题。这种域偏移不仅加剧了表示冲突，还严重破坏了从先前任务中迁移知识的可靠性。因此，基于平稳数据域或固定标签空间假设构建的现有持续学习方法在这种具有挑战性的 CDCIL 设置下不可避免地遭受严重的性能下降，迫切需要一种更鲁棒和自适应的学习框架。

尽管最近的参数高效微调（PEFT）策略，特别是低秩适应（LoRA）[7]，在持续学习中通过最小化可训练参数展示了前景 [8], [9]，但它们主要为标准 CIL 设计，缺乏处理 CDCIL 复合非平稳性的机制。具体而言，域偏移加剧了灾难性遗忘并导致负向前迁移，而持续的标签扩展导致严重的分类器偏差和无界参数增长。这一差距激发了引导我们工作的三个明确研究问题：

（1）如何选择性初始化历史知识以加速适应新领域，同时不导致负迁移？

（2）如何在标签空间扩展的情况下明确抑制跨任务激活干扰，以减轻灾难性遗忘和分类器偏差？

（3）如何在任务序列增长时保持模型效率，同时确保推理时无需重放缓冲区即可实现鲁棒的专家路由？

为了系统地解决这些问题，我们提出了脑神经元启发的 LoRA 可扩展网络（BNILEN），从公认的生命周期知识整合神经科学原理中获得概念启发。具体而言，大脑的海马体记忆索引 [10]、兴奋 - 抑制平衡 [11] 和活动依赖的突触剪枝 [12] 机制为我们的架构分解提供了高级设计约束。这些生物学类比并非在机制上复制，而是为人工系统中高效知识检索、干扰调节和资源分配的功能需求提供信息。

BNILEN 协调四个协同模块，它们在持续学习流水线的不同阶段运行。首先，基于相似性的贝叶斯专家选择（SBES）机制通过量化任务相似性和历史专家可靠性，最佳初始化新创建的 LoRA 专家，从而实现正向迁移。其次，在专家优化期间，双向抑制策略（BSS）通过双向正则化分类器 logits 以抑制跨任务激活干扰，主动缓解灾难性遗忘。第三，费雪信息引导的渐进式非结构化剪枝（FIPUP）机制通过迭代消除冗余连接同时保留任务关键权重，确保终身参数效率。最后，当前 - 历史概率差异（CHPD）方法通过比较测试样本置信度与历史训练基准，实现推理时鲁棒的专家选择。至关重要，这些组件是相互依赖的，并且对于 CDCIL 集体而言是必要的。SBES 提供高效初始化但无法单独解决分类器偏差；BSS 缓解遗忘和偏差，但依赖于 SBES 对齐良好的特征以避免抑制相关激活；FIPUP 防止无界参数增长并隐式正则化训练，但需要 BSS 稳定的表示以准确识别冗余权重；CHPD 确保鲁棒推理路由，这从根本上依赖于 BSS 建立的置信度校准和 FIPUP 的效率保证。移除任何组件都会破坏 CDCIL 所需的正向迁移、干扰抑制、参数效率和可靠推理之间的微妙平衡。

我们进行了一系列实验，结果表明我们的方法在六个 CDCIL 和六个 CIL 基准上取得了良好的性能。我们的主要贡献总结如下：（1）我们引入了一个专为 CDCIL 场景设计的框架 BNILEN。它将特定于任务的 LoRA 专家与认知启发的学习机制相结合。（2）我们提出了 SBES，系统地评估语义一致性和历史专家可靠性，以促进正向知识迁移同时避免负干扰。（3）我们设计了 BSS，通过双重抑制损失明确减轻参数和表示冲突，调节跨任务激活模式以增强判别鲁棒性。（4）我们开发了 FIPUP，一种由费雪信息引导的渐进式非结构化剪枝机制，在模型效率和性能保持之间实现最佳权衡。（5）我们为推理时路由引入了 CHPD，整合当前预测不确定性与历史置信度基准，展示了优于仅熵选择方法的优越鲁棒性。

章节摘要

基于 LoRA 的持续学习

参数高效微调（PEFT）已成为适应基础模型用于持续学习的基石，因为全量微调计算成本过高且容易遭受严重的灾难性遗忘。在 PEFT 策略中，低秩适应（LoRA）[7] 因其能够在保持小可训练参数预算的同时将特定于任务的低秩分支注入冻结骨干而得到了广泛采用。代表性方法 [8] 通常优化这些低秩矩阵

问题定义

大多数现有持续学习研究 [9], [13] 主要关注类增量学习（CIL），这通常处理在平稳输入分布下标签空间不相交的任务序列，或域增量学习（DIL），这涉及不同的域分布但类别标签固定。在本文中，我们研究一个具有挑战性的学习场景，称为跨域类增量学习（CDCIL），其中模型处理标签空间互斥且

实验

设备配置。所有实验均在相同的硬件环境中进行，运行 Ubuntu 22.04.2 LTS，配备 256 GB 内存和 Intel Xeon Silver 4320。实验中由单个 NVIDIA A100 GPU 提供计算加速。

BNILEN 训练细节。我们使用在 ImageNet-21k 上预训练并在 ImageNet-1k 上微调的 ViT-B/16 模型初始化冻结骨干，与其他基线一致。所有实验使用 0.03 的学习率，总共 10 个 epoch，批大小为

作为生物学启发的类比神经科学原理

脑神经元启发的 LoRA 可扩展网络（BNILEN）的架构设计从基本神经生物过程中获得概念启发，利用它们作为高级算法类比，而非声称直接的机制保真度。具体而言，基于相似性的贝叶斯专家选择（SBES）通过保持轻量级的统计特征分布来反映海马体记忆索引，以实现有效的关联回忆，而不产生内存开销

结论

本文研究了跨域类增量学习（CDCIL），这是一个更实用但具有挑战性的持续学习设置，其中标签空间和输入分布都随时间演变。为了解决这个问题，我们提出了 BNILEN，一个脑神经元启发的 LoRA 可扩展网络，整合了基于相似性的贝叶斯专家选择（SBES）、双向抑制策略（BSS）、费雪信息引导的渐进式非结构化剪枝（FIPUP）以及

CRediT 作者贡献声明

Ruilong Yu：写作 - 审阅与编辑，写作 - 原稿，可视化，验证，方法论，调查，形式化分析，数据整理，概念化。Fei Ye：写作 - 审阅与编辑，方法论，资金获取，概念化。Jiesan Zhou：写作 - 审阅与编辑，可视化，方法论，概念化。Qihe Liu：写作 - 审阅与编辑，监督，项目管理，资金获取。Adrian G. Bors：写作 - 审阅与编辑，

利益冲突声明

作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：Fei Ye 报告由电子科技大学提供行政支持。Fei Ye 报告与电子科技大学长三角研究院（衢州）有包括的关系：. 如果有其他作者，他们声明没有已知的竞争性财务利益或个人

Ruilong Yu|Fei Ye|Jiesan Zhou|Qihe Liu|Adrian G. Bors|Rongyao Hu|Jingling Sun|Shenzhan Chen|Shijie Zhou