使用适配器克服连续图像分类任务中的灾难性遗忘

《Intelligent Systems with Applications》：Overcoming catastrophic forgetting in continuous image classification tasks with adapters

　　

当前的卷积神经网络（CNN）模型在图像分类任务中表现出色，常能达到与人类能力相当甚至超越的性能。然而，当这些模型被置于持续学习场景中时，新的图像类别逐步加入，它们在先前所学类别上的准确率往往急剧下降，这一现象被称为灾难性遗忘（CF）。现有缓解CF的技术通常带来显著的计算成本，表现为模型尺寸增大，从而需要更多内存与硬件资源，或由于更大的数据集和再训练努力而延长训练时间。为解决这一问题，研究人员提出应用ConvLoRA（低秩适配（LoRA）的卷积适配版本），以在基于CNN的任务增量持续学习中缓解CF。与近期仅局限于Transformer架构的基于LoRA的持续学习方法不同，研究人员的方法直接针对卷积层——这一组合在文献中仍基本未被探索。研究人员在任务增量场景下，在CIFAR-100和CUB-200上评估了该方法，证明ConvLoRA达到了与动态网络基线Sena-CNN具有竞争力的准确率，在所有任务中差异在1%–3%以内，且大多数任务中统计不显著，而每任务仅需Sena-CNN总参数的2.2%。这对应于卷积层参数减少85.17%，全连接层参数减少98.39%，确立了ConvLoRA作为持续图像分类的参数高效、可扩展的解决方案。

**论文解读文章**

近年来，卷积神经网络（CNN）在图像分类任务中取得了突破性进展，性能甚至超越人类。然而，在持续学习场景中，当新类别不断加入时，模型在先前学习类别上的准确率会急剧下降，这一现象称为灾难性遗忘（CF）。现有缓解CF的方法主要分为五类：回放方法、距离基方法、子网络方法、动态网络方法和混合方法。其中动态网络虽能有效保留知识，但以模型尺寸急剧增长为代价，例如渐进式神经网络（PNN）每任务复制整个网络，Sena-CNN每任务复制至少50%的层级，导致参数开销巨大，限制了在资源受限环境中的部署。此外，现有基于低秩适配（LoRA）的持续学习方法仅针对Transformer架构的注意力层或全连接层，尚未系统探索卷积层的低秩适配。为此，研究人员提出利用ConvLoRA（卷积低秩适配）来缓解CNN在任务增量持续学习中的CF，旨在以极小的参数增长维持与动态网络基线相当的分类精度。该论文发表在《Intelligent Systems with Applications》。

研究人员开展的研究包括：在VGG-19骨干网络上应用ConvLoRA适配器，对CIFAR-100和CUB-200数据集进行任务增量持续学习实验。通过比较不同秩（r）配置、不同全连接层适配策略，并与Sena-CNN基线进行准确率、参数量和训练时间对比，验证了方法的有效性。主要结论是：ConvLoRA在大多数任务上达到与Sena-CNN统计无显著差异的准确率（差距1%–3%），但每任务仅需Sena-CNN总参数的2.2%（卷积层参数减少85.17%，全连接层参数减少98.39%），实现了参数高效的持续分类。重要意义在于首次系统评估了卷积LoRA适配器在CNN多任务增量学习中的作用，填补了现有LoRA方法仅适用于Transformer的空白，为资源受限环境下的持续学习提供了可扩展的解决方案。

**主要关键技术方法**（不超过250字）
研究人员采用的关键技术方法包括：1）ConvLoRA适配器：将LoRA的低秩分解思想扩展到卷积层，通过两个小矩阵A∈R^c_out×r和B∈R^{r×(c_in×k2)}的乘积经变形后与冻结的卷积权重相加，实现参数高效更新；2）LoRA适配器：应用于全连接层，通过矩阵A∈R^d×r和B∈R^r×d实现低秩更新；3）任务特定隔离策略：每学习一个任务，冻结该任务的适配器权重，避免后续任务干扰；4）统计验证：使用配对Wilcoxon符号秩检验比较ConvLoRA与Sena-CNN的准确率差异。样本来源：CIFAR-100（100类，10任务，每任务10类）和CUB-200（200类，5任务，任务1含100类，任务2-5各25类），均来自标准基准数据集。

**研究结果**

**4.1 参数选择**
通过CUB-200第一个100类任务上的微调实验，研究人员发现仅微调全连接层（FT-CLS、FT-2FC、FT-3FC）的准确率仅0.58–0.61，远低于全参数微调（FT-Full）的77.2%，表明卷积层适配对性能至关重要。应用ConvLoRA后，对比r∈{1,3,6,9,12,24}，r=9时准确率达0.750±0.015，与r=12（0.751）和r=24（0.769）无统计显著差异（Wilcoxon检验，α=0.01），因此选择r=9作为默认秩。此时卷积层可训练参数从约2000万降至85万，减少95.75%。进一步对全连接层应用LoRA（r=30）发现，FullyLoRA-First2FC-CLS（仅前两层使用LoRA，分类层全训练）达到0.76准确率，与仅用ConvLoRA（0.75）相当，而全连接层全使用LoRA反而降低至0.73。

**4.2 与基线比较**
在CIFAR-100和CUB-200上的任务增量实验中，ConvLoRA与Sena-CNN在每个任务上的最终准确率接近，ConvLoRA略低1%–3%。例如CIFAR-100任务1：ConvLoRA 0.83 vs. Sena-CNN 0.85；CUB-200任务2：0.72 vs. 0.75。统计检验显示，CIFAR-100中10个任务有6个差异显著（p<0.01），CUB-200中5个任务有3个显著，但差异幅度很小（最大2.9%）。模型增长对比：ConvLoRA每任务新增参数2,791,099，仅为Sena-CNN（126,101,056）的2.2%，累积10任务后ConvLoRA仅2790万参数，而Sena-CNN超12.6亿。训练时间上ConvLoRA略高于Sena-CNN（CUB-200：40313.76 s vs. 15763.08 s），推理时间接近（约80–130 s）。

**总结讨论与结论**
讨论部分指出，ConvLoRA在参数效率上具有决定性优势：相比Sena-CNN每任务减少45倍参数，在10任务场景下可节省超过12亿参数，显著降低GPU内存、能耗和存储需求。准确率代价有限且统计不显著的任务占比约一半。由于任务适配器冻结，遗忘度为零，但限制了前向知识迁移。局限性包括：仅适用于卷积和全连接层，批归一化层需单独复制；参数效率在大输入输出通道时最明显；未评估ResNet等残差架构；仅在中规模基准上测试；训练和推理中引入额外矩阵乘法开销。

结论部分翻译：本研究证明，ConvLoRA适配器能有效缓解CNN任务增量持续学习中的灾难性遗忘，每任务仅增加279万参数，相比Sena-CNN减少45倍，且大多数任务上准确率差异小且统计不显著。据研究人员所知，这是首次系统评估卷积LoRA适配器在多任务增量学习CNN图像分类器中的表现，填补了现有LoRA方法仅适用于Transformer架构的空白。关键结果：参数效率（卷积层减少85.17%，全连接层减少98.39%）、准确率竞争力（差距1%–3%，半数任务无显著差异）、零遗忘设计（任务适配器冻结后精度完全保留）、卷积层重要性（全连接微调准确率0.58–0.61，而卷积适配达0.75–0.77）。未来工作可探索结合其他CF类别的混合模型以增强泛化性。