基于LoRA关键参数约束的持续学习方法LoRAC-IPC：突破正交调优局限的视觉Transformer抗遗忘新策略

针对正交LoRA调优中关键参数仍显著变化导致持续学习(CL)遗忘问题，研究者提出LoRAC-IPC方法，通过冻结ViT关键参数矩阵和正交LoRA组合(QR分解)，在Split CIFAR-100上实现准确率提升6.35%、遗忘率降低3.24%，为预训练模型(PTM)的持续学习应用提供新范式。

　　

在人工智能领域，持续学习(Continual Learning, CL)始终面临"稳定性-可塑性困境"的挑战——模型在学习新任务时，往往会灾难性地遗忘旧任务知识(catastrophic forgetting)。尽管基于预训练模型(Pre-trained Models, PTMs)的视觉持续学习已展现出显著优势，但主流方法如正交低秩自适应(Low-Rank Adaptation, LoRA)调优仍存在关键缺陷：即使采用正交约束，对预任务重要的参数矩阵仍会产生显著变化，导致训练损失波动和知识遗忘。

电子科技大学的研究团队在《Pattern Recognition》发表的研究中，创新性地提出LoRAC-IPC方法。该方法包含两大核心技术：正交LoRA组合(LoRA Composition, LoRAC)通过QR分解实现新旧知识融合，并引入可学习权重增强可塑性；重要参数约束(Important Parameter Constraints, IPC)则直接冻结ViT中对预任务关键的参数矩阵。在Split CIFAR-100基准测试中，该方法使用Sup-21K预训练模型时，准确率提升6.35%，遗忘率降低3.24%，显著优于现有技术。

关键技术方法包括：1) 基于QR分解的正交LoRA模块组合；2) ViT参数矩阵重要性评估与动态冻结策略；3) 多任务LoRA权重自适应机制；4) 在Split CIFAR-100、Split ImageNet-R和UESTC-MMEA-CL多模态数据集上的系统验证。

【Continual Learning with Orthogonal LoRA Compostion and Important Parameter Constraints】
研究通过理论分析揭示，传统正交LoRA调优中，预任务关键参数矩阵的平均变化量(0.708)远超整体矩阵变化(0.685)。实验证明，这是由于低秩近似导致参数空间表征不完整，即使LoRA矩阵正交也无法保证原始参数正交。

【Inference】
提出任务ID预测机制，通过动态选择特征提取器Θ_t*和自适应分类器Φ，增强推理阶段的表征能力。

【Datasets】
在三个基准测试中验证：Split CIFAR-100(10任务×10类)、Split ImageNet-R(10任务×20类)和包含视频/加速度计/陀螺仪数据的UESTC-MMEA-CL多模态数据集(32类日常活动)。

【Discussion on Multi-Modal Continual Learning】
多模态实验显示，LoRAC-IPC对视频数据采用ViT-B/16帧特征平均策略，在跨模态知识保留方面表现出独特优势。

这项研究的意义在于：1) 首次揭示正交LoRA调优中关键参数变化的本质问题；2) 提出可扩展的LoRA组合框架，支持灵活的任务权重分配；3) 为PTM-based CL提供新的参数约束范式。如作者Shimou Ling所述，该方法"通过双管齐下的策略，既保持旧知识又引入新知识"，为医疗影像分析等需要持续更新的应用场景提供了重要技术支撑。国家科技重大专项(2021ZD0112001)和国家自然科学基金(62171111)的支持，也体现了该研究的战略价值。