基于轻量化适配器的联邦类持续学习长时记忆增强方法研究

本文提出了一种基于轻量化适配器（lightweight adapters）的联邦类持续学习（FCCL）框架，通过任务特异性适配器和数据无蒸馏（data-free distillation）任务判别器设计，有效解决了联邦学习（FL）中任务规模扩展导致的灾难性遗忘（catastrophic forgetting）问题，在CIFAR/Tiny-ImageNet数据集上实现1.73-4.07倍的性能提升。

　　

Highlight

• 构建任务特异性轻量化适配器，显著降低客户端计算/通信负担的同时克服灾难性遗忘（catastrophic forgetting）

• 设计基于数据无蒸馏（data-free distillation）的任务判别器，实现推理阶段适配器自动加载

• 在CIFAR-10/100和Tiny-ImageNet上取得1.73-4.07倍的性能提升

Introduction

近年来，隐私保护需求推动了联邦学习（FL）的发展，但其静态数据类的假设与现实中动态新增类别的持续学习（CL）场景存在矛盾。我们提出联邦类持续学习（FCCL）框架，通过轻量化适配器解决任务规模扩展下的长时记忆衰退问题。实验表明，在数据异构性（Dirichlet参数α→0）加剧时，现有方法（知识蒸馏/生成回放/参数分解）对远期任务性能下降显著，而我们的方案能保持稳定记忆。

Experimental setup

数据集：采用CIFAR-10（10类）、CIFAR-100（100类）和TinyImageNet（200类）验证方法普适性。设置不同异构强度（α=0.1/1/∞）模拟真实场景，轻量化适配器仅占用全参数模型1.3%存储空间。

Conclusion

本框架通过轻量化适配器和任务判别器的协同设计，为联邦持续学习中长时记忆保持提供了创新解决方案，未来将探索跨模态场景下的应用拓展。