动态域客户端下联邦持续学习中的时空遗忘缓解方法

《Sensors》：Mitigating Spatio-Temporal Forgetting in Federated Continual Learning with Dynamic-Domain Clients

　　

分布式传感系统日益依赖地理分布设备在不同运行条件下采集数据。联邦持续学习（Federated Continual Learning, FCL）使得全局模型能够在分布式传感客户端上训练，这些客户端的本地数据随时间演变，同时保留先前获取的知识。现有FCL研究主要处理持续任务演化或基于类别的客户端异质性，而联邦域增量学习（federated domain-incremental learning）则研究了共享标签空间下对变化域的适应。较少关注持续任务演化与域偏移客户端参与同时发生的场景，这导致了耦合的时间和空间干扰。本文研究了一种动态域联邦持续学习（dynamic-domain federated continual learning）设定，其中新客户端与源客户端共享相同标签空间，但在训练过程中引入偏移的特征分布。这一设定揭示了一种具有挑战性的时空灾难性遗忘（spatio-temporal catastrophic forgetting）形式：模型必须学习演化的类增量任务，同时防止新域知识注入降低源域性能。为解决此问题，研究人员提出STP-FCL，一种协调的客户端-服务器框架。在客户端侧，STP-FCL通过源感知原型空间优化（source-aware prototype-space optimization）保留历史任务语义和源域判别结构，减少演化任务和域下的表征漂移。在服务器侧，STP-FCL设计了域投影聚合（domain-projected aggregation）以移除新域更新中的冲突分量，并自适应控制其融合权重。在动态域联邦持续学习场景下的实验表明，STP-FCL相比代表性基线实现了更强的源域知识保持和更高的混合域精度，同时在目标域精度上存在权衡。

动态域联邦持续学习中时空遗忘的缓解：STP-FCL框架解读

一、研究背景与问题

现代网络化传感系统日益依赖分布式设备在不同地点和运行环境下采集和处理数据。联邦学习（Federated Learning, FL）作为一种分布式机器学习范式，允许多个客户端在不迁移本地数据的情况下协同训练全局模型。然而，传统FL通常假设参与客户端及其本地数据分布在训练期间保持相对稳定，难以应对数据流持续演化、客户端动态参与的开放环境。

为提升FL在动态环境中的适应性，研究者将FL与持续学习（Continual Learning）结合，提出了联邦持续学习（Federated Continual Learning, FCL）。现有FCL研究主要关注时间维度上的任务演化或类别层面的客户端异质性，而联邦域增量学习（Federated Domain-Incremental Learning, FDIL）则研究了共享标签空间下输入分布变化的适应问题。然而，当这两类动态同时存在——客户端持续推进类增量任务流，同时来自偏移域的新客户端加入联邦并参与全局优化——就会产生耦合的时间与空间干扰。前者因本地任务演化引发时间表征漂移，后者则在服务器聚合阶段引入跨域更新干扰。因此，全局模型必须在保留先前任务知识的同时，防止域偏移更新过度扰动新域加入前建立的源域表征。

二、研究内容与结论

研究人员针对上述问题，提出了一种名为STP-FCL（Spatio-Temporal Prototype-Preserved Federated Continual Learning）的协调式客户端-服务器框架，旨在同时缓解时间和空间两个维度的遗忘。实验在两种动态域视觉识别基准（MNIST作为源域，SVHN和SynthDigits作为目标域）上进行，结果表明：STP-FCL在源域平均精度（Source AA）和混合域平均精度（Mix AA）上均优于七个代表性基线方法，例如在MNIST+SVHN设定下，源域精度从最强基线的62.95%提升至81.36%，混合域精度达到64.05%。研究还揭示了源域保持与目标域适应之间的权衡关系：更强的源域保持会牺牲部分目标域精度，但整体混合域精度更高。

三、关键技术方法

研究人员采用以下关键技术方法：（1）客户端侧原型空间优化：包括基于全局原型的特征级重放损失（prototype replay loss）用于保持历史分类器边界，对比表征损失（contrastive representation loss）促进类内紧凑性和类间分离性，以及源保持原型对齐损失（Source-Preserved Prototype Alignment, SPA）约束当前类原型与源域锚点的一致性；（2）锐度感知最小化（Sharpness-Aware Minimization, SAM）：引导局部模型朝向更平坦、泛化性更好的极小值，提升异构持续学习下的聚合稳定性；（3）服务器侧域投影聚合（Domain-Projected Aggregation, DPA）：分别聚合源域和目标域客户端得到各自的更新方向，当两者内积为负时移除目标域更新中与源域更新方向相反的冲突分量，并通过余弦相似度自适应计算目标域融合权重。

四、研究结果

主实验结果

在MNIST+SVHN和MNIST+SynthDigits两种动态域设定下，STP-FCL均取得最优的源域平均精度和混合域平均精度。在MNIST+SVHN上，源域精度达81.36%，混合域精度达64.05%；在MNIST+SynthDigits上，源域精度达87.31%，混合域精度达78.96%。

消融实验

在MNIST→SVHN设定下，完整STP-FCL获得最高源域精度（80.43%）和混合域精度（64.94%）。去除原型重放和对比学习后，源域精度降至75.18%；去除SPA后降至72.76%；去除SAM后降至73.91%；去除DPA后源域精度大幅下降至65.52%，但目标域精度上升，体现了DPA对源域保持的关键作用。

参数敏感性分析

源域锚定权重λ_src设为0.1时效果最佳，过小不足以约束漂移，过大限制表征适应。DPA融合强度缩放因子β设为0.3时混合域精度最优，过小导致新域适应不足，过大造成源域干扰。

通信与计算开销

STP-FCL每轮额外通信负载仅为1.02 MiB，约占标准模型交换成本（875.20 MiB）的0.12%，低于RefFiL和SR-FDIL等基线方法。

五、讨论与结论

研究人员指出，所提出的框架适用于客户端对应不同采集条件的设备或站点的分布式传感系统。当前实验使用视觉基准作为受控代理场景，未来需在真实传感器流和异构传感硬件上进行验证。

研究结论部分总结如下：本文研究了联邦持续学习中由顺序任务学习和动态加入的新域客户端共同导致的源域知识退化问题，即动态域时空遗忘。研究人员提出了STP-FCL，一种协调的客户端-服务器框架，通过结合原型保持的局部优化与域投影聚合来减少表征漂移和更新干扰。实验表明，STP-FCL提升了源域保持能力和混合域精度，同时在目标域精度上存在权衡。这些结果支持了STP-FCL在任务演化和新域参与下保持总体源域性能的有效性。