FedRAPT：联邦表示对齐的典型对比学习

《Scientific Reports》：FedRAPT: federated representation-aligned prototypical contrastive learning

　　

摘要

联邦学习是一种分布式学习范式，它允许多个客户端在无需共享原始数据的情况下协同训练模型。在涉及隐私敏感的场景中，如移动感知和人体活动识别领域，联邦学习近年来受到了广泛关注。然而在现实环境中，由于客户端之间的数据差异性，会导致数据非独立同分布的情况，进而引发类别级表示不一致和表示漂移，从而降低整体模型性能和训练稳定性。现有的研究大多侧重于全局对齐或局部区分，难以在非独立同分布环境下同时体现类别结构的一致性和样本的区分度。为解决这一问题，我们提出了联邦表示对齐原型对比学习方法（FedRAPT）。该方法引入了基于信息噪声对比估计的跨客户端对比表示对齐模块，通过统一的目标函数同时优化类别级对齐和样本级区分。此外，还设计了分离结构和编码器的分类器以及基于指数移动平均值的原型更新策略，以便在数据分布差异极大的情况下仍能实现稳定的表示学习。在WISDM、UCI人体活动识别数据集以及MotionSense数据集上的实验结果表明，该方法分别取得了96.30%、96.13%和94.00%的准确率，并且在高度非独立同分布的环境中仍能保持约94%的准确率。同时，损失收敛速度和遗忘率的改善也证明了该方法能有效缓解由数据差异性带来的性能下降和训练不稳定问题。这些结果表明，FedRAPT能够在非独立同分布条件下实现稳健且一致的表示学习。