FedCAP：基于社区意识的聚合与本地对齐技术，用于个性化联邦学习

《Future Generation Computer Systems》：FedCAP: Community-Aware Aggregation and Local Alignment for Personalized Federated Learning

本文提出FedCAP框架，通过社区感知的双层聚合机制和个性化对齐机制，有效缓解联邦学习中的负迁移和语义不一致问题，实验表明其在多领域数据集上优于现有方法。

　　

作者：姚博浩、李成、陈伟豪、陈彦瑞

中国黑龙江省齐齐哈尔市齐齐哈尔大学计算机与控制工程学院，邮编161006

摘要

个性化联邦学习（PFL）通过为每个客户端定制模型来应对联邦环境中的异构性问题。然而，现有的PFL方法在平衡全局协作与本地个性化方面仍面临困难。在客户端之间，传统的聚合机制难以区分客户端更新的质量和相关性，这使得它们容易受到落后客户端的影响，并引发模型负面迁移。在客户端内部，全局参数直接覆盖了共享的骨干网络，破坏了共享参数和个性化参数之间的协同作用。这加剧了它们更新目标和服务分布的差异，从而影响了模型更新的方向。在本文中，我们提出了一个名为FedCAP的新型“全局-社区-本地”框架。该框架在客户端之间建立了一个双层社区感知聚合（TCA）机制，利用客户端信息内容构建同质社区，并在这些社区内构建了一个分层聚合系统以减轻负面迁移问题。同时，在客户端内部采用了个性化对齐机制（PAM），通过逐步整合历史知识来优化对齐，避免直接覆盖全局参数，并促进共享模块和个性化模块之间的协同作用。在包括真实世界特征偏斜（HAR, PAMAP2）和模拟标签偏斜（CIFAR-10, CIFAR-100）在内的多样化和严格设置中，FedCAP的表现优于现有的最先进方法，展示了出色的鲁棒性和有效性。

引言

联邦学习（FL）允许在多个客户端之间进行协作训练，而无需披露原始数据，在医疗保健和金融等敏感领域具有重大潜力[[1], [2], [3]]。随着在敏感领域的研究深入，构建一个可信且安全的联邦学习框架变得尤为重要[4,5]。然而，现实世界的数据来自多种来源（设备、用户、组织等），导致数据具有非独立同分布（Non-IID）的特性。这使得传统FL中的单一全局模型难以适应所有客户端的本地数据分布，导致本地优化偏离全局目标[6]。这种异构性严重损害了模型的泛化能力，甚至可能导致收敛失败[7]。

为了解决上述挑战，出现了个性化联邦学习（PFL）[8,9]。通过为每个客户端定制模型，使其适应本地数据分布，同时仍能从联邦协作中受益。尽管PFL研究取得了显著进展，但在高异构性下，全局知识共享与本地个性化之间的内在冲突仍然是核心瓶颈[10]。首先，客户端之间的负面迁移。许多PFL方法在增强协作时未能充分利用客户端之间的深度互连，使其容易受到不活跃或质量低下的客户端（即落后客户端）的干扰[[11], [12], [13]]。一些个性化聚合策略[14,15]通过自适应权重或梯度惯性来减轻负面迁移。然而，这种以全局为导向的聚合优化难以适应解耦架构中共享骨干网络和个性化模块之间的异步更新，忽略了共享骨干网络在本地任务中的历史趋势信息。尽管客户端聚类策略[16,17]通过分组优化了协作，但它们忽略了异构环境中客户端之间的动态差异，导致整个系统信息过早丢失，无法有效减轻落后客户端的干扰，从而引发负面迁移。即使是图神经网络方法[18,19]也试图动态建模客户端之间的关系，但对客户端内在相关性的刻画仍然有限。因此，在涉及极端异构性或恶意攻击的场景中，噪声更新仍可能通过聚合过程影响全局模型。其次，客户端内部的不一致性。如图1所示，参数解耦方法[[20], [21], [22], [23]]通常通过分离共享参数和个性化参数来提高灵活性。然而，它们之间的知识、数据和优化目标往往存在不一致性，我们将其称为“语义差距”。此外，这些方法通常使用全局模型直接覆盖共享骨干网络，使其容易受到有偏全局原型的噪声影响，从而破坏本地更新并加剧表示偏差。为了解决这个问题，最近的工作尝试通过特征对齐来提高一致性[24]。然而，这种强制对齐缺乏灵活性，忽略了由异构更新引起的噪声传播，并限制了模型利用有用知识的能力。基于原型的方法[25,26]促进了语义一致性，但未能充分利用客户端本地训练期间积累的历史知识。这使得模型在保持本地适应性的同时吸收全局知识变得具有挑战性。总之，现有的PFL方法在处理客户端之间的负面迁移和客户端内部参数的异步更新问题时仍存在局限性。

为了解决这些问题，我们提出了一个名为FedCAP的新型PFL框架，该框架通过构建创新的“全局-社区-本地”多层次知识协作系统系统地解决了上述挑战。FedCAP包括两个协同组件：（1）双层社区感知聚合（TCA）：该机制的核心思想是构建一个具有紧密的社区内部聚合和差异化的社区间聚合的双层系统。我们利用费舍尔信息矩阵（FIM）来评估客户端信息内容，并划分同质社区以促进知识共享。这也有助于从机制上减轻落后客户端的负面迁移风险。（2）个性化对齐模块（PAM）：为了解决语义差距，PAM采用了一种策略，将本地历史与全局知识相结合，以提高共享骨干网络对本地环境的适应性并校准语义空间。这种方法减轻了共享模块和个性化模块之间的不一致性，并保留了模型的个性化能力。这种优化的架构实现了FedCAP的端到端优化，从客户端之间的高效协作过渡到客户端内部的协调。它增强了模型的泛化能力，同时确保了个性化结果。本文的贡献包括：

我们提出了FedCAP，一个具有“全局-社区-本地”架构的多层次知识协作框架，以解决客户端间协作效率低下和客户端内部语义碎片化的问题。

我们设计了一种双层社区感知聚合（TCA）机制。通过在社区内部和外部使用双层聚合策略，有效隔离了干扰更新，并在高度异构的情景中提高了模型的鲁棒性。

我们提出了一种个性化对齐机制（PAM），该机制逐步将本地历史信息与共享骨干网络知识相结合。这种方法有效减轻了对有偏全局原型的依赖，并增强了共享骨干网络和个性化模块之间的协调性。

在四个基准数据集上的广泛实验表明，FedCAP在多样化和具有挑战性的Non-IID设置下始终优于现有的最先进方法。

章节片段

客户端内部协作：从参数解耦到语义对齐

为了解决数据异构性问题，早期的PFL主要通过全局模型适应或本地微调来实现个性化。基于元学习的方法（如Per-FedAvg [27]和pFedMe [28]）旨在学习高质量的初始模型以适应本地任务。基于正则化的方法（如FedProx [29]和Ditto [30]）通过引入惩罚项来限制本地模型过度偏离全局共识。然而，这些方法很少探索模型的内部

初步知识和问题定义

PFL旨在为$w_k$$N$个异构客户端$k\in \{1,\dots ,N$学习个性化本地模型$N$，从而克服了由数据和系统异构性引起的性能限制。在主流的参数解耦范式下，每个客户端的$w_k$的本地模型$\theta$被分解为共享参数$\theta$和个性化参数${?}_k$，分别表示为$w_k=\{\theta ,{?}_k$。这里，$\theta$旨在通过所有客户端的协作来学习通用知识，而${?}_k$保持本地性以捕获

数据集和模型架构

为了评估

FedCAP在多样化和异构环境下的性能和泛化能力，我们使用了来自两个领域的数据集：物联网（IoT）和计算机视觉（CV）。对于IoT，我们选择了两个基于传感器的公共人类活动识别数据集，其中每个主体被视为一个独立的客户端，自然地在客户端之间引入了特征偏斜。

• •
  HAR [47]：该数据集记录了智能手机传感器在六种基本活动（例如，行走、坐下、躺下）期间的数据

结论

本文通过提出FedCAP这一多层次知识协作框架，解决了PFL中的两个关键挑战，即客户端间协作效率低下和客户端内部语义差距问题。该框架的核心在于其创新的“全局-社区-本地”架构，它通过使用TCA改进了客户端间协作，并通过PAM减轻了客户端内部知识的不一致性。广泛的实验表明，FedCAP始终优于现有的最先进方法

CRediT作者贡献声明

姚博浩：撰写——原始草稿，撰写——审阅与编辑，方法论，软件，验证，概念化，可视化。李成：撰写——审阅与编辑，监督，资金获取，项目管理。陈伟豪：可视化，调查，形式分析。陈彦瑞：调查，形式分析，数据管理

CRediT作者贡献声明

姚博浩：撰写——审阅与编辑，撰写——原始草稿，可视化，验证，软件，方法论，概念化。李成：撰写——审阅与编辑，监督，项目管理，资金获取。陈伟豪：可视化，调查，形式分析。陈彦瑞：调查，形式分析，数据管理。