ATFA：基于拉普拉斯热扩散的拓扑感知聚合方法用于联邦学习

《Neural Networks》：ATFA: Topology-aware Aggregation with Laplacian-based Heat Diffusion for Federated Learning

　　**摘要**联邦学习（FL）在非独立同分布（non-IID）场景中面临严重的性能退化问题，其根源在于本地模型的优化方向出现分歧。传统的聚合技术大多基于欧氏平均，易受随机优化的影响，且往往无法捕捉客户端更新背后的内在流形结构。为应对这些局限，我们提出了自适应拓扑感知联邦聚合（ATFA）方法，该方法将全局聚合重构为在动态演化的客户端图拓扑上的拓扑感知知识融合过程。具体而言，ATFA引入历史趋势信息以捕捉客户端间关系的跨轮演化。在此基础上，采用基于密度校准的软邻接矩阵，利用鲁棒的离散统计量构建稀疏且自适应的客户端图拓扑。随后，ATFA通过基于归一化拉普拉斯矩阵的热扩散实现结构化知识融合，使模型信息在强相关客户端之间优先融合。在标准基准数据集和三个医学影像基准数据集上的大量实验表明，ATFA在各种异构性设置下均取得了具有竞争力的整体性能，并实现了显著的性能提升。进一步的实验分析证实，所提出的机制能够提升聚合的稳定性与鲁棒性。**引言**随着物联网（IoT）的快速发展，数十亿智能设备持续生成海量感知数据，为人工智能模型的训练提供了前所未有的机遇（Wazid等，2023）。在传统机器学习框架中将分布在边缘终端的数据集中化会带来严重的隐私风险。因此，联邦学习（FL）作为一种去中心化的学习范式应运而生，它能够在多机构之间实现协同模型训练，而无需交换原始数据（Panda等，2025）。在联邦学习中，客户端执行本地训练并交换模型更新而非原始数据，从而在保护数据隐私的同时受益于协同学习。联邦平均算法（FedAvg）是应用最广泛的联邦学习算法之一（McMahan等，2016）。在FedAvg中，每个参与客户端独立训练本地模型，服务器根据各数据集的规模比例聚合参数以构建全局模型。然而，现实中的客户端数据通常是不独立且非同分布的（non-IID）。在统计异构性下，FedAvg容易受到客户端漂移和更新冲突的影响（Ahn等，2025；Huang等，2025）。为缓解数据异构性的不利影响，研究人员开发了众多联邦学习方法（Jing等，2023），包括自适应聚合策略（Wang等，2025；Zhou等，2025a）、知识蒸馏策略（Le等，2025；Zhao等，2024）和迁移学习策略（Yi等，2024）。此外，基于图的联邦学习方法也得到了越来越多的研究，用于显式建模客户端之间的结构依赖关系（Dinh等，2022；Sattler等，2021）。这些方法通常从模型参数、本地更新、梯度或行为表示中编码客户端间关系（Ge等，2024）。推断出的拓扑结构可用于估计客户端重要性、指导模型聚合或促进跨客户端的结构化知识传播（Abed等，2026）。作为基于图的联邦学习的代表性类别，基于GCN的方法将客户端建模为图节点，并采用可训练的图卷积层从图邻域聚合信息（Song等，2025）。尽管这些方法提供了利用客户端间结构的有效手段，但其聚合行为通常由估计的拓扑结构和学习得到的图卷积参数共同决定。此外，客户端图通常从预定义结构或每个通信轮次的瞬时观测中构建，这可能导致所得到的拓扑结构对瞬时的更新波动敏感，且无法捕捉客户端间依赖关系的时序演化。许多基于聚合的联邦学习方法隐含地假设本地模型更新在共享参数化下具有充分的兼容性，使得它们可以直接组合以获得有效的全局模型。在异构数据分布下，客户端优化不同的本地目标，并可能沿着不同的优化轨迹趋向各自的局部最优解。如图1所示，从客户端A、B和C提取的特征表示沿着不同的轨迹演化，并在低维潜在空间中占据可区分的区域。加权平均可能会聚合在几何上不对齐且方向上冲突的本地更新，从而阻止全局模型充分反映任何单个客户端的表示结构。此外，客户端之间的关系并非静态的，因为本地模型参数、更新梯度和学习到的表示之间的相似度会随着通信轮次的推进而持续演化。预定义的客户端图无法捕捉客户端间协作关系的演化本质，而仅从单个轮次的观测构建的图则对更新的瞬时波动和本地训练中存在的噪声过于敏感。鉴于推断出的拓扑结构对后续的信息传播和模型聚合具有关键影响，这种不稳定性极有可能导致连续通信轮次中采用的协作方案出现不一致。因此，核心挑战在于构建一个稀疏且自适应的协作拓扑，使其能够适应逐轮的关系演化，并对瞬时的本地波动保持鲁棒性。受此启发，我们提出了自适应拓扑感知联邦聚合（ATFA）方法，该方法将客户端间拓扑构建和拓扑感知知识扩散组织为聚合过程的两个连续阶段。在每个通信轮次中，ATFA首先通过引入历史趋势信息计算客户端间依赖关系，然后构建图拓扑。基于所得拓扑，ATFA随后执行结构化知识融合。主要贡献总结如下：- 我们开发了一种轮次自适应的稀疏拓扑构建方法，将历史趋势信息与密度校准的阈值相结合，以捕捉客户端之间持久的依赖关系和亲和度。- 我们设计了一种基于拉普拉斯矩阵的热扩散方法，在自适应构建的客户端间图上执行拓扑感知的知识融合，以增强聚合稳定性。- 我们分析了演化中的客户端拓扑的稳定性行为，并在标准基准数据集和医学影像基准数据集上对ATFA进行了广泛评估。实验结果表明，与代表性基线方法相比，ATFA表现出稳定的收敛性和具有统计显著性的整体性能提升，支持了其在所评估设置下的鲁棒性和跨数据集的泛化能力。本文其余部分的组织如下。第2节回顾了相关工作，重点关注联邦学习、聚合策略和图学习。第3节介绍了所提出的ATFA方法，并详细描述其核心组件。第4节概述了实验设置，随后讨论了实验结果。最后，第5节提供了全面的总结，并指出了未来研究的方向。**数据异构下的联邦学习**联邦学习（FL）使多个客户端能够在不直接交换原始数据的情况下协同训练共享模型。然而，当客户端数据遵循异构的non-IID分布时，传统联邦学习算法可能会遇到收敛缓慢和性能下降的问题。一种常见的研究思路是通过修改本地目标来约束客户端漂移，并提高本地更新与全局优化之间的兼容性（He等，2024）。**自适应拓扑感知联邦聚合（ATFA）**本节对ATFA进行全面概述。ATFA利用历史趋势信息动态构建客户端图，并通过热扩散执行拓扑感知的聚合。所提出的ATFA框架如图2所示。**实验设置**本研究中的所有实验均在Python 3.9.7和PyTorch 1.10.2环境下进行。**模型。** 每个客户端训练一个包含两个卷积层的轻量级CNN，这在non-IID联邦学习基准测试中是标准配置（McMahan等，2016）。**联邦设置。** （1）客户端数量（N）：默认值为10。我们设置50个客户端以评估可扩展性性能（表6）。（2）参与比率（C）：默认值为1.0（完全参与）。我们也在可扩展性评估中研究了部分参与场景。**结论与未来工作**在本研究中，我们提出了自适应拓扑感知联邦聚合（ATFA）方法，这是一种旨在缓解异构联邦环境中模型分歧的新方法。通过捕捉本地模型更新的内在流形结构，ATFA高效地将聚合范式从简单的欧氏平均转变为拓扑感知的聚合。历史趋势信息能够缓解随机优化中的分歧，并建模客户端关系的演化。**CRediT作者贡献声明**孟贤秋：撰写初稿、方法学、资金获取、概念化。徐高潮：项目管理、方法学。徐旭：软件、数据整理。李龙：可视化、验证、软件。葛嘉琪：验证、软件。蒋建华：审阅与编辑、方法学。**利益冲突声明**作者声明不存在已知的竞争性财务利益或个人关系可能影响本文所报告的工作。