FedRGT：一种基于奖励引导的图神经网络，用于去中心化联邦学习中的拓扑优化

《Journal of Parallel and Distributed Computing》：FedRGT: Reward-guided graph neural network for decentralized federated learning topology optimization

　　阿提夫·里兹万|阿南·纳瓦兹·汗|拉希德·艾哈迈德|卡齐·瓦卡斯·汗|崔民硕|金度贤•提出一种新的学习方法，能够提升多设备间的协作效率。•调整设备连接以加快学习速度并降低通信需求。•处理设备间数据的不均衡问题，使学习更加稳定可靠。•相比常见的网络连接结构，该方法的学习速度更快且精度更高。•非常适合用于现实学习场景中的小型低功耗设备。引言随着通信技术的快速发展，全球网络中的边缘设备数量大幅增加。因此，全球网络的规模持续扩大，这就需要不断升级底层物理基础设施。例如，光纤作为通信介质的广泛应用极大地提升了数据传输能力。设备之间的互联结构，即网络拓扑，对网络的效率和可扩展性起着至关重要的作用。尤其是当节点相互协作执行特定任务时，拓扑的选择成为优化性能和确保顺畅通信的关键因素[1]。在联邦学习中，多个客户端通过保持原始数据本地化来保护数据隐私，同时协作训练全局模型。通常会使用参数服务器通过各种技术汇总来自客户端的模型更新[2]、[3]、[4]、[5]、[6]、[7]。联邦学习主要采用两种方式：一种是通过分布式随机梯度下降训练模型梯度后进行共享，另一种则是将部分训练好的模型参数（权重）共享给参数服务器[8]、[9]。然而，以参数服务器为中心的联邦学习存在通信瓶颈，因为所有节点都必须将模型更新发送到中央服务器，这带来了可扩展性和效率方面的问题[10]、[11]。为了解决这些限制，去中心化联邦学习应运而生，它实现了节点间的点对点通信，无需依赖单一的中央实体，从而提升了系统的弹性和容错能力[12]。联邦学习已被广泛应用于物联网和边缘计算领域，这些领域对数据隐私和分布式计算有着重要需求[13]、[14]、[15]。在去中心化联邦学习中，高效的邻域选择至关重要，因为它决定了节点如何交换更新，进而直接影响本地模型的性能。本研究致力于通过动态选择最优的点对点连接来优化去中心化联邦学习的拓扑结构，以最大化本地模型的性能。在去中心化联邦学习中，根据具体场景和本地数据量，节点可以是高性能计算设备，也可以是资源有限的边缘设备[16]、[17]。本研究重点关注资源受限的边缘设备，这类设备会在本地训练模型，并在节点间交换模型以实现协同学习。在边缘网络中，这类设备通常部署在偏远地区，往往没有液晶显示器等可直接用于实时监控的用户界面。为了解决这一难题，本研究提出了去中心化数字孪生网络，该网络能够实现对参与去中心化联邦学习的远程部署节点的实时监控和控制。去中心化数字孪生网络包含一个协调器，负责处理复杂的计算任务并优化网络拓扑。数字孪生框架可以复制物理设备，提供一个虚拟环境来追踪实际运行情况。在此架构下，会在去中心化数字孪生网络上创建一个去中心化联邦学习网络的副本，用于评估本地和全局模型的性能以及监测节点间的通信情况。此外，所有节点的初始模型也在去中心化数字孪生网络中设计完成，然后分发到去中心化联邦学习网络中。文中还提供了详细的去中心化数字孪生网络仿真结果作为补充材料。在边缘网络中，设备面临两大主要挑战：系统异构性和统计异质性，这两者都会显著影响去中心化联邦学习的效率。系统异构性指的是节点之间在计算能力上的差异。例如，配备1.5吉赫兹四核处理器的树莓派4，其完成本地训练一轮的时间会比配备1.2吉赫兹处理器且内存较小的树莓派3快得多。CPU频率、内存大小和通信带宽的差异会导致节点完成本地训练的时间不同，从而在同步协议中产生落后节点的问题。而统计异质性则是指节点间本地数据分布的差异，数据可能并非独立同分布。例如，在交通监控应用中，城市地区的摄像头捕捉到的图像多为汽车和公交车，而农村地区的摄像头则主要拍摄卡车和自行车。当这些节点通过去中心化联邦学习进行协作时，不同的类别分布会导致本地模型出现分歧，使得全局模型的收敛变得复杂。这两种类型的异质性虽然各自独立，但彼此之间存在关联。系统异质性会导致同步延迟，而统计异质性则会导致模型分歧。要同时解决这两个问题，就需要一种能够同时考虑节点训练质量和通信延迟的拓扑优化策略。例如，如果节点A的计算能力比节点B强，它可能需要等待节点B完成训练后再进行模型聚合。节点B速度较慢，可能是由于其计算资源有限，或者处理的数据集更为复杂多样。如果节点A因为节点B性能较差而拒绝接收其模型更新，就可能会错过有价值的信息，因为节点B或许能为全局模型提供关键信息。为了解决这一问题，本研究提出了FedRGT，这是一种基于奖励引导的图神经网络框架，能够动态优化去中心化联邦学习中的网络拓扑结构以进行模型聚合。FedRGT会根据节点的模型性能和训练延迟为相邻节点分配奖励，这样即使是一些速度较慢的节点，只要其贡献有价值，其连接也能得以保留。这种自适应方法有助于减轻异质性带来的负面影响，提高整体训练效率及模型收敛速度。在边缘网络中，节点往往受到严格的计算限制，这限制了它们进行大规模训练和通信以优化网络拓扑的能力。为了解决这些限制，我们引入了数字孪生协调器，如图1(c)所示，该协调器可以承担高计算强度的任务，同时避免了传统参数服务器的集中式作用。协调器不会汇总节点的模型参数，而是接收节点本地学习得到的奖励向量，再利用图神经网络动态优化去中心化网络拓扑。这种被称为FedRGT的自适应方法将在第3节中详细介绍。通过学习能够提升模型收敛效率的最优拓扑结构，FedRGT即使在高度异构且资源受限的环境中，也能实现高效且可扩展的训练。协调器与参数服务器的区别需要明确的是，FedRGT中的协调器与传统参数服务器有所不同。在传统的联邦学习中，参数服务器会从所有客户端收集模型参数（或梯度），进行全局聚合处理（如FedAvg），然后将更新后的全局模型广播回所有客户端。而FedRGT中的协调器并不执行这些操作。它仅接收来自节点的标量奖励值（准确率和延迟指标），利用这些值训练图神经网络以预测拓扑结构，之后仅将更新后的邻接矩阵（一个二进制的n×n矩阵）广播回节点。模型训练、模型交换以及模型聚合都在节点之间以完全的点对点方式进行。因此，我们将FedRGT定义为“协调器辅助的联邦学习”，而非集中式联邦学习。即便协调器出现故障，节点仍可以依据之前已知的拓扑结构继续运行，从而平滑过渡到静态的联邦学习模式，同时不会失去协同训练的能力。本文的主要贡献如下：1. 我们提出了FedRGT，这是一种基于奖励引导的方法，可用于协调器辅助的联邦学习中动态优化通信拓扑结构。FedRGT会根据节点的性能和通信延迟调整连接方式，从而在异构环境中提升模型收敛速度。2. 为了解决边缘设备的计算限制，我们引入了数字孪生协调器，该协调器可以承担高计算强度的任务并优化拓扑选择。它不汇总模型参数，而是收集节点的奖励向量，再利用图神经网络优化网络结构，从而在资源受限的情况下实现高效训练。3. 我们使用CIFAR-10、CIFAR-100和Fashion-MNIST数据集，在资源受限的边缘设备（树莓派4）上，将FedRGT与静态拓扑结构以及随机k算法、流言算法等动态基准方法进行了对比测试。我们还进行了最多20个节点的规模分析、落后节点模拟实验以及通信开销的定量测量。实验结果表明，相较于现有的去中心化拓扑结构，FedRGT具有更快的收敛速度、更高的准确率以及更低的通信开销，充分证明了其在现实边缘网络中实现高效可扩展联邦学习的有效性。本文的其余结构如下：第2节回顾了关于去中心化联邦学习及拓扑优化方法的相关研究；第3节介绍了所提出的FedRGT框架，详细阐述了其基于奖励引导的图神经网络机制用于动态拓扑优化；第4节给出了拓扑学习过程的数学建模，包括奖励机制、优化目标以及约束条件；第5节介绍了实验设置和性能评估方法，使用真实的边缘设备将FedRGT与传统的联邦学习拓扑结构进行了比较；第6节对全文进行总结。相关研究联邦学习使得多个分布式节点能够在避免原始数据交换的前提下协同训练全局模型，从而保护数据隐私。为提升联邦学习的效率，人们提出了多种策略，包括选择性招募参与者、基于数据陈旧度的聚合方法以及个性化模型更新等[7]、[18]、[19]、[20]。尽管取得了这些进展，联邦学习仍然面临若干根本性的挑战。有一篇综述文章[21]将这些挑战归纳为四大类：去中心化网络和学习模型我们考虑由n个节点组成的集合N={1,2,?,n}，这些节点共同协作解决机器学习任务。在这种场景下，每个节点i∈N都代表一台在内存和计算能力方面都较为受限的边缘设备，它们拥有各自的私有数据集Di，而这些数据集的特征或标签分布可能在所有节点间并非独立同分布。我们的目标是通过最小化以下全局损失函数来训练全局模型w*：F(w)=∑i=1n|Di|∑j=1N|Dj|Fi(w)，其中|Di|表示数据集Di的大小。此外，F问题建模设Ar∈{0, 1}n×n为候选拓扑结构的邻接矩阵。我们定义Ai(Ar|wr,U)为在给定拓扑结构Ar以及参数设置wr,U=[w1r,U,…,wnr,U]的情况下，节点i在通信轮次r中聚合模型所能达到的预期准确率性能。那么，在Ar结构下所有节点经过模型聚合后的平均准确率性能，就可以被视为去中心化联邦学习的整体性能，表达式如下：P(Ar|wr,U)=1n∑i=1nAi(Ar|wr,U)，这里我们假设所有节点的地位是平等的；不过，如果实验环境为了评估所提出的FedRGT拓扑结构的性能，我们将CIFAR-10数据集以非独立同分布的方式分配到n=10个去中心化联邦学习节点上。如图3所示，CIFAR-10数据集中的十个类别在各个节点间的分布并不均匀。每个节点拥有的训练样本为随机选取的四个或五个类别。CIFAR-10数据集包含50,000个训练样本和10,000个测试样本，我们将其训练样本分为40,000个样本的Ditrain集合和10,000个样本的Dival集合。结论本文提出了FedRGT框架，这是一种基于协调器辅助的强化学习驱动的图神经网络方法，可用于在非独立同分布数据条件下优化去中心化联邦学习的网络拓扑结构。该框架通过让每个节点根据动态分配的奖励信号有选择地建立或断开连接，从而解决了模型分歧和通信效率低下的问题。我们通过收敛性分析表明，FedRGT的收敛速度与现有的去中心化联邦学习方法相当。CRediT作者贡献声明阿提夫·里兹万：写作——审阅与编辑，写作——初稿撰写，方法论，形式化分析，数据整理，概念构建。阿南·纳瓦兹·汗：写作——审阅与编辑，软件开发，形式化分析，数据整理。拉希德·艾哈迈德：写作——审阅与编辑，指导监督，数据整理，概念构建。卡齐·瓦卡斯·汗：写作——审阅与编辑，软件开发，研究调查，形式化分析。崔民硕：写作——审阅与编辑，软件开发，资金筹集，形式化分析。金度贤：利益冲突声明作者声明不存在任何可能影响本文研究成果的已知财务利益或个人关系。阿提夫·里兹万目前是瑞典乌梅奥大学计算机科学系自主分布式系统实验室的博士后研究员及STINT奖学金获得者。此前，他曾是在韩国庆熙大学的博士后研究员。他于2020年在巴基斯坦COMSATS大学获得计算机科学硕士学位，2024年在韩国济州国立大学获得计算机工程博士学位。他的研究兴趣包括联邦学习等领域。