《SoftwareX》：Semi-asynchronous federated learning in Flower: Framework extension and performance assessment
编辑推荐：
本文提出对Flower联邦学习框架的扩展，以支持半异步联邦学习（Semi-Asynchronous Federated Learning，SAFL）。所提方法调整传统同步范式，以更好地处理客户端异构性和掉队者效应（straggler effects）。通过引入
本文提出对Flower联邦学习框架的扩展，以支持半异步联邦学习（Semi-Asynchronous Federated Learning，SAFL）。所提方法调整传统同步范式，以更好地处理客户端异构性和掉队者效应（straggler effects）。通过引入半异步训练策略，系统允许客户端之间部分同步，同时保持训练效率和可扩展性。研究人员在Flower中实现并评估所提修改，将其实例化为FedSaSync策略，在异构环境中相较于完全同步基线展示出改进的鲁棒性和减少的空闲时间。结果表明，SAFL能够在边缘和分布式学习场景典型的异构环境中平衡收敛稳定性和系统效率。
Víctor Hidalgo-Izquierdo、Carmen Carrión和Blanca Caminero围绕边缘与分布式环境中联邦学习（Federated Learning，FL）的同步效率问题开展研究。研究背景是：分布式数据生成设备快速增长，传统机器学习依赖集中式云基础设施，将边缘数据传至远程服务器训练，带来通信开销、延迟、隐私与安全等问题；FL采用客户端—服务器架构，由中央服务器编排训练、客户端在私有数据上本地训练并周期性上传模型更新，从而避免直接共享数据。但传统FL通常采用同步训练，只有收到所有参与客户端贡献后才更新全局模型；在异构物联网环境中，较慢或能力较弱的掉队者（stragglers）会延迟整个训练过程，使学习节奏由最慢参与者决定，降低系统效率与可扩展性。异步联邦学习（Asynchronous Federated Learning，AFL）放松严格同步，允许客户端独立提交更新，但可能降低效率并妨碍模型收敛，过时更新会影响收敛。SAFL旨在在全同步与异步之间取得平衡，近年受到关注。现有开源框架包括TensorFlow Federated、FATE、Flower和PySyft；Flower以模块化、轻量、社区活跃和持续开发为特点，将联邦基础设施与本地训练逻辑解耦，可与PyTorch、TensorFlow或JAX集成，但当时缺乏半异步机制支持。半异步同步方法已有FedSA、ASAFL、FedSAP、ASFL、SASAFL等不同形式，当前FL研究的一个主要挑战是缺乏标准化同步策略框架，研究人员常依赖定制的隔离仿真环境，妨碍结果可复现。为此，研究人员在Flower应用层实现核心半异步编排，提供可访问、标准化的环境，使未来SAFL研究能够在可靠平台上实现、基准测试和复现；据作者所知，这是Flower框架中首个半异步训练方法实现。研究人员扩展Flower并保持其模块化架构，在服务器模块中以FedSaSync覆盖标准FedAvg（Federated Averaging，联邦平均）基线，以send_and_receive_semiasync()作为同步与通信核心机制，并以sample_nodes_semiasync()从空闲节点中确定性选择可用客户端。当收到预定义数量M个客户端更新时触发聚合，不等待其余客户端；M为下限而非严格基数约束，同一轮询中多个客户端同时完成时可聚合多于M个更新；最后一轮同步等待所有剩余更新。该实现默认不丢弃也不降权延迟更新，而是在消息元数据msg.metadata.group_id中保留训练轮标识，从而将同步机制与具体聚合启发式解耦，便于子类化实现陈旧衰减加权或有界陈旧阈值等策略。辅助扩展包括数据管理、客户端训练时间监控、慢客户端模拟、可配置轮询间隔、指标聚合与执行日志，以及通过种子和run-id保证可复现。FedSaSync被定位为开源执行与编排中间件，严格分离低层并发编排与高层算法逻辑，特定算法机制可作为正交策略在其上实现和基准测试；将FedProx等FedAvg派生策略适配到半异步中间件只需声明新超参数、更新客户端训练流程、令服务器策略类继承FedProx而非FedAvg等步骤，FedProxSaSync即为例。研究结论认为，SAFL能够在异构环境中平衡收敛稳定性与系统效率；FedSaSync在客户端同质时行为类似FedAvg，随系统异构性增加而优于FedAvg，可通过减少空闲时间和提高资源利用率缓解客户端异构性影响；该工作提供了可复现的研究工件，并为未来框架级扩展奠定基础。
关键技术方法概括（不超过250字）：本研究不使用临床样本队列；实验采用CIFAR-10和MNIST标准基准数据集，10类数据分布于20个客户端，按独立同分布（IID）或Dirichlet非独立同分布（non-IID）划分，并模拟不同比例慢客户端。系统基于Flower v1.37.0，以Ray v2.55.1为执行后端，慢客户端每本地epoch延迟5.0 s，并发绑定逻辑CPU；跨节点可扩展性实验使用3个计算节点、共100个逻辑CPU和100个客户端，本地epoch由1增至3，评估阶段集中化。实现包含FedSaSync策略、半异步收发与确定性客户端选择、轮询聚合、陈旧度与参与度日志、基于种子的可复现配置，并使用pytest验证超时与失败条件下客户端和服务器组件正确性。
研究结果：3.3.1 收敛性与效率：通过CIFAR-10 IID下不同M与慢客户端比例的测试损失、测试准确率随墙钟时间曲线及效率指标比较，得出M=20时半异步实现自然收敛至标准同步FedAvg；较小M可快速完成全局轮并提高损失下降效率，但最终与峰值精度通常偏向全同步或较高M；当M≤N?N
slow时系统以快客户端速度运行，当M>N?N
slow时服务器需等待，慢客户端比例增加时效率向较小M转移，超过快客户端数量会出现明显性能下降和服务器停顿。3.3.2 公平性与陈旧度分析：通过客户端参与公平性和50轮累积陈旧度分析，得出IID下快慢客户端组通常保持均衡参与，较低M减少整体参与并带来速度提升；慢客户端比例增加时M=N?N
slow临界边界清晰，跨越后掉队者被系统绕过、参与频率显著下降；较大M通过等待更广客户端池降低累积陈旧度，所有执行存在慢客户端执行时间周期性对齐造成的陈旧度尖峰，但临界范围内底层陈旧度仍较低。3.3.3 调度器开销：通过轮询调用、轮询开销、服务器CPU利用率和聚合速率指标分析，得出较低M通常产生更少总轮询调用，轮询相对开销保持约0.4%—0.6%的较低且稳定水平；较低M使服务器CPU使用率高于同步基线，例如Slow=0.0时M=8达23.4%，因聚合触发更频繁；较低M在不受干扰时可达较高消息吞吐，掉队延迟增加时与未受掉队影响容量对齐的中间配置保持优于同步基线的消息吞吐。3.3.4 数据异构性的影响：通过CIFAR-10 non-IID α=0.5下损失、公平性与陈旧度分析，得出non-IID损失曲线因客户端漂移更不稳定但总体趋势与IID一致；过高M在non-IID下比标准FedAvg更差，因为等待大量偏斜更新会放大梯度冲突并延迟全局进展；non-IID划分使客户端参与变得分散，拥有较小本地数据集的节点更快完成并更频繁贡献，但快慢客户端参与趋势分离仍保持；陈旧度更分散，严重周期性尖峰被缓解，较低M因快节点频繁更新使基线陈旧度略高，但绝对峰值较IID降低。3.3.5 可扩展性分析：通过跨3节点、100个逻辑CPU和100个客户端的跨孤岛实验，调整本地epoch并采用集中式评估，得出系统在更大规模部署中保持与较小规模一致的运行结构和收敛行为，确认其在跨孤岛环境中的可扩展性。
讨论部分总结：软件限制包括实现基于Flower并继承其设计约束，尤其依赖Grid抽象管理联邦客户端与通信，半异步实现与框架执行模型部分耦合；Grid主要针对同步执行模式优化，引入半异步行为在大量客户端或高度可变通信模式下可能性能次优；单工作站墙钟评估受硬件并发限制，Ray按逻辑CPU资源槽调度，异构设置中延迟客户端占用CPU槽会使快客户端在调度队列中停滞，产生人工队头阻塞，因此将并发绑定至逻辑核心作为受控基线以保持墙钟保真，更大客户端群体可通过扩展Ray集群跨物理节点评估；半异步度需预先定义并在训练中固定，假设部署前已知客户端性能特征，而真实联邦环境尤其物联网中客户端可用性、计算能力和通信质量会动态变化，静态半异步度可能变为次优并限制适应变化条件的能力。影响方面，该工作扩展Flower以支持SAFL机制，展示如何将半异步联邦学习纳入现有平台；实现虽兼顾兼容性与可复用性，但更广泛框架生态采用仍需额外验证、维护和社区接受；该实现作为有用研究工件，便于在现实联邦学习环境中评估半异步执行策略，公开源代码旨在支持可复现并为未来研究和潜在框架级扩展提供基础。研究结论翻译：本工作提出FedSaSync，即Flower框架的一个扩展，用于实现SAFL，使联邦系统能够更好地适应异构和低资源环境，在完全同步FL与异步FL之间取得折中。文中详细描述了软件架构和运行机制，提供了所提机制的全面概述。所提策略已在具有时变客户端的模拟环境中测试，以建模异构条件。实验在CIFAR-10和MNIST数据集上进行，改变模拟慢客户端以分析不同尺度下的异构环境。实验结果表明，当所有客户端同质时，FedSaSync策略的行为与FedAvg相似，而随着系统异构性增加，其表现优于FedAvg，证明半异步协调可通过减少空闲时间和提高资源利用率有效缓解客户端异构性的影响。尽管结果有前景，所提方法仍受若干限制，包括对Flower执行模型的依赖、面向同步操作优化的通信后端所施加的约束，以及使用固定半异步度。这些因素可能限制高度动态联邦环境中的可扩展性和适应性，促使未来研究框架无关和自适应的半异步策略。特别是，未来工作将探索基础设施无关的半异步策略，能够利用标准FL工作流中固有元数据经验性地建模客户端行为，而无需额外客户端画像或遥测以避免开销。总体而言，结果表明FedSaSync构成异构环境中SAFL的一种有前景的初始方法，并为自适应协调机制的未来研究奠定基础。
