在客户端参与不连续的情况下实现无缝分层联邦学习：一种分阶段决策方法论

《IEEE Transactions on Mobile Computing》：Toward Seamless Hierarchical Federated Learning Under Intermittent Client Participation: A Stagewise Decision-Making Methodology

分层联邦学习动态客户端优化及分阶段NP难问题求解方法，通过长期参与客户端识别和备用客户端选择机制，实现系统成本最小化与模型快速收敛。实验验证该方法在模型精度和系统成本上优于现有基准。

　　

摘要：

联邦学习（FL）是一种开创性的分布式学习范式，它允许设备/客户端构建一个共享的全球模型。该模型通过客户端与中央服务器之间的频繁模型传输来获得，但这会导致较高的延迟、能源消耗以及回程链路的拥塞。为了解决这些问题，分层联邦学习（HFL）应运而生，它将客户端组织成多个集群，并利用边缘节点（例如边缘服务器）在客户端和中央服务器之间进行中间模型聚合。目前关于HFL的研究主要集中在提高模型准确性、延迟和能源消耗方面，这些研究都是在客户端数量稳定/固定的场景下进行的。然而，如何处理客户端的动态可用性——这是现实世界场景中的一个关键问题——仍然缺乏探索。本研究深入探讨了在客户端参与间歇性的情况下，如何优化客户端选择和客户端与边缘节点的关联，以最小化整体系统成本（即延迟和能源消耗），同时实现快速模型收敛。我们发现，实现这一目标需要解决一个复杂的NP难问题。为此，我们提出了一种分阶段的方法，将解决方案分为两个阶段：计划A和计划B。计划A专注于识别在后续模型训练轮次中有较高参与机会的长期客户端；计划B作为备份，在长期客户端无法参与时选择替代客户端。这种分阶段的方法为客户端选择提供了新的视角，可以通过实现低开销的决策过程来提升HFL和传统FL的性能。通过对多种数据集的评估，我们证明我们的方法在模型准确性和系统成本等关键因素上优于现有的基准测试。

引言

智能设备的普及产生了大量数据，推动了物联网（IoT）生态系统中人工智能（AI）/机器学习（ML）应用的快速发展[1]。传统的AI/ML方法通常需要将分布式IoT设备的数据汇集到中央位置（例如服务器）进行模型训练。然而，隐私法规往往限制了设备数据在网络中的传输。这引发了从集中式向分布式AI/ML方法的转变，联邦学习（FL）[3]、[4]、[43]成为了一种常见的方法。FL的流程是从中央服务器（例如云服务器CS）开始，向客户端（例如移动设备）广播全球模型。随后，每个客户端首先将其本地模型与全球模型同步，然后使用自己的数据进行本地模型训练（例如通过梯度下降）。最后，每个客户端将其本地模型参数上传回服务器。服务器汇总接收到的模型以更新全球模型（例如通过加权平均）。这个本地训练和全局模型聚合的过程会持续进行，直到达到所需的性能[2]。