多指标客户端激活方法：实现快速且准确的联邦学习

《ACM Transactions on Intelligent Systems and Technology》：Multi-Metric Client Activation Method for Fast and Accurate Federated Learning

联邦学习非独立同分布数据下客户端激活方法研究。提出多指标偏差概念，结合本地损失与梯度范数，设计优先选择高代表性数据且低梯度曲率客户端的激活策略，平衡收敛速度与泛化性能。实验表明该方法在CIFAR-10等数据集上较传统方法提升12.7%验证精度，较SOTA方法高2.5%，尤其适用于强非-IID和分布失衡场景。

　　

摘要

人工智能概述

人工智能生成的摘要

版本创建于2026年2月3日。

本研究解决了联邦学习（FL）中的挑战，在这种学习方式中，客户端之间的数据具有强烈的非独立同分布（non-IID）特性。传统方法通过均匀随机激活客户端来确保梯度估计器的无偏性，这从理论上保证了收敛到最优解。然而，在非IID条件下，这种无偏方法往往在优化效率和泛化性能方面表现不佳。最近的研究引入了基于客户端局部损失的有偏激活方法，虽然加速了收敛速度，但忽略了其对模型泛化能力的影响。

作者提出了一种新的多指标偏差概念，结合了两个标准：局部损失和累积局部梯度的范数。局部损失较高的客户端通常拥有更能代表全局数据分布的数据集，因为在其数据上收敛较慢意味着类别多样性更丰富。同时，较小的梯度范数与损失函数中的平坦最小值相关，而平坦最小值有助于提高泛化能力。他们的方法更频繁地激活具有这些特征的客户端，从而在训练效率和泛化能力之间取得平衡。

他们的客户端激活方法包括：选择一个具有高局部损失的候选池，通过优先选择梯度范数较小的客户端来过滤这个池，然后使用可调参数进行加权随机采样以控制偏差强度。该方法优先考虑那些能够促进模型快速且泛化能力强的数据贡献者。该方法引入的计算和通信开销最小，因为梯度范数是从已经通信的更新中得出的，且只共享局部损失值和更新幅度，因此不会增加现有的联邦学习协议之外的隐私风险。

在包括CIFAR-10、FEMNIST、tf_flowers、Shakespeare和Google Speech Commands在内的多个基准数据集上的广泛实验表明，与均匀随机客户端采样和最先进的有偏方法相比，该方法在验证准确性上取得了显著提升，并且收敛速度更快。特别是在数据分布强烈非独立和不平衡的情况下，优势更为明显。此外，该方法还与各种联邦优化算法相结合，显示出一致的性能提升。

理论分析证实，尽管有偏客户端激活会引入一定的解偏差，但它能更快地收敛到最小值附近的区域，并减少优化误差的方差成分，从而具有实际优势。消融研究显示，结合高局部损失和低更新范数进行客户端选择可以有效抑制全局模型的梯度范数，使模型朝着参数分布更平坦的方向发展，从而提高泛化能力。

总之，这种多指标客户端激活方法结合了反映数据集代表性的指标和基于梯度的泛化线索，以加速联邦训练并增强模型的鲁棒性。实证研究验证了，设计良好的偏差机制可以在不导致严重解偏差的情况下改善联邦学习的结果，为现实世界的联邦学习系统指明了有前景的方向。

此内容由人工智能生成。了解更多

摘要

虽然无偏梯度估计器在经验风险最小化问题中能确保解的无偏性，但在强非独立同分布（non-IID）的联邦学习环境中，它们会显著降低优化效率和泛化性能。尽管最近的研究展示了有偏估计器的应用前景，但这些研究通常只关注收敛速率而忽视了泛化性能。我们提出了一种新的多指标偏差概念，该概念通过局部损失和局部梯度范数来量化，并基于这一概念设计了客户端激活方法。所提出的方法优先在更能代表全局数据集的本地数据集上进行训练，从而加快收敛速度并提高泛化能力。我们的广泛实证研究表明，在给定的训练周期内，通过谨慎地在客户端激活中引入偏差，可以显著提高验证准确性。在代表性的机器学习基准测试中，我们的方法比均匀随机采样高出\(12.7\%\)的准确性，比最先进的有偏客户端激活方法高出\(2.5\%\)的准确性。

人工智能生成的摘要（实验性总结）

本摘要是使用自动化工具生成的，并非由文章作者撰写或审核。它旨在帮助读者发现研究内容的相关性，并协助来自相关研究领域的读者理解该研究。它是对作者提供的摘要的补充，作者提供的摘要仍然是论文的官方总结。完整文章才是权威版本。点击此处了解更多。

点击此处对摘要的准确性、清晰度和实用性进行评论。您的反馈将有助于改进未来的版本。