联邦学习模型聚合优化：基于自适应权重与学习率调整的异构计算性能补偿方法 (FedAWR)

《Future Internet》：FedAWR: Aggregation Optimization in Federated Learning with Adaptive Weights and Learning Rates Tong Yao, Jianqi Li and Jianhua Liu

　　

研究人员提出一种面向系统异构（System Heterogeneity）环境下的联邦学习（Federated Learning, FL）聚合优化算法——FedAWR（Federated Learning Model Aggregation Optimization with Adaptive Weight and Learning Rate Adjustment）。针对联邦学习中客户端计算性能差异导致本地更新步数不一致，造成FedAvg按数据量加权平均时全局模型偏向高性能客户端、收敛方向偏移及泛化性下降的问题，FedAWR在服务器端引入基于客户端有效本地迭代步数τi的自适应聚合权重放大因子γi=E/Ei（E为基准轮数，Ei为客户端i实际完成轮数），提升低算力客户端贡献；同时为各客户端动态分配与τi成反比的自适应学习率ηi=(∑j=1Nτj/Nτi)·η0，平衡不同算力下的更新幅度。研究人员通过在钢轨缺陷振动信号私有数据集及CIFAR-10公开数据集上的非独立同分布（Non-IID）设置实验证明，相比FedAvg、FedProx及FedNova，所提方法在异构计算环境下可减少通信轮数、加快损失函数下降速度并提高最终测试准确率，有效缓解计算异构引起的模型偏差与收敛不稳定问题。

论文解读：《Future Internet》— FedAWR：面向计算异构联邦学习的自适应聚合权重与学习率调整方法

一、研究背景与问题提出

联邦学习（Federated Learning, FL）通过在分布式客户端本地训练、中央服务器聚合模型参数的方式，实现不共享原始数据的协同建模，打破数据孤岛。标准FedAvg（Federated Averaging）算法假设所有参与客户端具有相同计算能力与同步本地更新步数，按各客户端本地样本数占比进行加权平均聚合。然而在实际工业物联网与移动边缘计算场景中，客户端设备间存在显著的计算性能异构（System Heterogeneity / Computational Heterogeneity）——高端设备可在同一通信周期内完成更多本地随机梯度下降（Stochastic Gradient Descent, SGD）步数，低性能设备则完成极少步数。这种差异导致：(1) 高性能客户端因多步本地更新对全局聚合结果产生过大影响，使全局模型向高性能客户端局部最优偏移（Client Drift）；(2) 低性能客户端被边缘化，其数据分布贡献被稀释；(3) 固定统一学习率在异构步数下引发过更新或欠更新，降低收敛效率与模型泛化能力。现有改进方法如FedProx引入近端项约束、FedNova对更新量进行步数归一化，均未同时考虑聚合权重偏向修正与客户端个性化学习率调整。因此研究人员开展了FedAWR——一种联合自适应聚合权重放大与计算感知学习率分配的联邦学习优化方法研究。

二、关键技术方法概述

研究人员设计FedAWR算法，核心包含两方面机制：(1) 服务器收集各客户端在固定时间窗口内完成的本地训练步数τ_i（反映实时计算能力）及实际训练轮数E_i，计算聚合权重调整系数γ_i=E/E_i（E为预设目标本地轮数），将基于数据比例的原权重p_i=n_i/n修正为p?_i=γ_i·p_i/Σ(γ_j·p_j)进行加权FedAvg聚合，提升低算力客户端影响力；(2) 客户端i的学习率设为η_i=(￣τ/τ_i)·η₀，其中￣τ=∑_j=1^Nτ_j/N为所有客户端平均本地步数，η₀为初始统一学习率，使少步数客户端获较大学习率补偿更新幅度、多步数客户端获较小学习率防过冲，且η_i限定于预设上下界保稳定。实验采用10个客户端Non-IID数据划分，对比FedAvg、FedProx、FedNova，在铁轨缺陷识别私有振动信号数据集（中国铁路维修段采集，LeNet架构）与CIFAR-10公开数据集（标准CNN架构）上运行600/300轮通信，本地批次大小24，SGD优化器，通过测试准确率(Accuracy)、交叉熵损失(Loss)及达目标精度所需通信轮数评估。另设消融实验分离权重调整(FedAWR-W)与学习率调整(FedAWR-LR)单独作用，并做学习率敏感性分析。

三、研究结果

3.1 Methods（第4节方法阐述结论）

研究人员通过理论分析指出FedNova仅对更新量作步数归一化消除目标不一致性但未调节聚合权重偏倚与学习率，FedAWR在此基础上额外引入计算感知权重放大与客户端专属学习率缩放，二者协同校正全局更新方向与幅值，在保持FedAvg加权聚合框架收敛性质的同时显式缓解异构本地步数偏差。公式推导表明增大低算力端聚合权重可拉回被高性能端拉偏的全局更新方向，而反比学习率设定使不同τ_i下期望单轮更新幅值趋近一致。

3.2 Application and Experimental Analysis in Steel Rail Defect Recognition（钢轨缺陷识别实验）

在铁路振动信号数据集上，客户端实际本地步数差异悬殊（高性能客户端约42–49步，低性能仅2–3步）。FedAWR约188轮达90%准确率，最终稳定于>93%；FedAvg需>300轮方接近90%且最终仅约90%。FedAWR较FedAvg收敛速度提升约1.72倍，最终准确率95.1%为最高，测试损失亦最低。验证自适应权重与学习率在真实工业异构环境下可有效纠正聚合偏向、加速收敛。

3.3 Application and Experimental Analysis on CIFAR-10（CIFAR-10数据集实验）

CIFAR-10上FedAWR初期精度上升最快（百轮内超58%），最终准确率优于FedNova与FedAvg/FedProx；损失下降早期明显更快，终值与FedNova相当但达优更早（80轮达目标精度）。证明方法具有良好的跨数据集泛化能力。

3.4 Ablation Study（消融实验）

仅用自适应权重(FedAWR-W)改善聚合方向稳定性但收敛速度与终值不及全模型；仅用自适应学习率(FedAWR-LR)加快前期收敛但对低算力端方向补偿不足；完整FedAWR兼具二者优势，证实两组件互补而非冗余。

3.5 Sensitivity Analysis of Learning Rate（学习率敏感性分析）

η₀在0.0002–0.005合理区间内部表现稳定，η₀=0.001与0.005最优；更小学习率致收敛慢。无发散现象，表明自适应机制缓冲了激进学习率潜在风险，方法对学习率初值不敏感。

四、讨论与结论

研究人员得出结论：针对联邦学习系统异构性问题，FedAWR通过服务器端计算感知聚合权重放大因子γ_i=E/E_i与客户端反比学习率η_i=(￣τ/τ_i)·η₀的联合动态调整，有效校正了异构本地更新步数造成的全局模型漂移，均衡高低算力客户端影响力并对齐单轮更新幅值。相比FedAvg、FedProx及FedNova，FedAWR在Non-IID数据与显著计算异构场景下减少达到目标精度所需通信轮数、降低测试损失、提高最终分类准确率，且每轮仅附加传输标量τ_i与E_i，通信开销与FedAvg相当。消融实验验证自适应聚合权重与自适应学习率调整互为补充，共同提升收敛效率与模型泛化性。该方法为工业物联网等存在设备算力差异的实际联邦学习部署提供了可行优化方案。未来工作将纳入网络延迟与更复杂Non-IID分布，并探索安全聚合与噪声注入以防护计算统计信息可能引致的侧信道风险。