《Entropy》：SCKM: Symmetric Co-Skew Moment for User Selection in Federated Learning
编辑推荐：
研究人员引入对称共偏度矩（SCKM）——一种三阶信息相异度度量，在异构数据下的联邦学习（FL）中始终优于最先进的客户端选择启发式方法。与基于相似性的方案不同，SCKM通过偏好具有互补梯度的客户端来最小化冗余，即使在高异质性水平下也能实现更快、更稳定的收敛。该框
研究人员引入对称共偏度矩（SCKM）——一种三阶信息相异度度量，在异构数据下的联邦学习（FL）中始终优于最先进的客户端选择启发式方法。与基于相似性的方案不同，SCKM通过偏好具有互补梯度的客户端来最小化冗余，即使在高异质性水平下也能实现更快、更稳定的收敛。该框架基于高度压缩的0.5%梯度摘要运行，为不同部署规模提供两种操作模式：（i）SCKM-Select直接排序并调度一个小候选池，而（ii）SCKM-Cluster添加了一个快速的肘部引导聚类步骤，以可扩展地从数千名用户中选择。研究人员在VGG-16模型上，跨多个非独立同分布（non-IID）划分方案和初始化评估了这两种变体，观察到相较于领先的余弦相似度、损失草图（loss-sketch）和最大多样性（max-diversity）基线的一致增益——且未增加通信预算。
**研究背景与问题**
联邦学习（Federated Learning, FL）允许多个分布式设备协作训练共享模型而无需导出原始数据，但在实际部署中面临三大挑战：统计异质性（客户端数据非独立同分布，即non-IID）、通信限制（每轮仅部分客户端可上传更新）和参与不平衡（稀有类别客户端长期被低估）。现有客户端选择方法多依赖二阶统计量（如余弦相似度、梯度范数）来度量相似性或多样性，但忽略了梯度分布的厚尾特性和高阶交互信息。近期研究表明，深度神经网络梯度常呈现非高斯、厚尾分布，尤其在non-IID场景下，传统二阶度量无法捕捉方向性相似之外的尾部事件和不对称共变结构。为此，研究人员提出基于三阶共偏度矩（Symmetric Co-Skewness Moment, SCKM）的客户端选择框架，旨在通过更高阶的统计信号优化异构联邦学习中的客户端调度。
**研究内容与结论**
研究人员引入SCKM作为客户端梯度之间的相异度度量，它优先选择梯度互补而非相似的客户端，从而加速全局收敛。基于压缩的梯度草图（0.5%梯度维度），框架提供两种模式：SCKM-Select（直接排序）和SCKM-Cluster（肘部引导聚类后选择）。在CIFAR-10和CIFAR-100数据集上采用VGG-16模型进行实验，结果表明，在多种non-IID划分方案和初始化条件下，两种变体均比余弦相似度、损失草图（loss-sketch）和最大多样性（max-diversity）等基线收敛更快（目标精度轮次数减少30%）且最终精度提升1–3个百分点，且不增加通信开销。该研究强调了矩感知梯度相异度在通信高效FL中的潜力，论文发表在《Entropy》。
**关键技术方法**
研究人员采用以下关键技术方法：首先，客户端上传压缩梯度草图（随机子采样至0.5%维度）作为轻量级信息；其次，服务器使用对称共偏度矩（SCKM）公式计算客户端对之间的三阶相异度（基于草图逐坐标平均）；第三，SCKM-Select根据客户端平均SCKM相异度排序并选择预算内客户端；第四，SCKM-Cluster利用肘部准则动态确定聚类数，通过k-medoids聚类（以SCKM为距离度量）将客户端分组，再在各组内执行SCKM-Select以实现可扩展性。实验基于CIFAR-10和CIFAR-100图像分类基准，采用shard划分模拟统计异质性（每个客户端分配1–2个shard以产生高度non-IID）。
**研究结果**
**6.1 实验设置**：使用VGG-16模型在CIFAR-10和CIFAR-100上评估，梯度摘要率为0.5%，shard配置控制异质性程度，对比基线包括AFL、FedCor、Power_d、Kmeans_L2、GPR等。
**6.2 SCKM-Select on CIFAR-10**：在10个客户端、不同shard数和选择预算下，SCKM-Select在高异质性（shard数小）时优势最明显，收敛更快且最终精度更高。表5显示，在Select=2和Select=3设置中，SCKM-Select平均精度最高，方差与基线相当，说明其高效且稳定。
**6.3 SCKM-Cluster on CIFAR-100**：在50个客户端、强non-IID（每客户端1–2个shard）下，SCKM-Cluster通过自适应聚类（图3显示聚类数稳定）减少冗余。表6定量比较表明，SCKM-Cluster在高度异质性下平均精度最高，尤其当通信预算增大时，聚类辅助策略有效平衡多样性和冗余。图5的收敛曲线进一步验证其优势。
**总结讨论与结论**
讨论部分指出，尽管结果鼓舞人心，但当前评估局限于VGG在控制模拟中的图像分类任务，且压缩梯度草图可能丢失精细结构。聚类变体虽改进可扩展性，但高阶矩估计仍带来额外计算。未来工作包括扩展SCKM的理论分析、探索自适应草图策略、研究在Transformer尤其是LoRA等低秩适应设置中的应用，以及在实际设备上评估。
研究结论（翻译自原文结论部分）：本文提出了对称共偏度矩（SCKM）——一种用于异构数据分布联邦学习中客户端选择的三阶矩感知相异度度量。不同于传统几何或范数基选择标准，SCKM显式捕获梯度更新的不对称共矩结构，使调度器能识别贡献互补而非冗余的客户端。基于这一洞见，研究人员提出了两种实用算法：SCKM-Select（基于成对相异度直接排序）和SCKM-Cluster（引入轻量级肘部引导聚类以可扩展至大型用户群体）。在CIFAR-10和CIFAR-100基准上的广泛实验中，这两种方法在收敛速度和最终测试精度上均持续优于领先基线——尤其在经典相似度量失效的严重non-IID条件下。数值评估和各聚合摘要表明，SCKM不仅提升选择质量，还在不同shard配置和选择预算下呈现稳定鲁棒的性能。通过将矩统计量与实用选择机制关联，本工作弥合了联邦系统中统计梯度表征与高效客户端调度之间的差距。
