面向边缘联邦学习的通信感知压缩框架FEDCODE及自适应增量缩放方法研究

《Sensors》：FEDCODE: A Framework and Experimental Study of Model-Update Compression for Communication-Efficient Federated Learning

　　联邦学习在无需集中本地数据的情况下训练共享模型，但在带宽、能耗和延迟受限的边缘系统中，频繁的模型交换会成为瓶颈。本文提出了FEDCODE，这是一个通信感知的联邦学习仿真框架，用于在受控的训练配置下，对更新表示和压缩方法进行可复现的评估，并明确计量通信量与运行时间。在MNIST、CIFAR-10以及基于LEAF的联邦数据集上的实验表明，更新表示、量化尺度和编码器选择对负载大小有显著影响，而轻量级整数编码和熵编码可以大幅减少通信开销。在与已有的联邦学习压缩方法进行匹配的协议比较下，所评估的FEDCODE增量编码配置在通信与质量权衡方面表现出良好性能。自适应编码器参数调优可实现自动参数选择，但并不能始终优于较强的固定配置。我们进一步提出了编码器感知的自适应增量缩放（CAADS），该方法结合更新统计信息、更新幅度的漂移以及编码器特定的码长估计，在训练过程中动态调整量化尺度。CAADS能够调节通信与质量的权衡关系：保守设置可保留模型性能，而激进缩放虽能进一步减小负载，但会带来更大的质量退化。在边缘设备上的额外实验表明，端到端压缩收益取决于设备能力和网络带宽。总体而言，有效的联邦学习压缩需要综合考虑负载大小、模型质量、编解码开销和网络条件。