从 CC-GT 到 GFLCC：面向分布式优化的同步至异步共轭压缩梯度追踪

《Symmetry》：CC-GT to GFLCC: From Synchronous to Asynchronous Conjugate Compressed Gradient Tracking for Distributed Optimization

　　摘要在分布式优化中，通信瓶颈和计算异构性是制约系统可扩展性和效率的两个关键挑战。为解决这些问题，我们提出了一种同步算法CC-GT（共轭压缩梯度追踪），该算法将共轭梯度加速与双误差补偿压缩相结合，以降低通信开销并加速收敛。在理论层面，我们证明了在强凸和平滑假设下该算法具有线性收敛性；在实验层面，我们在回归、分类和神经网络任务上进行了大量实验，验证了同步CC-GT的快速收敛性和通信效率。在此基础上，我们开发了GFLCC，一种异步扩展方法，该方法在保留CC-GT核心机制的同时消除了全局同步屏障，从而本质上缓解了慢节点效应并实现了动态负载均衡。针对异步GFLCC，在恶劣网络干扰条件下与最先进的异步基线方法进行了大量对比实验，展示了其出色的收敛速度、通信效率和鲁棒性。这些结果证实，所提出的框架为通信受限和异构的分布式优化系统提供了一种实用且有理论支撑的解决方案。