异构本地平滑性下去中心化自适应梯度追踪方法AdGT

《IEEE Transactions on Signal Processing》：AdGT: Decentralized Gradient Tracking with Adaptive Per-Agent Stepsizes

　　

摘要：

在去中心化优化中，梯度追踪方法通常依赖于单一的全局步长。当智能体拥有具有不同平滑常数的本地目标函数时，这种选择可能过于保守，因为步长必须对具有最大平滑常数的智能体保持稳定。本文提出了 AdGT，一种去中心化梯度追踪方法，其中每个智能体利用本地梯度变化和单一的全局安全因子来自适应其步长。该方法减少了固定步长的调优工作量，并允许智能体在迭代过程中利用本地平滑性信息。对于无向网络上光滑且强凸的本地目标函数，我们证明了所分析的 AdGT 更新线性收敛到精确共识优化点。我们还研究了两种利用梯度追踪方向变化的自适应步长更新方法。我们刻画了对应的候选值何时确定步长，并在额外的相对追踪不一致条件下证明了条件的步长上下界和线性收敛。在逻辑回归、岭回归、合成二次问题以及针对最先进的去中心化求解器的线性回归基准测试中的实验表明，AdGT 通常比调优过的固定步长 GT 和测试的基线方法以更少的迭代次数或梯度评估次数达到给定精度，特别是在异构本地平滑性下。在拓扑实验中，每个测试的 AdGT 更新在所有图上使用一个通用的安全因子，而固定 GT 步长则是针对每个图和种子单独调优的。