基于梯度的优化仍然是现代深度学习的核心。优化方法如随机梯度下降 (SGD) [34]、AdaGrad [8]、RMSProp [43] 和 Adam [19] 是大规模训练的标准工具。Adam 特别常见，因为它在紧凑的递归中结合了动量累积与逐坐标自适应缩放 [19]。最近的工作也表明自适应优化器的行为取决于架构、任务和训练阶段 [41]，[49]，[52]。然而，Adam 变体通常被作为整体优化器进行评估。当同时更改几个局部操作时，任何性能差异都难以归因于更新的特定部分。
这种机制视角很重要，因为 Adam 是一系列耦合的更新操作，而不是单一步骤 [19]。梯度首先进入矩递归，然后形成偏差校正矩，第一矩由第二矩项缩放，生成的方向应用于参数。矩累积之前的更改改变了指数移动平均所携带的信息，使其影响能在后续步骤中持续。相反，自适应缩放后的更改保留了移动统计量，并直接作用于最终更新方向和参数的范数轨迹。如果不分离更新中的这两个点，观察到的结果背后的机制就不清楚。
这种分离自然导致了 Adam 内部的两个局部修改。第一个涉及进入第一矩更新的行梯度均值。第二个涉及具有近似尺度不变性的权重的缩放步长的径向分量。这两个部分扮演不同的角色。第一个改变了一个可以通过第一矩估计持续的信号。第二个改变了缩放步长如何相对于其范数移动权重张量。将这两个干预作为一个修改来分析会掩盖它们的不同角色。
在解释结果时需要同样的区分。最终准确率的变化本身并不能确定效果是来自矩输入、执行方向还是它们的交互作用 [49]，[52]。因此，我们在全文中保持这两个模块分开。方法部分在统一记号下引入它们，理论部分研究附加于每个模块的局部量，实验部分在检查跨规模和任务转移之前比较单个模块及其组合。
梯度中心化 (GC) 激发了第一个修改 [47]。在标准的 GC 重塑之后，GC 在矩更新前移除当前的行梯度均值。然而，在 Adam 内部，类似的均值结构可能在步骤间重复，并通过指数移动平均重新出现在第一矩估计中 [19]。这激发了对这种结构随时间进行跟踪，而不是仅减去当前的行均值。因此，我们研究跟踪均值移除，而不是仅在一步中中心化。
AdamP [11] 以及尺度不变性和有效学习率的分析激发了第二个修改 [1]，[2]，[12]，[16]，[20]，[22]，[37]。批处理和层归一化使得权重范数和角度方向在优化动态中都变得重要 [2]，[16]，[20]，[37]。在这种机制下，改变权重张量的范数可能不如改变其方向重要。自适应缩放后，步长的径向部分主要改变范数路径，而切向部分更紧密地与方向移动相关。AdamP 通过基于投影的径向修正来解决这个问题。我们通过平滑衰减而不是径向移除来研究相同的局部机制。这种更改作用于执行的方向，而不是进入矩累积的信号。
在统一记号下，我们定义了 Adam 的两个受控修改。跟踪梯度中心化 (TGC) 随时间跟踪行梯度均值，并在矩累积前将其移除。平滑径向修正 (SRC) 保持矩估计不变，并通过平滑有界映射衰减自适应缩放后步长的径向部分。因为这两个模块在更新的不同点起作用，它们将 Adam 通过矩累积的内容与 Adam 执行的内容分开。
对两部分使用统一记号提供了两个实际好处。它澄清了模块与标准 Adam 的区别，并保持单个模块比较与相同变量绑定。在此记号中，TGC 改变进入矩递归的信号。SRC 改变 Adam 核心形成其缩放步长后的方向。
理论和实验遵循相同的分离。对于 TGC，理论刻画了跟踪均值的均值和方差。对于 SRC，它在局部分解下刻画了径向减少。对于统一更新，它在显式下降对齐假设下添加了条件有限视界平稳性界。实验单独比较两个模块，然后检查它们的组合及其在规模和任务类型上的行为。
这种模块化观点并非旨在论证某一个优化器是统一最好的。其目的是确定每个局部变化在何处重要，在匹配比较下观察到的效果有多大，以及当设置改变时它能持续多远。
主要贡献如下。
- 1.
我们提出了 Adam 内部两个局部干预的统一描述：进入矩累积的行梯度均值和具有近似尺度不变性的权重在自适应缩放后的更新径向分量。这种框架澄清了 GC 和 AdamP 修改的是 Adam 步骤中相关但不同的阶段。
- 2.
我们研究了每个阶段的一个受控模块。TGC 在矩累积前用跟踪均值移除去掉瞬时均值移除，而 SRC 在自适应缩放后用平滑有界衰减代替基于投影的径向移除。对于 TGC，我们推导了有限视界下跟踪均值的恒等式。对于 SRC，我们建立了局部径向衰减性质。
- 3.
跨卷积和 transformer 模型的实验单独和联合评估了两个模块。重复的性能比较、层间诊断和同步配置展示了它们的效果如何随模型结构变化，并量化了相关的计算成本。
