摘要
反向传播并非单一算法，而是一系列决策的组合：包括误差信号的传递方式、权重梯度的计算方法以及更新方式的运用。本文重新审视了这三个步骤，并提出了若干在数学上易于理解的改进措施，这些措施能够在不改变函数类别的前提下提升梯度缩放效果与稳定性。由此产生的方法——条件反向传播（CBP）——包含了以下要素：（i）逐层梯度范数均衡处理，用以消除反向传播误差的几何深度依赖性；（ii）激活值居中重参数化技术，可去除每层曲率中的主要一阶均值项；（iii）一种具有正定性质的阻尼对角预处理器。该复合操作符属于有界正定预处理器，因此该方法在保持与普通反向传播相同步长成本的同时，仍具备标准的非凸收敛、Polyak–ojasiewicz收敛以及随机收敛特性。此前尚无方法能将这三种改进整合为同一个操作符，并同时确保其有界性与正定性。此外，本文还提出了两个新的关于均衡处理的结论：在块结构强凸模型上，对于通过梯度能量均衡器实现的曲率均衡目标，在一定的异质性因子范围内，均衡处理可使收敛速率与深度无关；实际采用的带限幅版本的均衡处理在指定深度范围内仍保持收敛速率与深度无关，且在此深度之外还能带来恒定比例的优化效果。通过针对十余个不同初始条件进行的对照实验及显著性检验，验证了上述机制：均衡处理可将每层梯度差异缩小一个数量级，激活值居中处理可使最高曲率特征值降低约三倍，从而实现最低训练损失；而将激活值居中处理与阻尼预处理器结合使用的方案，包括完整的方法，其收敛速度最快。在MNIST数据集以及采用小型残差卷积网络的CIFAR-10数据集上，这些效果依然存在，且每次迭代的额外计算开销约为Adam算法的两倍左右。各方法的泛化能力相当，本文并未宣称存在端到端的深度缩放优势，而是将研究重点放在优化几何结构方面。
