深度学习中梯度下降的收敛性、隐性偏见与稳定性边界：近期研究进展综述 [深度学习数学特刊]

《IEEE Signal Processing Letters》：On the Convergence, Implicit Bias, and Edge of Stability of Gradient Descent in Deep Learning: Reviewing recent progress [Special Issue on the Mathematics of Deep Learning]

　　

摘要：

尽管深度神经网络存在严重的过参数化问题，但通过随机初始化并采用梯度下降法训练的这类网络在实际应用中仍能展现出良好的泛化性能。为从理论上解释这一现象，近半年来有许多研究致力于分析梯度下降算法在神经网络中的收敛行为。本文综述了这些研究工作，并探讨了它们是如何解答与这一现象相关的三个具体问题的。第一个问题是：为何梯度下降法能够高效地找到全局最小值？相关研究通过分析不同的过参数化程度以及初始值类型如何使得训练过程中的优化路径较为平滑，从而让梯度下降法以线性速度收敛。第二个问题是：为何梯度下降法找到的全局最小值具有良好的泛化能力？研究指出，过参数化会在训练过程中引入一种隐性的简洁性偏好。最近有研究发现，在实际应用中，使用远高于理论允许值的学习率训练深度神经网络，反而能实现更快的收敛速度和更好的泛化效果。这就引出了第三个问题：为何较大的学习率能够带来更快的收敛和更好的泛化？目前的研究认为，这是由于存在某种自我稳定机制以及对平坦最小值的隐性偏好。

尽管深度学习已逐渐渗透到人们的日常生活中，但人们对这项技术的理论理解仍然不够深入。其中一项关键挑战就是理解深度神经网络的训练过程，即通过何种算法调整神经网络的参数，使其能够学会在训练数据上输出正确的结果。这种训练通常是通过某种形式的梯度下降法来实现的。具体而言，设 为网络的损失函数，它用于衡量在给定网络参数配置下，网络输出与期望值之间的平均偏差，那么梯度下降法的更新公式为

θt+1=θt?η?L(θt)(1)

其中 为步长或学习率， 为（次）梯度运算符。