宽神经网络：从初始化时的非高斯随机场到训练过程中的NTK几何结构

《Journal of Mathematical Analysis and Applications》：Wide neural networks: From non-Gaussian random fields at initialization to the NTK geometry of training

　　摘要
近年来，具有超过10^14个参数的人工神经网络应用的发展使得研究这类网络在大n值下的行为变得极为重要。大多数研究宽神经网络的作品都集中在网络的无限宽度n→+∞极限上，并表明在初始化时，这些网络对应于高斯过程[12]、[23]。在这项工作中，我们将研究它们在较大但有限的n值下的行为。我们的主要贡献如下：
• 计算了以n^-12为渐近级数的高斯性修正项。这些展开式中的系数由参数初始化的统计特性和激活函数决定。
• 通过计算（有限）网络输出在训练过程中与无限宽度极限情况的偏差，定量控制宽度n对输出演化的影响（在无限宽度极限下，网络通过线性流进行演化）。这已经是几项先前研究的主题，特别是[2]、[10]、[16]、[21]、[25]；我们的结果改进了之前的估计，并且还提供了整个训练过程中（有限宽度）NTK关于n的更精确的衰减率。
• 估计了高斯性偏差随训练的变化情况。特别是，使用测度空间中的某种度量标准，我们发现随着训练的进行，得到的测度与无限宽度网络相对应的时间依赖高斯过程的偏差在n^-12(log^2n)+范围内（该高斯过程是通过将初始高斯过程与无限宽度极限下的线性流预先组合得到的）。

引言
近年来，具有超过10^14个参数的人工神经网络应用的发展使得研究这类网络在大n值下的行为变得极为重要。大多数研究都集中在网络的无限宽度n→+∞极限上，并表明在初始化时，这一极限对应于高斯场（GRF）[12]、[23]，而它们的训练对于二次损失函数来说，对应于神经切线核（NTK∞）的线性演化[2]、[16]。我们在这项工作中的目标是研究具有单个隐藏层的人工神经网络在较大但有限的n值下的初始化和训练行为。

具有固定参数（权重和偏置，θ∈R^p）的人工神经网络是从R^n^in到R^n^out的函数（为简单起见，这里我们假设n_in=n_out=1，尽管我们的大多数结果可以自然地推广，但这会增加符号的复杂性并使某些证明变得模糊）。通过改变参数，我们得到一个从超参数空间R^p^n到函数空间的映射Fn。在初始化时，用于构建这种网络的参数通常是从某个预定分布中随机生成的，这通过Fn的向前迭代，在函数空间中诱导出一系列分布P(n)或一系列随机场。众所周知，在n→+∞的极限下，这一系列分布会收敛到一个GRF，文献中已经建立了多种形式的此类结果，例如[12]、[23]及其参考文献。虽然理解这一极限很重要，但现实中的网络具有有限的神经元数量n，因此必须计算（有限维）分布P(n)与极限高斯分布的偏差。一些最近的工作[13]提出使用有效量子场论的技术来解决这个问题。相反，在这项工作中，我们采用了一个更简单的方法，使用Edgeworth级数技术来明确计算以n^-12为渐近级数的高斯性修正项，其系数由参数初始化的统计特性决定。

在训练过程中，这类网络的演化可以使用有限n神经切线核（NTK(n)）来建模，众所周知，随着n→+∞，NTK(n)几乎可以确定地收敛到一个常数。因此，在这个极限下，这类网络的训练等同于函数空间中的线性流。在我们的工作中，我们改进了之前的估计[2]、[10]、[16]、[21]，并计算了NTK(n)关于n的更精确、时间上一致的衰减率。这样可以控制训练过程中输出的变化，无论是时间t≥0还是宽度n。实际上，作为非线性问题的典型特征，我们需要“同时控制一切”，因为仔细控制NTK(n)需要详细控制网络的输出，反之亦然。这是通过连续性/自助法实现的——这是一种在非线性分析中的标准技术，据我们所知，在人工神经网络研究中尚未得到广泛应用。最后，我们结果的一个特别后果是，在适当的条件下，通过梯度下降训练足够宽的神经网络，在参数初始化时，以任意高的概率收敛到相应二次损失函数的全局最小值。

这些结果使我们能够根据n来估计我们在初始化时得出的高斯性偏差在训练过程中的变化。我们首先证明无限宽度网络生成的概率测度是一个时间依赖的高斯过程，该过程是通过将初始高斯过程与无限宽度极限下的线性流预先组合得到的。然后，使用测度空间中的Prokhorov度量，我们发现随着训练的进行，与无限宽度网络相对应的时间依赖高斯过程的偏差在n^-12(log^2n)+范围内。

在陈述本文的主要结果之前，我们需要做一些准备工作。我们将这样的网络的权重和偏置称为参数，并用θ表示为θ:=((W1(2),…,Wn(2),W1(1),…,Wn(1)),(b1(2),…bn(2),b1(1),…,bn(1)))∈(R^n×R^n)×(R^n×R^n)?R^4n=:R^p^n。这些参数，加上一个非线性激活函数σ:R→R，决定了编码网络的标量值函数fθ(n)(x)=1/n∑j=1^n(Wj(2)σ(Wj(1)x+bj(1))+bj(2))。因此，我们得到一个映射F(n)，它将一组参数θ与函数fθ(n)∈Map([a,b],R)关联起来。在应用中，参数θ通常是从R^4n上的一个预定概率测度中随机初始化的。对于每个n，这通过Fn的向前迭代在函数空间Map([a,b],R)上诱导出概率测度P(n)。在一些非常自然的假设下（我们在引言中也会回顾这些假设），根据中心极限定理，P(n)会收敛到一个称为GRF的R^R上的高斯测度。这项工作第一部分的主要目标是计算P(n)与高斯性的偏差。为了研究这些偏差，使用在有限点集上评估函数得到的有限维分布是方便的。注意到，如我们在2.2中回顾的，根据Kolmogorov扩展定理，这样做不会丢失一般性。

现在我们考虑通过固定k∈N和x1,…,xk∈[a,b]获得的有限维分布，考虑将参数集与在这些点上评估得到的网络相关联的映射R^4n?Map([a,b],R)→R^k,θ?(fθ(x1),?,fθ(xk))，并将最初在R^4n上固定的分布的向前迭代到一个在R^k上的分布，我们将其表示为Qx1,…,xk(n)。使用这些有限维分布，可以很容易地理解向高斯过程的收敛。从现在开始，假设所有的元组(Wj(2),Wj(1),bj(2),bj(1))～(W(2),W(1),b(2),b(1))是独立同分布的，并且W(2)和b(2)的均值为零。那么中心极限定理适用于(1.1)，并得出Px1,…,xk(n)→Px1,…,xkC，其中Px1,…,xkC是R^k上的一个高斯分布，其协方差为C(xi,xj)=E[p(xi)p(xj)]，其中p(x)=W(2)σ(W(1)x+b(1))+b(2)，E[?]表示相对于最初固定在参数(W(2),W(1),b(2),b(1))上的期望。更具体地说，dPx1,…,xkC(y1,…,yk)=e^(-1/2Cab^-1y ay b(2πdet(Cij))^(k/2)dy1…dyk)，其中Cij:=C(xi,xj)，并且我们使用了Einstein求和约定来处理重复指标。特别是，如果k=1，那么C=E[p(x)^2]是随机变量p(x)的二阶矩，我们将其表示为μ2。然后，在这种情况下，我们有PxC(y)=e^(-y^2/2μ^2)2πμ^2dy。通过结合上述中心极限定理和Kolmogorov扩展定理，我们得出有限维分布(1.3)在Map([a,b],R)上定义了一个具有协方差C的高斯测度。此外，在某些条件下，可以看出高斯测度PC实际上支持在更小且行为更平滑的函数空间上，见备注2。

我们在这篇文章中的第一个主要结果是定理1（见图1和图2），它对有限的n值明确计算了初始化时分布Px1,…,xk(n)与高斯性的偏差。在这里，引言中我们将简单陈述k=1时的这个结果的特例，该结果应与方程(1.4)进行比较，并被视为适用于较大但有限n值的那个公式的细化。

定理A 定理1的一个特例
设x∈R，且对于所有i∈{1,…,n}，元组(Wi(2),bi(2),Wi(1),bi(1))是独立同分布的，并且Wi(2),bi(2)的均值为零。那么，dPx(n)(y)=νx(n)(y)dy，其中密度νx(n)(y)=e^(-y^2/2μ^2)2πμ^2+1/nμ^3/2H^3(y^2μ^2)e^(-y^2/2μ^2)2πμ^2+1/n(μ^4?3μ^2/296μ^2^2H^4(y^2μ^2)+μ^3/2576μ^2^3H^6(y^2μ^2))e^(-y^2/2μ^2)2πμ^2+O(n^?3/2)，其中Hn(?)表示第n个Hermite多项式，μr=E[p(x)^r]。

备注1
再次强调，这个结果是我们在2.4中更详细阐述的关于Px1,…,xk(n)的主要结果的示例，并在B.2中进行了证明：

现在考虑我们给定一个训练集{Xi,Yi}i=1^N，并希望使用它通过梯度下降来训练我们的网络(1.1)。为此，我们像之前一样初始化参数θ0=(W0,j(2),b0,j(2),W0,j(1),b0,j(1))j∈N（但现在我们还要假设它们具有有限的三阶矩）。那么我们在参数空间t?θ(t)中有一个明确定义的动态系统，以及一个对于有限n宽度网络的相应且适定的输出演化y(t)=fθ(t)(n)(x)（再次回顾(1.1)。在本文中，我们还建立了各种估计（见附录C中的相应证明），这些估计在适当的条件下（详见第3.4节）提供了足够宽但有限的网络输出的完整动态的清晰描述。特别是我们将展示（见定理2的完整版本）

定理B 定理2的简化版本
通过增加宽度n，在参数初始化时，以任意高的概率：
• 有限宽度NTK与其无限极限之间的差异满足以下形式的估计：|NTKzw(n)(θ(t))?NTKzw∞|≤C(log^2n)^(1/2+n)，对所有t≥0，所有|z|,|w|≤1成立。
• 有限宽度神经网络的训练输出指数级收敛到它们的标签：|fθ(t)(n)(Xl)?Yl|≤Ce^(-λ∞?ε)t，其中λ∞>0是NTKXiXj∞的最小特征值[7]。
• 训练是稳定的，意味着输出动态保持接近NTK∞提供的线性（无限宽度）动态。更准确地说，我们展示了对于所有|x|≤1，|fθ(t)(n)(x)?ft∞(x)|≤C(log^2(n))^(1/2+n)。

最后，固定(x1,…,xk)∈R^k，并考虑训练过程中输出空间中的测度的演化。在每个训练时间t≥0，这给出了两个测度Px1,…,xk(n)(t)和Px1,…,xk∞(t)，分别使用有限宽度n网络和无限网络训练得到（注意，根据定理3，P∞(t)对于所有t≥0都是高斯的）。我们的目标是估计随着t的演化，这两个测度之间的差异。为此，我们将使用Prokhorov度量来衡量这两个度量之间的距离。对于两个测度μ1,μ2，这表示为π(μ1,μ2)，定义为满足μ1(A)≤μ2(Aρ)+ρ和μ2(A)≤μ1(Aρ)+ρ的正ρ>0集合的上确界，其中Aρ=?a∈A∩Bρ(a)。然后，我们证明了以下内容。

定理C
设(x1,…,xk)∈R^k。那么，存在一个与n无关的常数C>0，使得对于所有t≥0，π(Px1,…,xk(n)(t),Px1,…,xk∞(t))≤C(log^2(n))^(1+n)。

关于宽神经网络及其在无限宽度极限下的渐近性质，已经有很多研究。在这里，我们强调了一些与我们在这篇论文中介绍的发展更密切相关的研究结果。现在，n→+∞宽度极限收敛到一个高斯过程（在适当的意义上已经澄清）已经成为机器学习中的一个经典结果，最初在[12]中为浅层网络情况建立，并最近[20]、[23]推广到了深层网络情况。另见[17]、[24]，其中进行了与核方法的性能比较。

如前所述，其他最近的研究还研究了在大但有限宽度情况下发生的高斯性偏差。例如，[13]、[33]、[39]处理了深度网络，并依赖于有效量子场论的技术。另外，他们所推荐的参数初始化方式（具有零均值的标准高斯初始化）会导致偏差呈 n?1 的幂次增长，其中 n 决定了网络的宽度。相比之下，在本研究之中，我们采用了更为简单的方法，利用 Edgeworth 级数技术来明确计算高斯性的修正值，这些修正值是以 n?1 的幂级数形式表示的，其系数由参数初始化的统计特性决定。关于 ReLu 和线性网络的偏离高斯性的问题，还有其他相关的研究成果，例如 [18]、[37]、[19]、[38]、[40] 等文献，这些文献在 [13] 的基础上进行了进一步探讨。特别是 [19] 从数学角度来看非常有趣，因为它通过找到累积量的渐近公式来严格量化偏离高斯性的程度，并将这些公式封装在一个递归层次结构中。论文 [2] 也涉及深度神经网络的研究，在该论文中特别指出，通过增加所有隐藏层的宽度，可以将无限宽度的 NTK∞ 与有限宽度的 NTK(n) 之间的差异任意减小。他们还表明，训练完成后，通过增加宽度也可以使有限宽度网络和无限宽度网络的输出之间的差异任意减小。与本文的结果相比，[2] 的明显优势在于它研究的是深度神经网络，而我们仅考虑单层网络。不过，他们的界限并没有明确地依赖于层的宽度，且他们的结果仅适用于 ReLu 非线性函数；而在我们的论文中，这个情况是固定的。论文 [21] 提供了一系列关于宽度 n 对 NTK 行为的控制估计，以及该对象在训练过程中的高阶泛化能力。他们的结果同样适用于深度神经网络，但不幸的是，他们提供的估计依赖于训练时间 t 的增函数，这限制了我们对 t→∞ 极限的控制能力；尽管如此，[21] 中的估计仍然表明，通过适当增加宽度，可以使训练数据的输出与标签任意接近。大型网络的学习动态可以用线性流来近似，这是许多有影响力的研究 [16]、[25]、[26] 所揭示的一个重要特征。例如 [25] 利用经验 NTK 的初始化构造了一个线性流，从而实现了对输出演化的时间控制（本质上是在 t=0 时对流的一阶泰勒近似）；此外，还提供了关于宽度的精确定量界限。这项工作考虑了具有相当通用激活函数的深度网络（参见 [5] 中的定理 5.1）。我们的工作提供了类似的界限，但这次是基于在无穷远处由极限 NTK 提供的“更自然”的线性流。这需要之前讨论过的对经验 NTK 和无限宽度 NTK 之间更强的定量控制。目前，这种控制仅适用于浅层网络，因为这种控制基于一个众所周知的大数定律的定量形式，而在深层网络中由于不同层的人工神经元之间缺乏独立性，这个定律不能直接应用。论文 [26] 清晰地讨论了 NTK 的恒定性、训练的近似线性动态以及“懒惰训练”概念之间的关系。在我们看来，我们的工作也为这些问题带来了新的见解。如果极限 NTK 是正定的（参见 [7]），那么学习动态的近似线性特性会导致其收敛到二次损失的全局最小值。应该强调的是，这类收敛结果已经为人所知 [9]、[10]。使用我们在本文中开发的技术，还可以探索其他有趣且重要的研究方向，例如进一步探讨过参数化的后果 [3]、[4]、[6]、[27]、[28]、[29]、[32]、[34]，研究其他参数化方式（如 [35] 所提出的），这可能会为特征学习提供新的见解，并帮助我们更好地理解物理信息驱动的神经网络以及其中发生的一些有趣现象（参见 [22]、[31]）。最后，陈等人的论文 [14] 得出了关于经验测度空间上的测量波动的平均场理论结果，在初始化阶段和训练过程中的波动幅度为 m?1/2，其中 m 是单层神经网络的神经元数量。更好地理解这种在 R4 上的概率测度空间的平均场理论与我们在函数空间 C([a,b],R) 上的随机场理论方法之间的关系将非常有趣。这项工作部分得到了 FCT/Portugal 的支持，通过 CAMGSD、IST-ID 项目 UIDB/04459/2020 和 UIDP/04459/2020 实施。J.L.C 还感谢 FCT/Portugal（项目编号 10.54499/UID/04459/2025 和 10.54499/UID/PRR/04459/2025）以及 CERN 通过项目 CERN/FIS-PAR/0023/2019 的支持。G. O. 也感谢 FCT 2021.02151 的支持。

**宽神经网络的考虑**
我们考虑一个具有一个隐藏层且宽度为 n∈N 的神经网络，输入和输出值取实数。为了方便起见，我们进一步假设输入位于一个固定的非空紧凑区间 [a,b]?R 内。这意味着对于每一组参数 θ∈RPn（其中 Pn=4n，即 θ:=((W1(2),…,Wn(2),W1(1),…,Wn(1)),(b1(2),…bn(2),b1(1),…,bn(1)))∈(Rn×Rn)×(Rn×Rn)，这些参数包括权重和偏置，我们可以构造一个函数 fθ(n):[a,b]→R，其定义为 fθ(n)(x)=1/n∑j=1n(…)。

**训练与神经切线核**
在训练过程中，参数 {θ(t)}t≥0 通过成本函数 L(n):R4n→R 的负梯度流进行演化，即 θ˙=??L(n)，其中梯度是相对于 R4n 上的对角度量 γ(n)=∑j=1/4n dθj2 计算得出的。实际上，正是这种逆度量决定了函数的梯度向量场的定义，即 ?L(n):γ(n)(?L(n),?)=dL(n)，或者在局部坐标中表示为 ?L(n)=∑j=1/4n ?L(n)?θj?θj。

**通过向量场流进行演化**
与之前类似，给定 x1,…,xk∈R，我们考虑在这些点上评估网络（fθ(x1),…,fθ(xk))∈Rk。为了简便和清晰起见，我们将使用坐标 (y1,…,yk) 来参数化输出空间 Rk。此外，在适当的情况下，我们使用 x=(x1,…,xk) 和 y=(y1,…,yk) 来简化符号。
从形式上讲，很容易描述 y(t) 在训练过程中的演化过程。实际上，用 {?t(n)}t≥0 表示在 R4n 中的 ??θCθ 的流，即 {θ(t)=?t(n)(θ)}t≥0 解决了方程 θ˙=??θCθ，那么 y(t)=f?t(n)(θ) 也随之演化。

**作者信息**
Luís Carvalho | Jo?o L. Costa | José Mour?o | Gon?alo Oliveira