在弱矩条件下神经网络的可学习性

《Journal of Mathematical Analysis and Applications》：Learnability of neural networks under weak moment conditions

　　摘要
在本文中，我们研究了深度神经网络在存在重尾噪声时的统计性能，包括噪声具有无限方差的情景。通过采用信息论学习框架，我们分析了由深度ReLU网络结合Epanechnikov相关熵损失生成的实证风险最小化估计器的泛化能力。我们的研究结果表明，在回归函数具有H?lder连续性的条件下，且条件噪声分布对于某个p>1具有有限的p阶矩时，这些估计器能够达到最优的学习率。值得注意的是，这些学习率超过了在类似条件下最小二乘回归通常看到的学习率，证明了我们的方法在有效处理重尾噪声方面的优势。此外，我们还探讨了一个较弱的矩条件，并推导出了我们提出的估计器相应的学习率。有趣的是，我们发现当满足更强的矩条件时，这些学习率与最小二乘回归的学习率是一致的。这些结果加深了我们对非凸损失函数如何在重尾噪声存在的情况下促进泛化能力提升的理解。

引言
信息论学习[47]关注将信息论中的关键概念（如熵、互信息和Kullback-Leibler散度）整合到机器学习范式中。这种整合为各种任务[7]、[22]、[23]、[27]带来了创新的解决方案。在过去十年中，人们在相关领域投入了大量努力[12]、[24]、[25]来解决理论挑战。信息论学习算法的探索不仅提高了对学习过程的理论理解，还为信号处理、系统工程和数据挖掘等领域的实际应用铺平了道路。更多细节请参见[47]、[48]及其中的参考文献。
最大相关熵准则是一种基于信息论的稳健学习框架，提供了一整套监督学习方法。该准则最初由[48]作为广义相关性度量引入，已成为处理非高斯噪声分布和异常值污染的强大工具[14]、[20]、[36]。最大相关熵准则已在包括矩阵补全[57]、分类[61]和回归[15]、[17]、[38]在内的多种机器学习应用中得到广泛探索。数学上，相关熵定义为标量随机变量U和V之间的高斯核函数Kτ(U,V)的期望值，表示为Kτ(u,v)=exp?(?(u?v)2/τ2)，其中τ>0是一个缩放参数，(u,v)代表(U,V)的观测实例。在回归建模中，最大相关熵准则通过将这种基于核的度量融入学习过程来采用类似的优化方法。主要目标是最大化相关熵度量，从而帮助开发出能够有效最小化估计输出与真实观测值之间差异的预测模型。这种方法[15]、[17]在涉及非高斯噪声的情景中显示出有效性，其优势在于能够克服传统回归技术在这种情况下常常遇到的问题。
近年来，信息论学习与深度学习的结合在机器学习社区引起了极大的兴趣[59]。通过利用两种框架的优势，这种整合有潜力显著提高算法性能并增强学习鲁棒性。在过去十年中，深度学习架构已成为现代机器学习系统的基本组成部分[53]、[54]、[58]。计算架构和优化技术的进步使得现代深度学习模型[28]、[51]、[52]在性能上超过传统的统计方法（如基于核的学习[10]、[50]和平滑样条技术[56]）。这些发展为深度学习在自然语言处理、计算机视觉和计算生物学等广泛领域的领导地位奠定了基础[19]。
最近在统计学习理论方面的进展大大加深了我们对深度神经网络的理解[34]、[35]、[37]、[40]、[41]、[43]。基本的通用逼近定理[2]表明，单隐层神经网络可以以任何期望的精度逼近连续函数。多层架构进一步扩展了这一能力[5]、[55]，通过参数高效的结构实现对复杂功能关系的有效建模。值得注意的是，Yarotsky的开创性工作[58]为深度ReLU网络建立了接近最优的逼近误差界限，为其在现代应用中的杰出表现提供了关键的理论验证。这些理论见解突出了深度ReLU架构在准确捕捉复杂功能行为方面的独特能力，为其在深度学习范式中的实际成功提供了坚实的数学基础。与这一统计学习理论分析方向并行的是，另一条重要的研究路径专注于基于复杂性度量（如谱范数）或通过PAC-Bayes框架[1]、[3]、[4]、[18]、[44]、[45]为神经网络推导泛化界限。这些方法通常提供容量控制的泛化保证，并且针对包括CNNs[6]、[31]、[32]、[46]在内的各种架构进行了改进。值得注意的是，PAC-Bayes界限利用了信息论术语（如KL散度）来进行泛化保证，最近的扩展还处理了具有有界矩的损失[9]、[21]、[30]。我们的工作遵循统计学习/逼近理论范式，旨在为存在重尾噪声的回归问题建立极小极大最优学习率，这补充了这些不同的方法论视角。

分析深度神经网络在回归任务中泛化误差的理论基础已通过诸如[33]、[58]、[62]、[63]等研究中的逼近误差分析得到牢固确立。当前的研究[13]、[29]、[39]、[65]主要关注最小二乘损失框架，这些框架在处理非高斯噪声分布时存在理论限制。为了解决这个问题，[11]引入了一种结合Huber损失与深度架构的新颖稳健学习范式，以提高对异常值的抵抗能力。该研究通过对全连接神经网络中泛化误差的上界和下界的全面分析，严格建立了实证风险最小化（ERM）估计器的最优收敛率。最近，[60]探讨了深度卷积神经网络的泛化误差分析，其中使用了基于相关熵的损失函数推导出了类似的收敛率。在本文中，我们采用信息论学习框架进一步探索了深度ReLU网络在存在重尾噪声时的统计性能。

本文的主要贡献总结如下：
• 我们为在存在重尾噪声的情况下使用Epanechnikov相关熵损失的ERM估计器建立了泛化误差界限。在假设1指定的条件下，并假设回归函数具有H?lder连续性，我们证明了由深度ReLU网络生成的ERM估计器能够实现快速收敛。定理3中推导出的率与[11]中确定的使用Huber损失的ERM估计器的极小极大最优率一致。
• 我们将研究结果扩展到假设2中规定的较不严格的矩条件。有趣的是，定理5中推导出的率与假设1下的最小二乘回归率一致。这说明了深度信息论学习方法在有效处理重尾噪声方面的优势，证明了其优于最小二乘回归。

本文的其余部分结构如下：第2节定义了深度ReLU网络，介绍了Epanechnikov相关熵损失，并介绍了学习框架。第3节提出了在重尾噪声条件下所提出估计器的收敛率主要结果。第4节将我们的结果与现有工作进行了比较。主要定理的证明在第5节提供，而其他有用的引理则包含在附录中。

神经网络结构
我们考虑使用修正线性单元（ReLU）激活函数σ(x)=max{0,x}的标准全连接神经网络。对于输入x∈Rd，我们通过以下方式迭代定义深度为L的全连接神经网络：
fnn(0)(x)=σ(W(0)x?b(0))，
fnn(j)(x)=σ(W(j)fnn(j?1)(x)?b(j))，j=1,2,…,L?1，
fnn(L)(x)=W(L)fnn(L?1)(x)，
其中W(j)∈Rdj+1×dj是第j层的权重矩阵，b(j)是偏置向量。这里dj+1是第j层的宽度。此外，我们设定d0=d和dL+1=1。我们使用‖W(j)‖∞来表示范数。

主要结果
我们的目标是建立P(‖fD,H?fρ‖LρX2≥Kδ)的界限，其中K>0是一个常数，δ表示收敛率。为了实现这一目标，我们采用了类似于[11]和[60]中使用的剥离技术。这种方法允许我们系统地分析噪声影响下估计器的行为。

我们引入了环形集合Sn,K,jδ={f∈H:2j?1Kδ<‖f?fρ‖LρX2≤2jKδ}，对于j∈N+。这导致了以下分解：
P(‖fD,H?fρ‖LρX2≥Kδ)=

比较与讨论
本节将我们的发现与基于最大相关熵准则的先前监督学习研究进行了比较。现有文献广泛探讨了在实证风险最小化框架内的最大相关熵准则。例如，[15]在假设响应有界（|Y|≤M几乎必然）的情况下建立了基于相关熵的回归的收敛率，并考虑了具有?2-经验覆盖数的假设空间H，满足log2N2(η,H)

命题1的证明
定义Δf(x)=fρ(x)?f(x)。根据回归模型y=fρ(x)+ε，E(f)?E(fρ)=EX,Y[?τ(y?f(x))]?EX,Y[?τ(y?fρ(x))]=EX,ε[?τ(ε+Δf(x))??τ(ε)]。由于集合{u:|u|=τ}的勒贝格测度为零，在计算期望值时我们可以使用?τ的几乎处处可导函数。具体来说，我们定义?τ′(u)={u,|u|<τ,0,|u|>τ}，?τ″(u)={1,|u|<τ,0,|u|>τ。在u=±τ处的值是任意的，不影响积分。在下文中，?τ′和?τ″指这些几乎处处可导的函数。

对于固定的x和ε，