三层神经网络局部学习系数的上界

《Neural Networks》：Upper Bounds for Local Learning Coefficients of Three-Layer Neural Networks

　　曲间谷 2025a、曲间谷 2025b 定义了一类较为简单的奇异模型——半规则模型，并推导出了在实现参数集中非奇异点处局部学习系数的公式。这一结果为三层神经网络的学习系数给出了上界。不过在某些情况下，该评估值与已知的学习系数值存在较大差异（曲间谷 2025b，例5.2），这说明有必要对奇异点处的局部学习系数进行评估。为解决这一问题，我们为具有实解析激活函数的三层神经网络推导出了局部学习系数的上界公式。本文旨在为那些半规则模型公式无法直接应用的奇异实现参数处的局部学习系数给出上界。该结果的创新之处在于，上界是通过对对数似然比函数的泰勒展开、费希尔信息矩阵的秩以及冗余隐藏单元所对应的权重参数数量来明确表达的。此公式涵盖的激活函数类别比以往研究更广：非多项式实解析情况包括swish函数，而多项式情况则要求真实分布不存在隐藏单元。此外，该上界可被理解为在需求、供给和预算约束下所能购买的最大物品数量的直观规则。与已知的局部学习系数对比可知，当输入层的单元数为1时，当前上界公式右侧的数值与之前研究所得的局部学习系数一致；而当输入层单元数大于2时，在降秩回归对应的情形中，上界与局部学习系数并不一致，这说明主定理中的不等式可能是严格的。

本文结构如下：第2节我们给出局部学习系数上界的公式，并将其应用于三层神经网络；第3节展示这些结果在三层神经网络中的应用，并验证其与先前研究的一致性；第4节证明主要结果，第5节总结全文。在整篇论文中，我们考虑具有连续参数θ=(θ1,…,θd)∈Θ(?Rd)（d≥1）的统计模型p(x|θ)，真实分布记为q(x)，假设对于几乎所有的x都有q(x)>0。同时假设该统计模型是可实现的，即存在参数θ*使得对于几乎所有的x都有q(x)=p(x|θ*)，这样的参数θ*被称为实现参数，所有实现参数的集合记为Θ*。我们假设先验密度φ(θ)在参数区域Θ内具有紧支集，必要时可将Θ限制在此支集上，从而假定Θ是紧凑的。此时受限区域内的实现参数集合记为Θ*，并且假设对于每一个θ*∈Θ*都有φ(θ*)>0。设X是根据真实分布q分布的随机变量，EX[·]表示关于X的期望值。本文假设期望值运算与对θ的偏微分运算可以互换。我们定义对数似然比函数f和库尔贝克-莱布勒散度K(θ)为f(x|θ):=logq(x)p(x|θ)，K(θ):=EX[logq(X)p(X|θ)]。假设K(θ)在Θ上是连续的，并且在每个θ*∈Θ*的邻域内，映射θ?f(X|θ)是L2(q)值下的解析函数。因此K(θ)在每个θ*∈Θ*的邻域内也是解析的，且Θ*=K?1(0)是紧凑的。进一步，我们在θ=θ*处定义费希尔信息矩阵I:=Cov(?f(X|θ)?θi|θ=θ*,?f(X|θ)?θj|θ=θ*)，i,j=1,…,d，该矩阵的秩记为r。若随机变量X1,…,Xn满足对于任意c1,…,cn∈R，当∑i=1nciXi=0时几乎必然有c1=?=cn=0，则称这些随机变量是线性独立的。

定理1.1 奇点消除 Hironaka（1964）、（Watanabe，2009，定理2.3）：设F(x)是在Rd中原点邻域内定义的实解析函数且不恒为零，同时假设F(0)=0。那么可以找到一个包含原点的开集W?Rd、一个实解析流形U，以及一个适当的解析映射g: U→W，使得满足以下条件：(1)设W0:=F?1(0)，U0:=g?1(W0)，则g: U?U0→W?W0是解析同构。 (2)对于U0中的任意点Q，我们可以在U上选取以Q为原点的局部坐标u=(u1,…,ud)，使得F(g(u))=a(u)u1k1u2k2?udkd，|g′(u)|=|b(u)u1h1u2h2?udhd|，其中ki, hi（i=1,…,d）为非负整数，a(u)、b(u)为实解析函数且满足a(u)≠0、b(u)≠0。我们将形式为(1.1)的表示称为正规交叉。

定义1.1 学习系数：设库尔贝克-莱布勒散度K(θ)是在满足Θ*?O的开放集O?Rd上定义的实解析函数。对于Θ*中的每个点P，通过坐标平移使P成为Rd中的原点后，我们可以应用定理1.1，并确定由定理1.1(2)保证的一个三元组(W, U, g)。此外，在U0中任意点Q的邻域内，我们用hi(Q)、ki(Q)表示定理1.1(2)给出的非负整数。 (1)我们按照(Watanabe，2009，定义2.7、定理6.6、定义6.4）、Aoyagi（2025）；Lau等人（2025）的定义，将P处的局部学习系数记为λP，将紧凑集Θ*的学习系数记为λ，定义为λP:=infQ∈U0{mini=1,…,dhi(Q)+1ki(Q)}，λ:=infP∈Θ*λP。如果ki=0，则定义(hi+1)/ki=∞。 (2)在(1)中，对于达到最小值的Θ*中的点P，我们将重数m定义为满足λP=(hi(Q)+1)/ki(Q)的指标i的最大数量。（如果有多个Θ*中的点达到最小值，则重数定义为这些最大指标数量中的最大值。）

主定理：在本节中，我们首先为三类超出三层神经网络的奇异模型给出了局部学习系数的上界公式，随后将其应用于三层神经网络。在整篇论文中，“理想”指的是所考虑点处解析函数局部环中的理想。

主定理：设α,β∈Z≥1，γ∈Z≥1∪{∞}，r∈Z≥0，令(ms)1≤s≤γ和(ns)1≤s≤γ为正整数序列，且假设(ms)1≤s≤γ是严格递增的。考虑……

三层神经网络局部学习系数的上界：在本节中，我们验证主定理适用于输入层有N（≥1）个单元、隐藏层有H（≥1）个单元、输出层有M（≥1）个单元的三层神经网络。详细论证见附录A。设X:=(X1,…,XN)?为一个RN值随机变量，假设X的分布qX具有紧支集。设N为一个与X独立的M维标准正态随机变量。对于RM值随机变量Y，我们考虑三层……

主定理的证明：这里我们仅给出证明的概要，详细内容见附录C。我们通过执行图2所示的四个步骤并得到正规交叉形式来证明该结论。第一步总共包含m1次放大操作。在第二步中，我们根据条件(ii)在选定的局部图表中执行坐标变换a?a′。由于该局部图表只是完整坐标邻域的一部分，因此得到的值并非λP本身，而是它的上界。第三步是我们……

结论：在本文中，我们推导出了一个具有广泛适用性的公式，可用于为三层神经网络的局部学习系数给出上界。通过应用这一公式，我们得到了在非多项式实解析激活函数的通用情况下三层神经网络学习系数的上界；而在多项式情况下，则是在真实分布不存在隐藏单元的约束下得出的结果。作为未来的工作，有必要分析CRediT作者贡献度所对应的范围。Yuki Kurumadani：撰写——初稿、形式分析、概念构建。利益冲突声明作者们声明自己没有已知的可能影响本文所述工作的财务利益或个人关系。致谢我感谢大阪大学的Joe Suzuki教授，他教会了我贝叶斯理论的基础知识，并为我提供了将代数几何与统计学相结合的研究课题。同时，我也感谢他提出的宝贵意见和建议以及对本手稿的仔细审阅。我还要对提出学习系数概念的Sumio Watanabe教授表示感激。