编辑推荐：
研究人员研究了过参数化神经网络是否能在没有归纳偏置的情况下学习满足点态约束。人们可能预期一个足够表达的网络会学会尊重此类约束。研究人员证明事实并非如此。对于具有实解析（real-analytic）激活函数的过参数化前馈神经网络，假设全局最小值流形是连通的，则网
研究人员研究了过参数化神经网络是否能在没有归纳偏置的情况下学习满足点态约束。人们可能预期一个足够表达的网络会学会尊重此类约束。研究人员证明事实并非如此。对于具有实解析（real-analytic）激活函数的过参数化前馈神经网络，假设全局最小值流形是连通的，则网络满足实解析点态约束的参数集在该流形上的测度为零。研究人员进一步证明，在梯度流的标准收敛假设下，这些满足约束的参数的吸引域在参数空间中的测度为零，因此梯度下降几乎必然找到违反约束的解。该证明两次应用了实解析函数的恒等定理（identity theorem）：首先，表明网络要么处处满足约束，要么在输入域上几乎处处（相对于勒贝格测度（Lebesgue measure））违反约束；其次，表明过参数化排除了处处满足的情况。在动力学部分，稳定流形定理（stable manifold theorem）将该零测度性质从流形提升到参数空间。研究人员将这一现象称为约束不可学习性——尽管网络插值了训练数据，但无法在整个输入域上精确满足约束。
**论文解读**
**研究背景与问题**
神经网络在众多领域取得了巨大成功，其成功伴随着广泛使用的架构归纳偏置，例如softmax强制每个输入处输出和为1的点态约束。这些偏置在实际中普遍存在，但考虑到过参数化网络的强大表达能力，它们究竟是数学上的必要条件，还是仅仅是一种工程选择？具体而言，一个网络能否在没有相应归纳偏置（即架构不保证约束对所有参数成立）的情况下，通过训练自行学会满足点态约束？例如，对于概率归一化约束，虽然万能逼近定理表明足够宽的神经网络可以逼近任何连续函数，包括满足该约束的函数，但网络能否不依赖偏置而学会精确满足约束，仍是开放问题。研究人员针对这一问题展开了研究，证明在过参数化神经网络中，缺乏归纳偏置时，点态约束的精确满足在数学上几乎不可能，这一发现解释了为什么实践中必须依赖软约束层等架构设计。该论文发表在《Mathematics》。
**主要关键技术方法**
研究人员主要运用了实解析函数的恒等定理两次：第一次应用于输入变量，证明对于固定参数，网络要么处处满足约束，要么几乎处处违反；第二次应用于参数变量，在全局最小值流形上证明满足约束的参数集测度为零。此外，借助Morse–Bott非退化性（Morse–Bott nondegeneracy）和稳定流形定理，将零测度性质从流形提升至整个参数空间，从而证明吸引域测度为零。所有分析均基于过参数化条件（参数数量大于训练样本数）和插值能力假设（网络可插值任意点集），无需具体样本队列来源。
**研究结果**
**4.1 点态约束的全有或全无性质**
通过恒等定理，研究人员证明对于任意固定参数，网络作为输入的函数是实解析的；若该函数在某正测度集上满足约束，则必在整个输入域上处处满足。该结论排除了“部分满足”的可能性，即参数要么使网络全体满足约束，要么几乎处处违反。
**4.2 满足约束参数的测度零**
选取一个测试点，构造评估函数并证明其在全局最小值流形M上是实解析的。利用无归纳偏置条件（存在某参数使网络在某输入处违反约束）和插值能力（可插值包含测试点的增广数据集），证明该评估函数在M上非恒为零。结合恒等定理与M的连通性假设，得出满足约束的参数集在M上的测度为零。
**4.3 吸引域与约束不可学习性**
在梯度流几乎必然收敛到M的假设下，通过Morse–Bott非退化性证明M是法向双曲吸引子流形。稳定流形定理给出从参数空间到M的实解析映射，复合后得到实解析函数。利用该函数非恒为零，证明其零集（即吸引到满足约束参数集的初始点集）在参数空间中的勒贝格测度为零。因此，若初始化分布绝对连续，则梯度流几乎必然收敛到违反约束的参数。
**4.4 扩展到向量值输出**
将输出从标量推广到k维向量，评估映射与损失函数相应调整。插值能力假设需增强为可插值任意k维输出向量，但通过共享隐藏层与独立输出头的标准构造，该性质仍对足够宽的实解析网络成立。点态约束由实解析函数定义，所有证明（恒等定理、测试点构造、Morse–Bott非退化性、稳定流形定理）在替换维度后保持不变，结论完全推广。
**讨论与结论**
**讨论部分**
研究人员指出，定义2（归纳偏置）区分了架构强制与算法隐式正则化，而定理提供了理论解释：无归纳偏置时，精确约束满足是测度零事件，而非训练失败。图1通过对比实验展示：相同架构的网络，无softmax时约束几乎处处违反，有softmax时处处满足。隐式正则化（如谱偏置、神经正切核）虽能影响梯度下降偏好的解，但约束满足集是零测度子集，隐式正则化无法将轨迹引向它。局限性包括：激活函数限于实解析类（排除ReLU），但ReLU的局部恒等定理可能提供替代路径；约束限于点态（排除函数约束如等变性）；结论仅针对精确满足，近似满足可能具有正测度；插值能力假设强于过参数化条件，但由足够宽网络保证；流形连通性假设非平凡，但已有部分理论支持；梯度流收敛假设虽被宽网络理论支持，但完整证明尚待解决。
**研究结论翻译**
我们已经证明，具有实解析激活函数的过参数化神经网络无法在没有架构归纳偏置的情况下精确学习满足点态约束。该证明基于一个简单的几何事实：实解析函数的恒等定理迫使约束满足呈现全有或全无性质，而无归纳偏置条件结合插值能力确保了“全有”情况在插值流形上占据测度零。通过Morse–Bott稳定流形定理将这一零测度性质从M提升到参数空间，我们证明了约束满足参数的吸引域测度为零，因此梯度下降几乎必然收敛到在输入域上几乎处处违反约束的参数。实际意义在于，针对点态等式约束的架构归纳偏置（如用于概率归一化的softmax）并非工程上的便利，而是实现精确满足的数学必然性。结果在其设定范围内是精确的：实解析激活函数、点态约束、精确满足以及连通的插值流形（局限性见第5.3节）。将约束不可学习性扩展到这些边界之外，定义了未来工作的方向。最紧迫的方向是ReLU网络是否存在类似结论，恒等定理在那里没有直接替代，但Cr?ciun & Ghoshdastidar [16]（参考文献已按要求去除——译者注）的逐段解析激活函数框架可能提供一条路径。第二个方向是近似满足：隐式正则化能否驱动网络进入δ邻域，尽管精确成员是测度零事件。
