神经振子（Neural Oscillators）的上界泛化界（Upper Generalization Bounds）

《Probabilistic Engineering Mechanics》：Upper generalization bounds for neural oscillators

　　

源于二阶常微分方程（ordinary differential equations, ODEs）的神经振子（neural oscillators）在学习复杂非线性结构系统动态荷载与响应之间的映射方面已展现出具有竞争力的性能。尽管存在这一经验性成功，但从理论上量化其神经网络架构的泛化能力仍未得到发展。本研究考虑由二阶ODE后接多层感知机（multilayer perceptron, MLP）构成的神经振子，借助Rademacher复杂度框架，推导了其在逼近连续时间函数空间之间因果且一致连续算子以及逼近一致渐近增量稳定二阶动力系统时的上界可能近似正确（probably approximately correct, PAC）泛化界。这些界进一步被推广到目标因果算子的关注量概率测度与相应所学神经振子之间平方Wasserstein-1距离的情形。理论结果表明，估计误差关于MLP规模与时间长度均呈多项式增长，从而避免了参数复杂度的维数灾难（curse of parametric complexity）。此外，所推导的误差界表明，通过损失函数正则化约束MLP的Lipschitz常数可提升神经振子的泛化能力。针对随机地震激励下Bouc–Wen非线性系统的数值研究验证了估计误差关于样本量与时间长度的理论预测幂律，并确认了在有限训练数据下约束MLP矩阵与向量范数对提升神经振子性能的有效性。

研究背景方面，准确建模长序列或连续时间函数之间的映射是机器学习中的重大挑战，对科学与工程应用至关重要。循环神经网络（recurrent neural networks, RNNs）及其变体、基于注意力架构、状态空间（state-space, SS）模型与神经振子（neural oscillators）等架构相继被提出。神经振子源自常微分方程（ODEs），兼具RNN快速推断与注意力架构长程序列学习竞争力，且在缓解梯度消失爆炸、保障长程依赖稳定动力学方面具理论证明。然而，相比SS模型已有近似与泛化界研究，神经振子的近似与泛化性质理论分析仍有限：Huang等人建立了二阶ODE后接MLP神经振子逼近因果连续算子与稳定二阶系统的上界近似界，但其PAC泛化界尚属空白。为填补此空白，研究人员在《Probabilistic Engineering Mechanics》发表该研究，推导该架构的PAC上界泛化界并拓展至Wasserstein距离，揭示多项式增长规律与Lipschitz约束的泛化增益。

关键技术方法上，研究人员采用三类方法：其一，构建由二阶ODE（状态x(t)∈R^r，初值x(0)=x′(0)=0）后接MLP（Γ与Π，ReLU激活）的神经振子架构，将映射写为y(t)=Π°Φ_Γu(τ)；其二，基于Rademacher复杂度框架，结合因果一致连续算子与一致渐近增量稳定二阶系统假设（Assumption 1–6及Definition 1），推导上界PAC泛化界；其三，利用Kantorovich–Rubinstein对偶将界推广至平方Wasserstein-1距离，并以随机地震下Bouc–Wen非线性系统为数值案例（样本来自该SDE系统仿真）验证幂律。

研究结果按原文小节归纳如下。第2节神经振子（Neural oscillator）回顾架构与Huang等人近似界及必要假设（紧集K、模连续?_K、因果一致连续算子Φ、一致渐近增量稳定定义），给出x(t)=Φ_Γu(τ)表示。第3节给出两定理形式化泛化界及支撑引理，并将界延拓至目标因果算子关注量概率测度与所学振子间平方Wasserstein-1距离；界中显示约束MLP Lipschitz常数可降泛化误差。第4节数值研究基于随机地震激励Bouc–Wen非线性系统，验证估计误差随样本量N与时长T呈幂律（多项式而非指数），且有限数据下约束MLP矩阵范数∥W∥与偏置∥b∥提升性能。

讨论与结论部分，研究人员指出：所推PAC上界泛化界对二阶ODE+MLP神经振子成立，误差随MLP宽度/深度与时间长度T多项式增长，规避参数复杂度维数灾难；借助Rademacher复杂度获得的常数显式含MLP权范数与Lipschitz常数，故在损失中加Lipschitz正则可直接控界；Wasserstein-1拓展使结论覆盖输出分布差异而不仅是点态L^∞/L²误差；数值上Bouc–Wen系统证实理论幂律与范数约束实效。该工作首次赋予神经振子PAC泛化保证，为结构动力学ODE系统辨识提供理论支撑。