跳跃扩散随机神经网络的最优控制框架与理论收敛性保证

《Neurocomputing》：Optimal control framework and theoretical convergence guarantees for jump-diffusion stochastic neural networks

　　齐荣|梁岩|段晓军|刘俊和|贾园园中国湖南长沙410073，国防科技大学理学院摘要本文提出了一种基于带跳跃的向后随机微分方程的概率机器学习框架。通过将一类带跳跃的扩散随机神经网络的训练过程转化为随机最优控制问题，我们建立了一个新的理论框架。为了解决参数更新中计算条件期望这一核心难题，我们采用了逐样本数值方案来加速随机控制问题的求解。从理论层面来看，我们为所提出的优化方法建立了严格的收敛性质：在成本函数具有凸性的假设下，可以得到控制序列的非渐近收敛界；而在非凸情况下，则证明了梯度下降算法的几乎必然收敛性。通过数值实验验证了理论上的收敛速度，评估了该方法在具有莱维型扰动的四维函数拟合问题上的近似性能和不确定性量化能力，通过包含结构异常值的消融研究分析了其鲁棒性，并在真实的空气质量数据集上展示了其实际应用价值。这一框架将现有的基于布朗扩散系统的样本方法扩展到了带有跳跃的随机系统，代表了在随机环境中训练带跳跃的扩散随机神经网络时对反向传播机制的自然推广。引言深度神经网络由于其建模复杂系统的强大能力，被广泛应用于科学计算和数据科学领域[18]、[30]。然而，标准的深度神经网络只能产生确定的点估计值，无法捕捉科学数据中固有的不确定性。这种缺乏概率输出的特性限制了它们在那些需要可靠风险评估的关键安全应用中的使用。贝叶斯神经网络通过为网络权重赋予先验分布，为不确定性量化提供了一种严谨的方法[10]、[17]。但在高维情况下，精确的后验推断仍然存在巨大的计算难度。虽然有如dropout这样的简单非贝叶斯替代方法存在[8]，但它们往往缺乏理论深度。为了解决可扩展性问题，研究方向逐渐转向了神经随机微分方程[21]、[22]、[24]、[28]、[32]、[33]。随机神经网络在神经常微分方程的连续深度框架基础上[6]、[36]，将布朗噪声直接引入到隐藏状态的动力学中。在这种模型中，漂移项负责预测，而扩散项则用于捕捉不确定性。与贝叶斯神经网络相比，这种结构带来了显著的效率提升：随机神经网络无需为数百万个权重调整分布，只需估算扩散系数即可。不过，标准的随机神经网络仅限于连续的样本路径，这限制了它们模拟具有突变行为的系统的能力。因此，有必要引入跳跃过程，正如近期关于带跳跃的神经随机微分方程的研究中所探讨的那样[9]、[12]、[15]、[35]。除了神经网络模型之外，从稳定性分析的角度，泊松跳跃也在随机系统中得到了研究。例如，Dhayal和Malik[7]通过逐步逼近法研究了具有泊松跳跃的阻尼分数随机微分系统的稳定性。这些研究进一步表明了跳跃扰动在随机建模和分析中的重要性。连续时间模型的高效训练在很大程度上依赖于梯度估算策略。尽管伴随灵敏度方法[6]为神经常微分方程优化了内存使用效率，但由于伊藤微积分的特殊性质，将其扩展到神经随机微分方程时变得十分复杂。为了解决这一问题，Li等人[20]提出了基于斯特拉托诺维奇方法的框架，利用微分同胚的随机流，而Kidger等人[16]则开发了可逆Heun方法，以平衡计算速度和数值精度。除了这些算法上的改进之外，还有越来越多的研究倾向于从随机最优控制的视角来看待机器学习。随机最优控制的理论基础已经十分完善[25]、[26]、[37]，并且已在众多数值应用中得到广泛应用[13]、[14]、[34]。最近的研究还将深度学习整合到了随机最优控制框架中，通过监督学习解决了经典问题和平均场问题[4]、[5]、[27]。与那些直接用神经网络近似控制策略的方法不同，我们采用了基于随机最大原理的概率框架。这种方法与Li等人[19]提出的深度学习的控制论观点相一致，同时也建立在Archibald等人[1]、[2]所建立的随机建模和收敛性分析基础之上。尽管由布朗噪声驱动的随机神经网络为将连续随机扰动纳入神经动力学提供了有效途径，但其样本路径是连续的，由此产生的正则化效果也主要是局部的。这使得它们不太适合处理那些由于罕见但强度较大的冲击而产生不确定性的系统，比如突然的制度变化、脉冲干扰或结构异常值。这一局限性促使人们将跳跃过程引入随机神经网络。与主要捕捉局部波动的布朗运动不同，跳跃噪声允许状态动力学中出现不连续性和重尾变化。这种差异也体现在所产生的正则化效果上：布朗成分会产生局部的二阶扩散效应，而跳跃成分则通过有限的状态跳变产生非局部的积分-微分效应；详细比较可见第4.4节。然而，引入跳跃过程也使得训练和分析工作变得更为困难。跳跃过程中固有的不连续性增加了梯度估算的复杂性，伴随方程则变成了一个带有涉及莱维测度的额外跳跃伴随项的带跳跃的向后随机微分方程系统。因此，梯度表示必须同时考虑布朗增量和经过补偿的跳跃增量，这就带来了额外的可积性要求、稳定性估计以及收敛性分析上的难题。为了解决这些问题，我们基于随机最大原理开发了一个数值框架。通过将参数训练视为一个随机最优控制问题，我们推导出了相应的带跳跃的向前-向后随机微分方程系统，并得到了用于优化网络参数的逐样本梯度下降方案。本工作的主要贡献如下：•我们将带有跳跃的随机神经网络的训练过程视为一个随机最优控制问题。这将深度学习的控制论解释从布朗扩散系统扩展到了带跳跃的扩散系统，在这种系统中，可学习的参数、扩散系数和跳跃系数都被视为控制变量。•我们通过随机最大原理推导出了伴随的带跳跃的向后随机微分方程系统，并得到了关于控制变量的显式梯度表达式。由此得到的向后伴随方程为带有跳跃的随机神经网络提供了反向传播的随机对应形式：它在存在布朗噪声和泊松跳跃的情况下，能够沿着网络深度向后传递灵敏度信息。•我们将为布朗扩散模型开发的逐样本反向传播理念扩展到了具有泊松跳跃的随机神经网络。由此得到的逐路径梯度估计器同时包含了布朗项和跳跃伴随项，从而避免了直接计算高维条件期望值的需要。基于这一公式，我们为所提出的算法证明了收敛性保证，包括在凸情况下的非渐近收敛估计，以及在非凸情况下几乎必然收敛到稳定点的结论。本文的其余部分结构如下。第2节介绍了带有跳跃的随机神经网络的随机最优控制建模方法。在这一节中，训练问题被表述为带跳跃的扩散动力学的控制问题，而相应的梯度表达式则是从随机最大原理中推导出来的。第3节则将这个最优性系统转化为一个可计算的算法。更具体地说，就是对连续的向前-向后系统进行时间离散化，然后构建一个逐样本反向传播方案，以沿着各个样本路径近似计算梯度。第4节研究了由此产生的随机梯度下降迭代的收敛性。分析首先确立了逐样本梯度估计器的基本性质以及伴随的带跳跃的向后随机微分方程的离散化误差。然后利用这些估计值证明了在凸情况下的半阶收敛速率。对于非凸情况，则通过稳定性估计和下降论证相结合的方式，证明了离散梯度的几乎必然收敛性。第5节展示了数值实验结果，第6节则总结了本文的工作并提出了未来可能的研究方向。片段内容带跳跃的扩散动力学的最优控制框架设定一个有限的时间范围。令表示一个完备的过滤概率空间。该过滤过程是由两个相互独立的随机过程生成的，并且还包含了所有-空集的集合，记为。这两个过程定义如下：(i)一维标准布朗运动。(ii)在乘积空间上的泊松随机测度，其中配备了其波莱尔-代数。我们用表示的补偿量。因此，补偿测度定义为对于任何和，有高效的带跳跃过程的反向传播方案所提出的数值算法是在区间的时间离散化上实现的，其离散化特征由以下划分方式确定：其中表示划分大小，它直接对应于带有跳跃的随机神经网络的架构深度。在均匀网格的情况下，步长定义为。我们首先建立带跳跃的向后随机微分方程的数值框架。学习算法的理论保障本节致力于分析在(24)、(25)、(26)、(27)中定义的所提出的随机梯度下降算法的收敛性。为了便于分析，我们针对带跳跃的向前随机微分方程和随机最优控制问题采用以下标准假设。假设4.1除了假设2.1之外，还需要满足以下条件才能确定所提算法的收敛速率：(a)扩散系数和满足一致椭圆条件。也就是说，存在一个常数，使得数值实验在本节中，我们通过四种数值实验从不同角度评估所提出的带有跳跃的随机神经网络框架。第一个实验通过一个具有显式解析解的、具有凸性且依赖于控制的加性噪声问题，验证了定理4.1所预测的收敛行为。第二个实验则评估了该方法在具有莱维型扰动的四维函数拟合问题上的近似性能和不确定性量化能力。结论与未来工作在本研究中，我们基于带跳跃的向后随机微分方程理论，为带有跳跃的随机神经网络建立了一个计算框架。通过将网络训练过程视为一个随机最优控制问题，我们设计出了一种高效的逐样本反向传播算法。我们还进行了严格的理论分析，以确保所提出的数值方案的收敛性。具体来说，我们建立了非渐近收敛界限CRediT作者贡献声明齐荣：写作——审稿与编辑，写作——初稿撰写，可视化，验证，方法论，研究，形式分析，数据整理，概念构建。梁岩：写作——审稿与编辑，指导，资金获取。段晓军：写作——审稿与编辑，指导，资金获取。刘俊和：可视化，验证。贾园园：可视化，验证。资金支持本研究得到了中国国家重点研发计划（编号2023ZD0121101）和中国国家自然科学基金（编号U2230208）的支持。利益冲突声明作者声明他们没有已知的、可能影响本文所述工作的财务利益或个人关系。齐荣在中国济南的山东师范大学获得统计学学士学位，在中国威海的山东大学获得概率论与数理统计硕士学位。他目前正在中国长沙的国防科技大学攻读博士学位。他的当前研究兴趣包括随机最优控制、向后随机微分方程、深度学习以及不确定性量化。