通过松弛和投影技术在时变自然Galerkin方法中保持守恒定律

《Communications in Nonlinear Science and Numerical Simulation》：Preserving conservation laws in the time-evolving natural Galerkin method via relaxation and projection

　　**摘要**

物理感知的神经网络及相关时空神经求解器通常将时间视为一个额外的输入变量，这可能在近似和优化过程中掩盖时间因果关系。神经Galerkin方法通过在参数解流形上逐时间演化神经近似来解决这个问题。然而，现有的时间演化自然Galerkin（TENG）公式通常不保持保守型偏微分方程（PDE）的不变性：时间离散的目标状态可能已经违反了一个不变性，而随后的参数更新可能会进一步偏离相应的不变流形。因此，我们开发了一种基于松弛-投影的TENG改进方法，称为RP-TENG。第一个组成部分是一种松弛Runge-Kutta目标构建方法，它在保持底层显式积分器形式阶数的同时，强制满足规定的离散不变性。第二个组成部分是一个考虑约束的参数更新步骤，随后通过投影步骤将网络参数恢复到离散不变流形。这种方法仍然无需网格，并且直接在参数空间中推进动力学，而不需要解决由结构保持的空间离散化所产生的非线性代数系统。针对无粘Burgers方程、Korteweg-de Vries方程、声波方程和浅水模型的数值实验表明，RP-TENG显著提高了不变性的保持能力，并且在测试的范围内，通常提高了计算轨迹的准确性和鲁棒性，相对于基线TENG方法有所改进。

**引言**

非线性演化方程出现在许多科学和工程领域；例如，生物医学和神经动力学模型可能表现出强烈的非线性和振荡行为[1]、[2]、[3]、[4]。基于神经网络的近似已成为数值求解时变偏微分方程（PDE）的一个重要无网格范式[5]、[6]、[7]、[8]。它们的灵活性以及自动微分能力使得无需构建传统空间网格即可评估微分算子。这一视角特别适用于高维和几何复杂的问题。一个代表性的例子是Raissi等人提出的物理感知神经网络（PINN）框架[5]。其核心思想是将控制方程和可用的初始条件、边界条件或观测数据纳入网络训练；额外的物理属性（如守恒定律、耗散关系或对称性）可以通过惩罚项或硬约束来施加。标准PINN通过在配置点最小化基于残差的损失来近似整个时空域的解，因此通常被视为全局时空求解器。

“物理引导的神经网络”这一术语描述了一种广泛的建模原理，而不是特定的架构。相比之下，卷积神经网络（CNN）[9]是一种基于卷积滤波器、局部连接性和权重共享的特定架构，特别擅长从网格结构化数据中提取局部空间特征。这两种概念是兼容的：CNN可以作为物理引导模型的核心，其训练还受控制方程、边界条件或守恒定律的约束。更一般地，结合物理信息可以减少对标记数据的依赖，并抑制非物理预测。然而，在PDE求解器中，物理一致性还需要关注潜在演化问题的时间和几何结构。尽管在许多情况下都很成功，但这种公式并没有明确区分时间演化和空间变化；相反，时间被视为一个额外的输入坐标。因此，优化过程并不自然地尊重时间因果关系：后续状态应该从早期状态顺序生成，而不是通过全局拟合同时推断[10]。这个问题激发了大量关于因果感知神经求解器的研究。一些方法从离散时间步进公式构建损失函数，而其他方法则将时间间隔分割并在得到的子域上顺序训练[10]、[11]。例如，Wang等人[12]在损失函数中引入了时间依赖的指数权重以强调因果信息。尽管这些策略可以改善训练效果，但它们在每个训练问题中仍保持全局时空表示，并可能增加计算成本。

已经为哈密顿系统和保守型PDE开发了几种结构保持的神经方法，包括哈密顿神经网络、辛神经网络、守恒感知的PINN和哈密顿神经PDE替代方法。哈密顿和辛神经网络[13]、[14]主要通过轨迹数据学习未知的有限维向量场或流图，因此主要作为数据驱动的建模工具。相比之下，守恒感知的PINN在整个时空域近似解，通常通过额外的损失项或受限训练来施加守恒定律。哈密顿和辛结构自然地被表述为演化方程及其时间积分器的属性，而全局时空公式并没有明确保留这种动态系统的观点。

神经Galerkin方法[6]、[15]为使用神经网络求解演化PDE提供了时间局部的视角。它们不是将时间视为额外的网络输入并在整个时空域进行优化，而是引入了一个时间依赖的神经表示u(x, t) ≈ uθ(t)(x)。利用Dirac-Frenkel变分原理[16]，物理演化方向??(????)被投影到当前神经流形的切空间上，从而得到参数动力学形式???(??)·?? = ???(??)。所得系统可以使用标准时间步进方案进行顺序积分。这种公式使时间因果关系明确化，避免了全局时空多目标优化，并允许在每个时间步骤监控局部拟合误差、稳定性属性和物理约束。与数据驱动的替代方法或操作符学习方法不同，神经Galerkin方法作为预设PDE的在线数值求解器，因此在精神上更接近于非线性近似流形上的经典Galerkin方法。在随机切换、延迟和间歇控制存在的情况下，也研究了非线性神经动力系统的相关稳定性问题[17]、[18]。神经Galerkin方法通过形式为???(??)·?? = ???(??)的连续动态系统描述神经网络参数的时间演化，其中M(θ)是由神经表示流形的切向量诱导的Gram矩阵。然而，由于参数冗余和神经网络中的精确或近似对称性，M(θ)可能变得秩不足或严重病态。这一困难反映了更深层次的几何障碍：即使每个瞬时物理状态都可以通过神经假设准确表示，相应的表示也需要通过平滑且条件良好的参数轨迹θ(t)来连接。

为了缓解这一限制，Chen等人将[19]中的基于优化的时间积分策略与神经Galerkin框架结合起来，开发了时间演化的自然Galerkin（TENG）方法[20]。TENG不是直接积分连续的参数动力学系统，而是使用时间离散化方案和自动微分在物理空间构建有限时间的目标状态。然后通过在参数空间中重复进行局部切空间拟合来实现相应的物理空间增量。由于每次内部更新后神经流形都会重新线性化，因此单个切空间不必代表整个有限时间增量。尽管这种程序不能消除病态Gram矩阵的影响，但它减少了对外部平滑且条件良好的参数轨迹的依赖。

然而，当考虑保守型PDE时，仍然存在一个重要限制。现有的TENG公式通常使用前向Euler目标构建；更一般地说，显式目标积分器不会自动保持二次或非线性不变性。因此，目标状态可能已经偏离不变流形。即使提供了更好的目标，随后的切空间参数更新仍然不受约束，因此参数轨迹可能会由于拟合、线性化和网络近似误差而偏离不变流形。换句话说，标准TENG从神经Galerkin的角度继承了时间因果关系，但它并没有继承底层PDE的守恒结构。对于长时间模拟来说，这一缺陷尤其重要。经典的几何数值积分表明，保持不变性通常对于稳定性、鲁棒性和定性保真度非常重要[21]。因此，最近的PDE和哈密顿动力学神经求解器已经结合了保持底层方程不变性的机制[22]、[23]。因此，如果TENG要成为保守动力学的可靠工具，就必须同时解决时间因果关系和守恒问题。

本工作联合解决了这两个要求。从TENG框架出发，我们结合了两个互补的想法。第一个是Ranocha及其同事[24]提出的松弛策略，它通过标量松弛因子修改了显式Runge-Kutta更新，从而在保持基方法形式阶数的同时保留了规定的不变性。第二个是受几何积分和守恒感知神经动力学[21]、[23]启发的投影策略，它通过将参数更新映射回离散不变流形来纠正参数更新。它们的组合产生了松弛-投影TENG方法，简称RP-TENG。

由此产生的视角在概念上非常直接。PINN及相关的全局时空神经求解器通常掩盖了时间演化的因果结构；TENG通过参数空间的时间推进恢复了顺序时间演化，但通常不保持不变性，因为无论是显式目标构建还是非线性目标到流形的拟合都不是保守的。RP-TENG通过结合松弛的Runge-Kutta目标和参数空间中的守恒强化投影来纠正这两个缺陷。PDE的推进是通过更新神经网络参数来实现的，而不是通过从传统空间半离散化中演化节点值来实现的。在标准实现中，相同的点和权重可以用于局部最小二乘拟合和离散不变性评估。然而，对于敏感性分析，我们区分了这两种解决方法：Ns表示用于组装局部最小二乘问题的空间样本数量，而Nq表示用于评估离散不变性的积分点数量。标准实现可能简单地将????=????。

**本文的主要贡献如下：**
- 我们澄清了在保守型PDE的TENG方法中，不变性漂移来自两个不同的来源：目标构建阶段和参数更新阶段。我们为TENG引入了一种松弛Runge-Kutta目标构建方法，它在保持规定的离散不变性的同时，与显式高阶基础积分器兼容。
- 我们开发了一种考虑约束的参数更新以及更新后的投影到离散不变流形的方法，从而在参数层面一致地强制保持守恒性。通过对Burgers方程、KdV方程、声波方程和浅水模型的实验，我们展示了所提出的机制显著改善了长时间守恒行为，并且相对于基线TENG方法提高了轨迹准确性和投影鲁棒性。有关各种方法主要特征的比较，请参见表1。

**本文的组织结构如下：**第2节回顾了保守型PDE和神经Galerkin观点。第3节介绍了RP-TENG方法论，包括松弛目标构建、受限参数更新和流形投影。第4节提供了RP-TENG在结构保持问题上的有效性数值证据。第5节总结本文并概述了未来的工作方向。

**时间依赖的具有守恒定律的PDE**

设??????是一个有界的空间域，??是寻找解的函数空间。我们考虑以下形式的时间依赖PDE：???????(??,??)=???(??,???(·,??))，(??,??)∈??×[0,??]，并补充了初始条件???(??,0)=??0?(??)，??∈??。这里的算子f可能涉及u的空间导数。一个保守型PDE具有一个或多个不变泛函，我们将其写为????(??)=∫???????[??]?(??)?d????(??)，??=1,…,????，其中μ是??上的参考测度，?????[??]?(??)是一个不变密度。

**松弛-投影增强的TENG框架**

如2.2节所讨论的，Gram矩阵的秩不足或严重病态可能导致神经Galerkin参数动力学的直接积分不稳定。TENG通过构建物理空间中的有限时间目标增量并通过重复的局部切空间拟合来缓解这一困难[20]。因此，物理演化决定了目标，而连续的局部Gram系统恢复了其神经表示。

**数值实验**

本节报告了旨在评估RP-TENG相对于基线TENG框架是否改善了不变性保持和长时间稳定性的数值实验。所有实验都是使用JAX [32]在Python中以双精度实现的。除非另有说明，参考解是通过谱方法生成的。在线求解器保持无网格：它通过顺序参数更新来推进PDE动力学，而固定的采样/评估点仅用于...

**结论和未来工作**

本文开发了一种用于保守型时变偏微分方程的松弛-投影时间演化自然Galerkin（RP-TENG）框架。关键观察结果是，TENG中的守恒缺陷来自两个不同的来源：由数值积分器生成的时间离散物理目标和随后在非线性神经流形上对该目标的近似。RP-TENG分别解决了这两个问题。首先采用松弛Runge-Kutta策略...

**在撰写过程中声明生成式AI和AI辅助技术**

在准备这项工作时，我们使用了ChatGPT（OpenAI）来协助语言润色。作者们审阅了所有建议的修改内容，并对最终发表的文章内容承担全部责任。

**作者贡献声明：**
- 史志豪（Zihao Shi）：负责撰写、审稿与编辑工作；撰写初稿；方法论研究；数据管理；概念框架构建。
- 王东玲（Dongling Wang）：负责撰写、审稿与编辑工作；撰写初稿；验证研究结果；资源获取；方法论研究；资金申请；数据分析；数据管理；概念框架构建。

**利益冲突声明：**
作者声明不存在任何可能影响本文研究结果的已知财务利益冲突或个人关系。

**作者信息：**
史志豪（Zihao Shi）｜王东玲（Dongling Wang）
湖南基础数学理论及新型计算方法研究中心
湖南应用数学国家中心
湘潭大学数学与计算科学学院
中国湖南省湘潭市 411105