通过混合核技术稳定隐藏物理模型，以数据驱动的方式发现非线性偏微分方程

《Communications in Nonlinear Science and Numerical Simulation》：Stabilized Hidden Physics Models via Hybrid Kernels for the Data-Driven Discovery of Nonlinear PDEs

　　

摘要

从稀疏且可能无噪声的观测数据中驱动地发现非线性偏微分方程（PDEs）仍然是计算物理学中的一个重大挑战。隐式物理模型（HPMs）利用高斯过程（GP）先验来编码潜在的物理定律，为此任务提供了一个强大的概率框架。然而，应用标准的协方差函数（如平方指数（SE）核）时，当涉及高阶微分算子时，通常会导致格拉姆矩阵严重病态。这种数值不稳定性会创造出高度非凸且“锯齿状”的似然景观，从而阻碍基于梯度的优化，并导致参数估计的崩溃。在本文中，我们提出了一个基于混合核方法的增强型HPMs框架，以克服这些基本的数值瓶颈。通过构建一个结合了表达性基础核和结构规则化逆多二次（IMQ）组分的复合协方差结构，我们有效地限制了系统的条件数。这种结构稳定性平滑了负对数边际似然（NLML）表面，在无噪声极限下恢复了像L-BFGS这样的拟牛顿优化器的鲁棒性。通过一系列典型的非线性问题，包括Burgers’方程、Korteweg-de Vries（KdV）方程、Kuramoto-Sivashinsky（KS）方程和二维不可压缩Navier-Stokes方程，对提出的框架进行了严格的验证。数值结果表明，混合方法成功解决了准确性-稳定性之间的权衡，从极稀疏的数据中实现了高保真度参数恢复和精确的系统识别（使用了不到0.8%的可用时空域）。我们的发现表明，混合核化对于稳定和准确地发现复杂动态系统是必不可少的，因为在这些系统中，标准的单核HPMs由于数值奇异性而失败。

引言

先进传感技术和高性能计算的融合加速了向数据驱动发现的范式转变，在这种模式下，揭示复杂系统的潜在控制律已成为科学探索的前沿[1]、[2]、[3]、[4]。虽然“大数据”主导了计算机视觉等领域，但在科学发现中，往往是在“小数据”情况下进行的，其中高保真度观测数据要么昂贵要么稀少[1]、[5]、[6]。在这样的领域中，纯粹的数据驱动方法常常遭受样本效率低下和缺乏物理一致性的问题。为了弥合这一差距，隐式物理模型（HPMs）作为一种变革性范式出现了，它将基本物理原理——通常表示为非线性偏微分方程（PDEs）——与高斯过程（GPs）的概率灵活性相结合[1]。最近的进展进一步将这些框架扩展到了无网格拓扑优化[7]和通过潜在神经算子实时预测时变参数系统[8]。

隐式物理模型利用GP先验来近似潜在的功能形式，其中物理定律通过非线性算子对协方差核的作用在分析上进行编码[1]、[9]。这种框架有助于从有限的数据中进行稳健的系统识别和控制动态的发现。然而，存在一个严重且常被忽视的计算瓶颈： resultant Gram矩阵的数值不稳定性。当将非线性算子（特别是涉及高阶空间导数的算子）应用于标准核（如平方指数（SE）时，得到的矩阵经常表现出灾难性的病态[10]、[11]。在无噪声的情况下，例如确定性计算机模拟中，这种数值脆弱性尤为明显，由于缺乏“ nugget”或正则化项，协方差矩阵的谱变得接近奇异，从而阻碍了可靠的参数推断[12]、[13]。选择合适的核是对缓解这些问题至关重要的因素，特别是在基于扩散的多保真度建模中[14]。

尽管基于高斯过程的方法和具有物理信息性的框架表现出显著的预测能力，但在处理高阶非线性算子时，尤其是在低噪声情况下，它们经常遇到严重的数值不稳定性和病态。稳定这种数据驱动模型的挑战反映了在复杂动态系统的稳定性分析中发现的更广泛的理论复杂性。例如，最近在非线性脉冲系统的有限时间稳定性[15]和具有时间延迟的随机非线性模型的状态反馈稳定性[16]方面的分析进展强调了严格的结构约束的必要性。受到这些基本稳定原则的启发，解决算子学习中固有的准确性-稳定性权衡需要超出标准nugget项的先进协方差正则化技术。

虽然高斯过程（GPs）因其不确定性量化而受到赞誉，但它们在HPMs中的有效性严格依赖于底层核的条件性。在低噪声情况下，负对数边际似然（NLML）表面往往变得高度非凸，并且对小扰动非常敏感，导致基于梯度的优化器在次优区域停滞。最近的相关文献也强调了稳健的拟牛顿优化策略在克服PDE发现障碍中的关键作用[17]。这一限制严重限制了HPMs在复杂系统（如混沌动力学或高雷诺数流动）中的可扩展性，在这些系统中，高阶数值精度是不可或缺的。

尽管基于深度学习的方法（如物理信息神经网络（PINNs）[18]、[19]由于其灵活性而在PDE发现中获得了巨大普及，但它们经常遇到复杂的、非凸的优化景观，并且缺乏内在的不确定性量化。相比之下，基于高斯过程的隐式物理模型（HPMs）[1]提供了一种数学上优雅的概率替代方案，并具有精确的分析导数。然而，标准的单核HPMs（例如，使用平方指数核的模型）在应用高阶非线性微分算子时，格拉姆矩阵会表现出灾难性的病态。传统的数值补救措施在这种情境下效果不佳：虽然通常向平方指数（SE）核中注入人工噪声（nugget项）来缓解病态，但这本质上会牺牲无噪声环境下的准确性。同时，使用低平滑度的协方差（例如Matérn核）无法提供评估高阶微分算子所必需的高阶可微性。相比之下，提出的混合核框架通过结合表达性基础核和结构规则化组件系统地弥合了这一差距，从而在不牺牲高阶平滑性的同时解决了准确性-稳定性权衡问题，也没有引入人工噪声。

为了克服这些挑战，本研究提出了一种基于混合核技术的稳健建模框架，专门用于稳定的非线性系统识别。与传统的单核架构不同，混合策略构建了一个复合协方差结构，平衡了全局功能表达性和局部数值规则性。通过整合具有互补光谱特性的核，我们系统地改善了系统的条件数，从而平滑了最大似然估计（MLE）的优化景观。这一创新确保了即使在无噪声极限下也能准确恢复未知的物理参数，而标准模型在这种情况下会遇到数值崩溃。这项工作的核心贡献是在HPMs的理论优雅性与识别复杂的高阶非线性算子的实际需求之间建立了数值上的稳定桥梁。

本文的结构如下：第2节回顾了隐式物理模型的数学公式，并对非线性核变换中固有的稳定性挑战进行了严格分析。第3节介绍了所提出的混合核方法及其数学基础。第4节通过几个基准非线性问题（包括Burgers’方程、KdV方程和Navier-Stokes方程）展示了该方法的有效性，强调了数值条件和识别准确性的双重改进。最后，第5节总结了本文并讨论了未来的研究方向。

部分摘录

方法论：用于非线性PDEs的高斯过程回归

在本节中，我们详细阐述了使用GPR学习时变非线性PDEs参数的数学框架。我们特别关注从非线性算子到基于概率核的表示的转变以及其中固有的数值挑战。

应对计算挑战：混合核方法

虽然GPR为识别非线性动态系统提供了严格的概率框架，但其实现经常受到结果格拉姆矩阵固有病态的阻碍。本节分析了标准GPR的数值脆弱性，并介绍了一种旨在稳定学习过程而不牺牲预测准确性的混合核策略。

数值结果与讨论

在本节中，我们评估了所提出的混合核GPR框架在学习非线性算子方程方面的性能。我们考虑了几个基准问题，包括Burgers’方程、Korteweg-de Vries（KdV）方程、Kuramoto-Sivashinsky（KS）方程和Navier-Stokes方程。我们的主要目的是展示混合方法如何克服标准GPR中固有的计算瓶颈和数值不稳定性，特别是在无噪声情况下。值得注意的是

结论

在这项研究中，我们解决了使用HPMs进行非线性PDEs数据驱动发现中的一个关键数值瓶颈。虽然GPR为算子学习提供了一个强大的、数学上严格的框架，但其应用于确定性、无噪声数据集时，经常会导致协方差矩阵的严重病态。这种固有的不稳定性，特别是在建模高阶微分算子时，会产生高度非凸和混沌的似然景观，从而不可避免地

声明

利益冲突 作者声明他们没有任何竞争利益。

未引用的浮动内容

图3、图10、图11

CRediT作者贡献声明

Meysam Cheraghi：写作——原始草稿、可视化、验证、方法论、调查、形式分析。Mohsen Esmaeilbeigi：写作——审阅与编辑、监督、资源获取、形式分析、概念化。Ebrahim Nazari：写作——审阅与编辑、形式分析。

利益冲突声明

作者声明他们没有任何已知的竞争财务利益或个人关系可能会影响本文报告的工作。

Meysam Cheraghi|Mohsen Esmaeilbeigi|Ebrahim Nazari

伊朗马拉耶尔大学数学与统计科学学院