物理信息神经网络与外部求解器的耦合

《Computer Physics Communications》：Coupling Physics Informed Neural Networks with External Solvers

　　

摘要

本工作旨在直接在物理信息神经网络（Physics Informed Neural Network, PINN）中引入物理损失项，利用任意离散化前向求解器从控制方程中获得的数值残差。PINN与外部前向求解器耦合的主要困难在于：神经网络无法直接访问控制方程的离散形式（如有限差分、有限体积、有限元等），并将其纳入计算图。这给基于传统自动微分的物理损失项关于神经网络超参数的梯度计算带来了重大挑战，尤其是在采用基于梯度的优化技术时。因此，我们提出对物理损失项进行修改，以考虑外部求解器产生的残差，并计算优化机制所需的导数。所提出的方法在全阶和降阶基准系统上进行了演示。

引言

近年来，计算流体力学（Computational Fluid Dynamics, CFD）与机器学习（Machine Learning, ML）技术的融合引起了研究界的高度关注。这种融合涵盖了多个领域，包括降阶模型（Reduced Order Model, ROM）方法、物理信息神经网络（PINNs），以及利用基于ML的策略增强现有数值技术。将ML技术与CFD结合的主要目标是实现对参数空间的快速探索，这在设计优化、控制和实时预测等广泛应用中发挥着至关重要的作用。我们将简要回顾不同的方法，并将当前研究方向置于科学机器学习的整体框架中[1]。

降阶模型的开发通常涉及两个不同的计算阶段。第一阶段是离线阶段，使用高性能计算（HPC）资源生成高保真模拟数据集。第二阶段是在线阶段，将降阶模型部署到相对计算能力较弱的平台上进行快速预测。根据所采用的学习策略（针对参数空间或非定常动力学），降阶模型大致分为两类：侵入式和非侵入式方法。在侵入式降阶模型中，控制方程被投影到低维空间，得到的低维系统作为时间推进问题求解。该方法通常需要对现有数值求解器进行大量修改。另一方面，非侵入式降阶模型完全是数据驱动的，利用高保真数值模拟或实验数据集构建代理模型，因此对计算求解器的修改最少或无需修改。尽管侵入式降阶模型（如投影正交分解-伽辽金方法[2][3][4][5]）在低维流形上近似系统动力学方面表现出优异的性能，但它们往往会遇到数值稳定性问题。当解流形表现出强非线性时尤为明显，此时需要大量模态才能实现准确表征，从而增加降阶方案的计算成本。Benner等人[6]对参数化动力系统的投影降阶模型技术进行了详细综述。此外，在侵入式降阶模型框架中处理非线性项需要额外的计算工作，通常通过超降阶技术来解决，如经验插值方法（EIM）[7]、离散经验插值方法（DEIM）[8]、GNAT[9]及其他结构保持方法[10]。由于侵入式降阶模型在降阶空间中强制执行控制方程，即使使用稀疏训练数据集，通常也能提供准确的预测。近年来，非侵入式降阶模型方法也取得了显著进展[11][12][13][14]，特别是在处理计算力学中的病态问题方面，如Schmidhuber等人[15]讨论的逆建模、回归和分类问题。针对此类问题，已提出多种深度学习（DL）方法。例如，Maulik和San[16]以及Duraisamy等人[17]利用机器学习开发了湍流封闭模型。其他值得注意的贡献包括：Wang等人[18]将正交分解（POD）与长短期记忆（LSTM）网络结合用于不可压缩流建模，以及Lui和Wolf[19]利用深度学习进行降维，以从噪声数据集中学习特征动力学。然而，非侵入式降阶模型通常需要大量训练数据才能实现高预测精度。LSTM网络也已被成功应用于计算物理中的各种问题，如Halder等人[20][21]的气弹和水动力学应用，以及Rahman等人[22]的大气湍流建模。

近年来，深度学习技术在改进经典数值方法方面的应用也显著增加。在深度学习增强的有限元方法（FEM）技术方面，有值得注意的工作[23][24]。关于深度学习方法在线性求解器加速方面的应用包括：Greenfeld等人、Xu等人[25][26]用于加速多重网格求解器，以及Wang等人[27]用于学习线性方程组的有效预条件子。最近，提出了基于神经网络的校正策略，以提高经典数值格式的精度的准确率。例如，神经网络已被用于在双保真度学习框架内学习近似黎曼求解器的古德诺夫型校正，从而改善了双曲守恒律的激波捕捉能力并减少了数值耗散[28]。

物理信息神经网络（PINN）和神经算子在近期获得了最突出的研究关注。在过去的一个世纪里，使用神经网络求解偏微分方程（PDE）的早期工作始于Dissanayake和Phan-Thien[29]。随着神经网络研究的最新进展，这一主题因Raissi等人[30]的工作而重新受到关注。物理信息神经网络可以通过引入额外的基于物理的损失项来规避大量训练数据集的需求问题。神经网络中的这一基于物理的损失项可以从控制方程中计算得出。在PINN的框架下，可以考虑不同类型的神经网络，如Raissi等人[30]、Waheed等人[31]、Tartakovsky等人[32]和Schiassi等人[33]使用的人工神经网络（ANN）。类似地，Gao等人[34]和Fang[35]将卷积神经网络（CNN）与物理约束耦合。Cuomo等人[36]对PINN的若干发展进行了综述。Zhang等人[37]使用张量微分器来确定状态空间变量的导数，将LSTM网络与控制方程产生的物理信息耦合，并应用于非线性结构问题。PINN通常考虑基于自动微分（AD）的方法[38]来计算梯度。

本工作旨在关注将现有前向CFD求解器与物理信息神经网络集成，同时对外部CFD求解器不作大幅修改。两项值得注意的相关工作分别是：[39]将基于谱元的求解器Nektar++与物理信息神经网络耦合，以及[40]将基于有限体积的求解器OpenFOAM与PINN连接。在上述两项工作中，针对特定控制方程或计算域特定区域的PINN解被导出到外部CFD求解器。在本工作中，我们提出了一条不同的路径：将外部CFD求解器中离散化控制方程的数值残差导入PINN，并将其作为物理损失项。我们此外还提出了一种校正方法，用于在控制方程的离散形式无法纳入神经网络计算图的情况下校正物理损失项。此外，我们发现高维性往往是有效训练PINN的瓶颈。因此，Chen等人[41]提出将降阶模型方法与PINN耦合以规避这一问题。但他们并未解决降阶系统作为外部求解器、无法纳入神经网络计算图的问题。Halder等人[42]首次基于离散化物理信息神经网络提出了"DisPINN"一词，并引入了自定义外部求解器作为概念验证。在本工作中，我们将该框架扩展至实际部署，将DisPINN与成熟的计算流体力学外部软件耦合。此外，我们还重新设计了算法，使得耦合仅需有限访问外部求解器的部分内容，如组装后的系统矩阵、源向量和残差，从而消除了需要在物理信息神经网络框架内重新实现控制方程的必要。我们还证明了相同的公式可以自然地扩展至外部生成的降阶系统，从而将DisPINN的适用范围从全阶模型扩展到现有的降阶CFD软件。本工作的主要贡献如下：

- 本工作提出了一种新颖的方法，使现有前向求解器能够在PINN框架中使用。本工作的动机是搭建PINN环境与现有开源CFD求解器之间的桥梁，以处理复杂几何形状和实际应用。
- 我们提出了PINN算法的增强方案，在传统PINN的物理损失项中引入额外的校正，以将其与任何外部求解器（全阶和降阶形式）无缝集成。尽管本工作聚焦于OpenFOAM和ITHACA-FV[2]，但所提出的耦合策略具有足够的通用性，可推广至提供所需代数算子的其他外部求解器框架。

本工作的组织结构如下：首先，第2节介绍离散化控制方程的一般公式，第3节简要回顾简单的神经网络架构。此外，如果外部CFD求解器与PINN环境完全分离，我们提出在PINN求解器中增加一个步骤：导入基于物理的残差和残差向量关于输出变量的雅可比矩阵，以促进控制方程离散形式在神经网络计算图中的纳入。第4节介绍PINN与前向求解器中有限体积格式控制方程的耦合过程，并在非线性输运方程上进行演示。随后，讨论PINN与降阶系统的耦合方法，以粘性不可压缩流体绕圆柱流动为例。最后，第5节展示所提出方法在测试算例上的数值实验结果。

章节摘要

离散化控制方程

本工作提出了一种新颖的方法，将外部CFD求解器与物理信息神经网络集成，记为（PINN+X），如文献[39]所述，其中X为CFD求解器。我们引入一个名为PINNFOAM的库，用于将PINN与外部CFD求解器OpenFOAM[ope]耦合。为建立基础，我们讨论了全阶和降阶形式下控制方程的离散化方法。各种离散化方法，如有限体积、有限差分和

神经网络与外部CFD求解器的集成

空间或时间位置的缺失数据会导致训练好的神经网络（NN）偏离真实值。在计算流体力学（CFD）的背景下，求解域内的数据缺失可能源于粗网格区域或时间方向上的较大时间步长。此外，在实验环境中，由于探针位置稀疏或在大时间间隔采集探针数据，也可能导致训练数据丢失。神经网络的精度取决于

测试算例

将外部CFD求解器（控制方程采用有限体积格式离散化）与神经网络框架耦合的过程通过两个测试算例进行了演示：非线性输运方程模型的全阶模拟和粘性不可压缩流体绕圆柱流动的降阶模型。

数值实验

本节展示了第4节中所述测试算例的数值实验结果。第一个测试算例是非线性输运方程，全阶控制方程的有限体积格式与PINN求解器耦合。此处，时间瞬时作为神经网络中唯一的输入。作为第二个测试算例，考虑了粘性不可压缩流体绕圆柱流动。首先从基于有限体积的公式推导出降阶框架

结论

本工作展示了若干算法，用于将任何外部求解器与物理信息神经网络耦合，在PINN和CFD求解器属于不同环境的情况下适用。在非常稀疏的数值数据条件下，对非线性输运方程解场的预测与基准结果相比表现优异。所提出的方法在训练范围之外的未来时间步长上也展现了准确的预测能力。

当前工作同样包括以下披露声明。

作者声明不存在潜在利益冲突。

CRediT作者贡献声明：
Rahul Halder：撰写–原稿撰写、验证、方法论、调查研究、概念构思。
Giovanni Stabile：撰写–审阅与编辑、验证。
Gianluigi Rozza：撰写–审阅与编辑、监督、项目管理、获取资金、概念构思。

竞争利益声明：
作者声明以下财务利益/个人关系，可能被视为潜在竞争利益：
Gianluigi Rozza报告获得了国际高等研究院的财政支持。Gianluigi Rozza报告与欧洲研究委员会存在关系，包括：资金拨款。

Rahul Halder | Giovanni Stabile | Gianluigi Rozza