基于物理信息的后处理方法，用于对受瞬态对流主导问题的稳定有限元解进行处理

《Computer Physics Communications》：Physics-informed post-processing of stabilized finite element solutions for transient convection-dominated problems

　　摘要
对以对流为主导的瞬态传输现象进行数值模拟面临重大计算挑战，这主要是由于在时空域中存在陡峭的梯度和传播前沿。传统的数值离散化方法常常会产生虚假振荡，需要采用先进的稳定策略。此外，即使稳定性措施抑制了这些数值不稳定性，可能仍需要额外的正则化处理来解决局部陡峭的梯度。相反，独立的物理信息神经网络（PINN）方法难以捕捉到以对流为主的问题中出现的尖锐层，并且通常需要大量的训练周期才能从头开始学习解决方案。为此，本研究提出了一种混合计算框架——将原本为稳态问题开发的PASSC（PINN增强型SUPG结合冲击捕捉）方法扩展到非稳态情况——该框架将稳定的有限元方法（FEM）与PINNs结合起来，用于求解对流-扩散-反应（CDR）方程。采用了一种半离散的稳定有限元方法，通过流线迎风/Petrov–Galerkin（SUPG）公式并增加YZβ冲击捕捉算子来实现对陡峭梯度和类似冲击特征的求解。该方法不是在整个时空域上进行训练，而是在终止时间附近选择性地应用基于PINN的后处理修正，通过吸收最后K个快照中的空间数据并强制执行来自控制方程和边界条件的残差约束来增强有限元解。网络架构采用具有随机傅里叶特征的残差块，以高效捕捉多尺度解结构，并通过自适应损失权重的渐进式训练策略来平衡数据保真性和物理一致性。在五个基准问题（包括边界层和内部层、行波以及非线性Burgers动力学）上的综合数值实验表明，与独立的稳定FEM解相比，所提出的框架在终止时间的解决方案精度上有显著提高。

引言
科学和工程中物理现象的数学描述严重依赖于（非线性）偏微分方程（PDEs）。对流-扩散-反应（CDR）方程是一类特别重要的PDEs，因为它们控制着质量、热量和动量等量的传输和转换。由于这些方程的解析解（特别是当涉及到非线性或耦合系统时）很少具有封闭形式表达式，计算技术变得至关重要。为此，人们通常使用数值离散化方案、半解析技术、机器学习方法或它们的任意组合来以可接受的精度和计算成本近似解。
高保真度的CDR型PDE数值模拟要求对空间和时间离散化进行细致处理。传统的数值空间离散化方法，包括有限差分、有限元和有限体积方案，在对流主导扩散的情况下往往会产生活泼的（节点间）振荡，从而降低计算解的物理可靠性。这一长期存在的难题在过去几十年中促使了许多稳定公式的开发。在有限元社区中，流线迎风/Petrov–Galerkin（SUPG）[1]、[2]、[3]、[4]、[5]、Galerkin/最小二乘（GLS）[6]和变分多尺度（VMS）[7]方法被广泛接受为有效的稳定策略。尽管这些技术取得了成功，但在陡峭梯度、冲击或薄边界/内部层附近仍可能产生局部非物理振荡。因此，通常会附加冲击捕捉（SC）（也称为不连续性捕捉）算子来进一步抑制这些振荡。然而，一个持续的挑战在于正确确定稳定参数，这些参数通常是逐元素计算的。尽管存在许多基于经验的参数定义，但一个普遍适用的公式仍然难以找到，且参数调整可能会对计算效率产生重大影响，特别是对于瞬态和高维问题。关于稳定有限元技术及其应用的详细讨论可以在[8]、[9]、[10]、[11]、[12]、[13]、[14]、[15]、[16]、[17]、[18]、[19]、[20]、[21]、[22]、[23]及其中引用的文献中找到。
深度学习技术的快速发展激发了对其应用于PDE求解器的兴趣。物理信息神经网络（PINNs）是一个特别有前景的发展，其中通过微分算子编码的物理定律直接嵌入到训练损失中。通过最小化选定配置点处控制方程的残差，PINNs可以在不依赖标记数据集的情况下近似解。尽管如此，PINNs和传统的数值方法（包括标准Galerkin有限元方法GFEM） mostly 沿着不同的路径发展。然而，最近的研究表明，机器学习工具，特别是PINNs，在提供数据驱动的人工耗散估计方面具有很大潜力，这对于数值稳定性是必要的。虽然已经探索了PINNs与有限元公式之间的各种耦合策略，但将冲击捕捉机制系统地整合到连续的基于FEM的PINN框架中却受到了很少的关注。解决这一差距可以提高精度和效率，并将稳定方法的适用范围扩展到更具挑战性的应用。
许多研究试图利用人工神经网络（ANNs）来提高传统数值方案的稳定性和保真度。例如，Ray和Hesthaven [24]、[25] 使用多层感知器检测高阶有限元计算中的振荡单元，并局部应用坡度限制器来减轻非物理行为。Veiga等人[26]开发了一种无参数的稳定策略，用于双曲守恒律，训练ANNs来确定需要人工耗散的区域；他们的方法在标量平流和欧拉系统的不连续Galerkin（dGFEM）设置中得到了验证。Discacciati等人[27] 将ANNs与Runge–Kutta dGFEM求解器结合，构建了一个通用的人工粘性框架，能够在保持解决方案平滑度的同时可靠地捕捉不连续性。Schwander等人[28] 训练网络来评估傅里叶谱环境中的局部规律性，并将他们的方法与一维和二维守恒律以及欧拉方程的熵粘性方法进行了基准测试。
Raissi等人[29]关于PINNs的基础工作表明，可以通过在无监督或半监督的方式在配置点最小化残差来求解微分方程，而无需标记训练数据。Karniadakis等人[30]随后将这一范式扩展到高维反问题、涉及噪声观测的情况以及潜在物理的发现，强调了PINNs在正向和反向建模中的多功能性。Mitusch等人[31]提出了基于开源库FEniCS [32]、[33]和dolfin-adjoint [34]的混合FEM–PINN实现，应用于Poisson和CDR问题以及心脏电生理学。Huang等人[35]提供了适用于CDR型方程的深度神经网络（DNN）方法分类，并评估了它们在科学和工程背景下的适用性。Jin等人[36]介绍了NSFnets，这是一种专为不可压缩Navier–Stokes方程设计的PINN架构，涵盖了层流和湍流情况。
Yu和Hesthaven [37]构建了一个数据驱动的人工粘性模型，用于dGFEM，在平滑度检测方面显著优于传统的模态衰减指标。Yadav和Ganesan[38]提出了SPDE-ConvNet，这是一种与SUPG稳定结合的卷积神经网络，用于奇异扰动的CDR方程，展示了有效的参数优化和振荡抑制。Huang[39]制定了一个变分一致的节点积分无网格方法，用于对流主导的问题，解决了节点积分固有的Galerkin精确度损失问题。Le-Duc等人[40]开发了用于参数化结构力学模拟的有限元信息神经网络（FEI-NN）。在后续工作中，Yadav和Ganesan[41]引入了SPDE-NetII，这是一种增强型SUPG方案，在基准测试中超越了标准PINNs和变分神经网络（VarNet）[42]的性能。Luong等人[43]通过两阶段程序解决了在复杂几何形状上施加精确边界条件的问题：首先构建满足齐次本质条件的基于DNN的试验函数，然后解决由此产生的边界值问题。
Grossmann等人[44]对PINNs和FEM进行了严格的比较，包括线性和非线性PDEs，如Poisson、Allen–Cahn和半线性Schr?dinger方程，得出结论FEM通常能获得更高的精度，而PINNs在某些情况下可能提供计算优势。Yamazaki等人[45]将弱Galerkin公式与隐式Euler时间步进结合，开发了有限算子学习（FOL），实现了异质介质中时间依赖热传导的高精度。Buzaev等人[46]探索了傅里叶神经算子和Koopman神经网络来加速训练，以及Wang等人[47]的课程学习策略，该策略优先处理较简单的子域，然后再处理高损失区域。Chang等人[48]、[49]提出了嵌入边界层结构的奇异层PINNs（sl-PINNs），提高了奇异扰动问题的性能。Frerichs-Mihov等人[50]为对流主导的流动设计了专门的损失函数，而Hsieh和Huang[51]开发了结合弱边界约束、Sobolev训练和迁移学习的多尺度稳定PINN公式，以增强边界层附近的稳定性。Kütük和Yücel[52]将Allen–Cahn方程的能量耗散结构嵌入到PINN损失中，并展示了在一到三个维度上准确模拟相分离和亚稳态的能力。最近，Raina等人[53]解决了流体力学中的二参数奇异扰动问题，指出了标准PINNs在解决边界层方面的局限性，并提出了受有限元方法启发的有限基PINNs（FB-PINNs）。
在本研究中，我们将[54]中提出的混合框架——称为PASSC（PINN增强型SUPG结合冲击捕捉）——从最初为对流主导的稳态CDR型PDEs开发的应用扩展到非稳态情况。本研究的主要贡献可以总结如下。首先，我们提出了一种混合训练范式，利用两种先进的FEM成分——SUPG稳定性和YZβ冲击捕捉机制[55]、[56]——为展示边界和/或内部层的非稳态对流主导问题生成高保真度训练数据。尽管SUPG稳定性在许多此类场景中表现良好，但辅助冲击捕捉通常对于充分解决陡峭梯度和内部不连续性是必要的[57]、[58]。因此，我们使用SUPG-YZβ解作为训练数据，并在稳定的内部区域选择性地施加PDE残差约束。其次，所提出的架构是维度无关的，具有傅里叶特征嵌入的深度残差网络、层归一化和保守的超参数选择。第三，该方法本质上是可扩展的，适用于一维、二维和三维空间问题。

数学框架
设??sd≥1表示空间维度，让Ω????sd表示流体占据的有界Lipschitz域，即问题定义的空间域。为了建立本文讨论的数学框架，我们考虑以下时变CDR型PDE作为代表性的模型问题：
?????(??,??)????????Δ????(??,??)+???(??,??)·?????(??,??)+???(??)????(??,??)=???(??,??)
在Ω×(??0,??f]内，
???(??,??)=?????(??,??)
在??Ω×(??0,??f]上，
???(??0,??)=??0?(??)
在Ω内。
这里，u表示未知标量。

PINNs与SUPG-YZβ公式的集成
遵循[54]中为稳态问题引入的框架，本节介绍了将稳定有限元近似与物理信息神经网络相结合的混合计算策略。网络架构和选择性的物理执行过程分别在图1和图2中展示，而完整算法在算法1中总结。

备注11
尽管所提出的框架适用于一维、二维或三维空间的CDR型问题

进一步计算细节
本节描述了为实施和验证所提出的混合方法而开发的计算框架。它涵盖了科学计算环境、空间离散化方案、网格生成策略、所得线性和非线性代数系统的解决方案技术，以及PyTorch环境和CUDA技术。

测试计算
本节提供了一组全面的数值示例，以评估所提出的混合框架的性能和鲁棒性。测试问题经过精心选择，以涵盖广泛的瞬态场景，评估该方法在存在陡峭梯度、不连续性和类似冲击特征情况下的准确性、稳定性和自适应能力。在可能的情况下，提供了与经典方法的比较，以突出其优势。

结论与未来工作
本研究提出了一个混合计算框架，将稳定的有限元方法与物理信息神经网络结合起来，用于数值求解瞬态对流主导的CDR型偏微分方程。该方法采用带有YZβ冲击捕捉算子的SUPG公式生成高保真度参考解，这些参考解随后作为具有残差块和随机傅里叶的深度神经网络的训练数据。

CRediT作者贡献声明
Süleyman Cengizci：写作——原始草稿、可视化、验证、软件、项目管理、方法论、研究、资金获取、形式分析、概念化。
?mür U?ur：写作——审阅与编辑、研究、形式分析、概念化。
Srinivasan Natesan：写作——审阅与编辑、研究、形式分析、概念化。

利益冲突声明
作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：
Suleyman Cengizci报告称，他获得了土耳其科学技术研究委员会的财政支持。如果还有其他作者参与，他们需要声明自己没有任何已知的、可能影响本文所报告研究的竞争性财务利益或个人关系。

Süleyman Cengizci | ?mür U?ur | Srinivasan Natesan
计算机技术系，安塔利亚科学大学，安塔利亚 07190，土耳其