一种用于反应扩散方程正逆问题的残差加权物理信息神经网络

《International Communications in Heat and Mass Transfer》：A residual weighted physics informed neural network for forward and inverse problems of reaction diffusion equations

　　

摘要

物理学信息神经网络（PINNs）是一种求解偏微分方程（PDEs）的有效深度学习方案。在本研究中，我们提出了一种残差加权物理学信息神经网络（RW-PINN），这是一种旨在提高基于PINNs的算法精度的新方法。我们构建了一个具有两种残差加权方案的深度学习框架来求解反应-扩散方程，并在前向和反演问题中评估了其性能。该方法计算与PDE残差成正比的权重，对其进行重新缩放，并将这些缩放后的残差纳入损失函数中，从而实现更稳定的训练。针对非线性方程进行了数值实验，并辅以敏感性分析和统计误差分析，以验证所提出的算法。为了进一步证明我们方法论的有效性，我们针对非线性方程实现了基于PINN的前向问题（Mishra和Molinaro，2023；Bai等，2021）和反演问题（Mishra和Molinaro，2022），并与所提出的RW-PINN方法进行了比较分析。

引言

反应-扩散方程被广泛用于建模各种现实世界现象。因此，对其数值模拟对于理解和预测复杂的动力学行为至关重要。本研究考虑了两种具有代表性的反应-扩散方程形式进行详细分析：(i) Burgess方程和(ii)扩展Fisher-Kolmogorov（EFK）方程。Burgess方程最初由Burgess等人[1]引入，用于建模胶质瘤，随后由Ganji等人[2]通过引入分数阶算子进行了扩展。Nayied等人[3]对此类模型进行了数值研究，其中使用Fibonacci和Haar小波方法求解了整数阶形式。EFK方程是经典Fisher-Kolmogorov方程的扩展，通过引入四阶导数项而得，如文献[4]、[5]、[6]所讨论。它在广泛的物理学领域中有应用，包括流体力学、等离子体物理、核反应理论、生态系统和流行病建模[7]。尽管此类模型非常重要，但由于强烈的非线性和计算挑战，它们通常表现出复杂的解结构[7]。

与EFK方程相关的高阶动力学已通过有限元方法得到有效捕捉[8]。此外，EFK方程已被应用于脑肿瘤动力学的建模[9]，其中使用插值无网格Galerkin（IEFG）方法进行了数值近似，这是一种适用于捕捉复杂肿瘤生长模式的无网格方法。已提出多种数值方法用于求解EFK方程，包括IEFG方法[9]、有限差分法[10]、二阶格式[11]、傅里叶伪谱技术[12]、直接局部边界积分方程方法[13]、基于径向基函数（RBF）的无网格方法[14]、广义有限差分方法[15]和有限元方法（FEM）[16]。

深度学习已成为解决高维问题的有效方法，使其成为现代科学技术应用的关键组成部分。其多层架构与非线性激活函数的结合，使得能够准确近似高度非线性的映射。与现代统计学习和大规模优化技术相结合，深度学习在求解复杂的高维非线性偏微分方程方面展现出强大的能力。文献[17]、[18]、[19]、[20]中建立的通用近似定理指出，深度神经网络（DNNs）可以在适当条件下近似连续函数。这一特性使得DNNs特别适合用作求解偏微分方程的函数近似。因此，已开发了广泛的基于深度学习的方法，其中PINNs和基于算子的方法引起了显著关注。Raissi等人[21]引入了PINNs作为一种无网格框架，将物理定律直接纳入损失函数中求解非线性偏微分方程。自那时以来，已提出多种扩展和改进，包括文献[22]、[23]、[24]、[25]、[26]。此外，PINNs及其扩展也已应用于各个领域[27]、[28]、[29]、[30]、[31]、[32]、[33]、[34]、[35]。此外，如DeepXDE[36]等软件框架促进了PINN模型的实施。与此同时，开发了多种先进方法，包括文献[37]、[38]、[39]、[40]、[41]、[42]。例如，文献[43]引入了一种方程依赖的加权策略来改善不连续性的分辨率。相关的加权方案包括自适应PINN[28]的对抗训练逐点权重和残差注意力PINN[29]的累积残差注意力。文献[44]提出了一种基于PINN的方法来求解具有大反应速率的Fisher方程，文献[45]证明了归一化策略在反演问题中的有效性，特别是在数据稀缺和不适定性条件下。在生物医学领域，PINNs已被成功应用于由反应-扩散方程控制的复杂动力学建模，如文献[46]、[47]、[48]所示。PINNs的理论分析取得了重大进展。文献[49]、[50]分别推导了前向和反演非线性偏微分方程的误差界，而文献[51]建立了色散偏微分方程的误差估计。此外，文献[52]提出了PINNs的变分格式，文献[53]提供了该框架的综合数值分析。

$\mathrm{detach()}$ 函数是PyTorch自动微分框架中的内置操作[54]。它创建一个新的张量，与原张量共享相同的底层数据，但从计算图中分离出来，从而防止梯度通过该张量传播。尽管当源张量发生变化时，分离后的张量会被重新计算，但在当前反向传播步骤中，由于梯度不通过$\mathrm{detach()}$操作计算，因此它被视为固定常数。在本工作中，$\mathrm{detach()}$ 函数用于权重函数中，从PDE残差计算归一化权重，同时防止梯度通过权重计算传播。本工作的主要目标是提高PINNs的性能并减轻常见的失败模式，特别是过拟合。为此，研究了两种具有不同系数结构的残差加权策略。

本研究的主要贡献可总结如下：引入了一个基于深度学习的框架来解决Burgess方程和EFK方程的前向和反演问题设置。我们提出了RW-PINN，它利用基于残差的缩放来显著提高PINN解的精度。RW-PINN架构的开发旨在为反应-扩散方程产生精确的数值近似。建立了残差的公式及其相关损失函数，随后进行了针对前向和反演非线性场景的模拟。全面的数值研究，连同统计评估，证实了所提方法的可靠性和精确性。此外，我们将基于PINN的前向[50]、[51]和反演[49]框架应用于反应-扩散方程，并与所提出的方法进行了比较研究。在缺乏解析解的情况下，使用有限元方法（FEM）[16]作为基准解。此外，所提出的算法在前向和反演设置中都表现出收敛性。结果表明，基于RW-PINN的算法是模拟非线性偏微分方程的有效且稳健的工具，为这些方程提供了可靠的计算框架。

新颖性： 在本研究中，我们利用基于深度学习的算法对Burgess方程和EFK方程进行模拟，以实现精确的解近似。我们提出了一种新方法RW-PINN，以提高基于PINN的算法精度。在该方法中，权重按PDE残差成比例分配，适当缩放，随后纳入损失函数，从而实现更高效、更稳定的收敛。具体而言，考虑了两种基于PDE残差的不同加权策略：(i) 基于sigmoid的加权，以及(ii) 基于Tanh-softplus的加权，两者均在残差部分进行了详细讨论。此类方法对残差类方法（前向和反演）作出了有价值的贡献。这些方法在文献中尚未被报道。

本文的结构安排如下：第2节介绍了所提出的方法和泛化误差。第3节报告了用于测试和验证所提框架的数值实验。第4节讨论和第5节结论分别介绍了主要结果的讨论和结论。

各节摘要

RW-PINN近似

反应-扩散方程的RW-PINN近似通过定义模型架构、引入残差加权方案并将它们嵌入PINN框架中来制定。

数值实验

所提出的RW-PINN算法（算法2.2、算法2.3）已在PyTorch框架[54]中开发。所有模拟均在MacBook（Apple M3 CPU，24 GB RAM）上执行。在DNNs中，超参数如隐藏层数$(K?1)$、每层神经元数、激活函数$\sigma$、残差加权参数${\lambda }_F$和${\lambda }_H$、正则化系数${\lambda }_{\text{reg}}$以及基于梯度的优化器的选择在优化过程中起着关键作用。在本实验中，使用二阶L-BFGS

讨论

本节提供了通过RStudio进行初始和最终实验所得到的误差的比较评估。结果总结于图19、图20中。图19(a)展示了所研究方法的训练误差趋势，神经元数量分别为12、16、20和24，评估了500、1000和5000次L-BFGS迭代。图19(b)显示了在选定设置下不同L-BFGS迭代次数时${\mathcal{E}}_G$和相对误差${\mathcal{E}}_G^r$的分布。图20(a)显示了

结论

在本工作中，提出了两种不同的加权方法来解决反应-扩散问题。这两种具有不同系数的加权方案被应用于非线性偏微分方程。通过广泛的数值模拟，所提出的方法展示了改进的精度，特别是在非线性情况下。因此，该框架可以被视为一种有效的基于残差的方法。为了公平比较，所有数值实验均使用

CRediT作者贡献声明

K. Murari：写作—审阅与编辑，写作—原稿，软件，调查。P. Roul：写作—原稿，验证，监督，形式分析，概念化。S. Sundar：监督，资金获取。

利益冲突声明

作者声明他们没有利益冲突。

K. Murari|P. Roul|S. Sundar