IA-PINNs：集成自适应物理信息神经网络，用于求解偏微分方程

《Engineering Analysis with Boundary Elements》：IA-PINNs: Integrated adaptive Physics-informed neural networks for solving partial differential equations

　　

摘要

物理信息神经网络（PINNs）作为一种解决偏微分方程（PDEs）的通用框架日益受到关注，其核心思想是将物理定律嵌入到神经网络训练过程中。然而，原始PINNs通常面临重大挑战，尤其是在平衡多个损失组件（包括PDE残差、边界条件和初始条件）时，可能导致不稳定或次优收敛。为克服这些局限，我们提出了一种改进的自适应PINNs框架（A-PINNs），其中包含两种互补的自适应策略，根据损失项及其梯度的动态行为，确定复合损失函数中权重的更新方式和更新时机。这两种策略可以无缝集成到标准PINNs算法中，实现动态损失加权并提升训练稳定性。此外，A-PINNs与注意力增强PINNs（AE-PINNs）相结合，形成集成自适应PINNs（IA-PINNs），在各种网络架构上展现出更强的鲁棒性和泛化能力。在三个基准PDE上的实验，结合消融研究和与代表性先进PINN方法的比较，表明所提出的框架能够持续实现更高的精度、更好的稳定性和有竞争力的计算效率。

引言

随着深度学习的快速发展，物理信息神经网络（PINNs）已成为科学计算和工程领域的一个强大框架[1], [2], [3]。通过将物理驱动约束与数据驱动学习相结合，PINNs能够解决传统数值方法在面临严重局限时的高维和数据匮乏场景下的问题[4], [5], [6], [7]。尽管具有这些优势，原始PINNs在实际应用中仍面临若干挑战[8], [9]。这些挑战包括由不同损失项之间的多尺度差异引起的训练不平衡[10], [11], [12]，无法有效捕捉关键区域的固定采样策略的僵化性[13], [14]，以及在应用于复杂或长时间问题时泛化能力有限[15], [16]。除经验观察外，近期的理论研究揭示，原始PINNs存在根本性的优化困难，包括谱偏差[17]和病态损失景观。基于神经正切核（NTK）的分析表明，底层核谱的不平衡会显著影响收敛行为和训练动态[8]。基于条件数的研究表明，严重的病态与PINNs的训练失败和不稳定性密切相关，这促使人们探索诊断和缓解优化困难的新策略[18], [19]。解决这些问题推动了各种方法论的进展，为更精确、高效和鲁棒的PINNs框架奠定了基础。

PINNs中的一个核心难点是复合损失函数的构建与平衡。大量研究聚焦于修改原始PINNs的损失设计。总体而言，这些努力分为两类：（i）基于先验知识，为每个组件分配固定但不同的权重来重构损失函数；（ii）通过自适应机制动态重新加权各个组件。研究人员为边界损失项分配了较大的固定权重，以增强网络拟合边界条件的能力[15]。更灵活的策略考虑逐点重新加权：通过软注意力掩码为每个训练点引入自适应权重[20]，或通过损失注意力网络在训练过程中动态调整权重[21]。还探索了概率化方法，其中损失函数以高斯似然建模，权重通过最大似然估计更新[22]。提出了带有预设上下界的自适应权重，以维持稳定性并防止特定损失项占主导[23], [24]。引入梯度增强惩罚项来引导学习轨迹[25]，同时引入基于相关性的正则化来考虑不同组件之间的耦合关系[26]。其他方法根据迭代衰减率[27], [28]或损失之间的相对比例来确定权重[29]。为进一步增强鲁棒性，利用原始-对偶优化原理设计了权重更新算法，以提高稳定性和精度[30]。此外，提出了因果感知加权方案，利用时间相关偏微分方程（PDEs）的内在因果结构，从而提高时间预测的保真度[31]。

对原始PINNs的第二个修改是自适应重采样，即将训练点重新分配到残差较大的区域。深度生成模型基于PDE残差近似目标采样分布，在高误差区域生成更多点[32]。基于不平衡学习的采样和保留-重采样-释放（Retain-Resample-Release）策略进一步将训练集中在高残差区域，同时降低内存开销[33], [34]。其他方法结合残差和梯度信息[7]，采用期望最大化混合模型来刻画残差分布[35]，并采用失败信息驱动的自适应采样及其扩展方法，将采样集中在高误差或不确定的区域[14], [36], [37]。

为增强PINNs的泛化能力和训练效率，研究人员探索了多种架构修改方案。自适应残差连接和遗传算法被用于搜索最优网络结构[38], [39]。可训练门控网络实现了软域分解和参数共享[40]，而损失注意力网络则动态加权逐点误差[21]。引入傅里叶特征缓解了复杂系统中的多尺度和高频训练困难[41], [42], [43]。采用傅里叶嵌入的自适应特征工程在紧凑架构上实现了更快的收敛[44]。

除上述进展外，近期研究还通过优化感知训练策略进一步推动了PINNs的发展。对称增强PINNs（SPINNs）利用控制方程的内在对称性来提高学习效率和泛化能力[45], [46]。自适应损失加权方法，包括GradNorm [47]、学习率退火（LRA）[10]和带有随机回溯的相对损失平衡（ReLoBRaLo）[48]，缓解了竞争损失组件之间的不平衡。基于梯度的方法，如PCGrad [49]、梯度疫苗（Gradient Vaccine）[50]、ConFIG [12]和梯度对齐（Gradient Alignment）[51]，通过改善优化协调来缓解梯度冲突。此外，曲率感知方法，包括CuPINN [52]和曲率感知的PINN优化[53]，利用损失景观的几何特性来增强训练稳定性和收敛性。

尽管为提高PINNs的精度付出了大量努力，但对于具有特殊特征的问题，如刚性PDEs，挑战依然存在，因为损失组件的不平衡往往导致收敛缓慢和不稳定[10], [43]。为应对这一问题，我们提出了一种自适应PINNs（A-PINNs），通过优化过程中动态调整其组件的相对权重来平衡复合损失。其关键创新在于使用每个组件的梯度与总梯度之间的余弦相似度作为调整准则，从而缓解各组件贡献之间的不平衡。此外，一种自适应触发策略确定何时进行权重更新，实现既稳定又高效的训练。该方法与问题无关，具有普遍适用性。

已有广泛观察表明，当修改仅聚焦于框架的单一方面时，PINNs在精度和效率方面的改进仍然有限，如[10], [24]中所报告的。受此启发，并借鉴Transformer架构中采用的注意力机制，我们引入了一种改进的架构，称为注意力增强PINNs（AE-PINNs），其中将多个编码器模块集成到PINN框架中以增强特征提取和表征能力。这种架构增强加速了收敛，缓解了梯度消失或爆炸问题，与[10]中的观察一致。

在上述进展的基础上，我们进一步提出了集成自适应PINNs（IA-PINNs），它将A-PINNs的自适应损失加权策略与AE-PINNs的增强表征能力融为一体。这种集成利用了两种方法的互补优势，产生了一个具有更强学习能力、更高稳定性和更优泛化性能的统一模型。本文的主要贡献可总结如下：

1. 我们提出了A-PINNs框架，自适应地确定损失权重的更新方式和更新时机，从而提升PINN训练的精度和效率。该方法结合了一种带有自动触发机制的自适应损失加权方案，确保仅在训练停滞时才进行权重调整，有效抑制不必要的振荡，提高训练稳定性。
2. 我们开发了AE-PINNs，一种受Transformer模型中注意力机制启发的新颖架构，有效加速了收敛并缓解了PINN训练中的梯度相关问题。
3. 我们提出了IA-PINNs，将A-PINNs和AE-PINNs的自适应改进和架构改进整合到一个统一框架中。所得模型在多种PDE基准上展现出更高的精度、鲁棒性和泛化能力。

本文其余部分安排如下。第2节回顾基线PINNs并详细说明所提出的A-PINNs和AE-PINNs。第3节介绍集成框架IA-PINNs。第4节在Helmholtz方程、Klein–Gordon方程和Burgers方程上展示该方法的有效性，并进行消融研究和与最新方法的比较。最后，第6节总结主要发现并展望未来方向。

方法

考虑PDEs系统的一般形式：

$\begin{cases} \mathcal{N}[u(x,t)] = f(x,t), & (x,t) \in \Omega \times [0,T] \\ \mathcal{I}[u(x,0)] = u_0(x), & x \in \Omega \\ \mathcal{B}[u(x,t)] = b(x,t), & (x,t) \in \partial\Omega \times [0,T] \end{cases}$

其中 $u(x,t)$ 表示定义在空间域 $\Omega \subset \mathbb{R}^d$ 和时间区间 $[0,T]$ 上的物理场。算子 $\mathcal{N}[\cdot]$ 表示支配系统动力学的（可能非线性的）微分算子，$\partial\Omega$ 表示 $\Omega$ 的边界。算子 $\mathcal{I}[\cdot]$ 和 $\mathcal{B}[\cdot]$ 分别施加初始条件和边界条件。项 $f(x,t)$ 是预定的源项。

集成自适应PINNs

A-PINNs引入了两种自适应策略，旨在缓解多任务优化中因损失项贡献不均引起的训练不平衡。所提出的方法同时考虑各个损失梯度的方向和大小，从而识别并抑制阻碍其他子任务优化的主导项。此外，引入了一种自适应触发机制，根据不断演变的训练动态确定何时需要进行权重更新。

数值实验

本研究考虑了三个代表性的PDEs作为数值测试案例：Helmholtz方程、Klein–Gordon方程和Burgers方程，分别对应于高频刚性、波动传播和非线性扩散问题。这些案例为所提出方法的精度和鲁棒性提供了全面的评估。我们的目标是将该方法与其他先进方法进行比较，以验证其有效性和稳定性。

对于所有案例，采用全连接网络架构……

敏感性分析

为研究所提出的自适应权重更新策略对其超参数的敏感性，我们对平滑系数 $\alpha$ 和 $\beta$ 以及触发阈值 $\gamma_\star$ 进行了系统分析。结果总结于表7中。系数 $\alpha$ 和 $\beta$ 控制历史信息在权重更新中的影响，而 $\gamma_\star$ 根据不断演变的训练动态确定何时触发权重更新。

滑窗宽度 $w$ 也在初步实验中进行考察……

结论

本文提出了IA-PINNs，一种集成了A-PINNs的自适应损失重新加权与AE-PINNs的特征增强架构的统一框架。所提出的自适应加权策略配备了动态触发机制，有效平衡了竞争损失组件并缓解了梯度不平衡，而增强的表征能力则提高了训练稳定性和求解精度。在Helmholtz、Klein–Gordon和Burgers方程上的综合实验表明……

CRediT作者贡献声明

牛海峰：撰写—审阅与编辑，撰写—初稿，验证，监督，方法学，形式化分析，概念化。

陈英鑫：撰写—审阅与编辑，撰写—初稿，可视化，验证，方法学，形式化分析，概念化。

张永金：撰写—审阅与编辑，撰写—初稿，验证，方法学，资金获取，形式化分析，概念化。

周玲玲：撰写—审阅与编辑，撰写—初稿，声明……

利益冲突声明

作者声明不存在已知的竞争性经济利益或个人关系可能影响本文所报道工作的结果。

牛海峰 | 陈英鑫 | 张永金 | 周玲玲