用于构建鲁棒物理信息神经网络的双梯度协同优化方法

《Knowledge-Based Systems》：Dual-Gradient Co-optimization for Robust Physics-Informed Neural Networks

　　朱卓|张森|康成元|杨熙|金东硕|高逸夫|杨灿群|金忠庵

摘要：物理信息神经网络是一种创新的、无需网格的方法，用于求解偏微分方程。然而，这类网络常常面临损失不平衡的问题——即偏微分方程残差项的梯度幅度与边界/初始条件损失之间的差异极大——以及不稳定的内部梯度传播问题，这两者都会减缓收敛速度或使训练陷入次优解。现有的基于梯度统计的加权方法虽然能够重新平衡损失幅度，但通常只作用于整体损失权重层面，既无法解决内部梯度传播问题，也无法处理不同初始条件和边界条件的差异性难度。为解决这些问题，我们提出了双梯度协同优化物理信息神经网络，该框架具备双重动态调整机制。DGCO-PINN通过分层梯度增强技术优化内部参数梯度流，同时采用两阶段梯度统计加权策略优化外部损失梯度流。这种协同优化方式能够量化每种条件的难度，平衡偏微分方程项与条件项的梯度幅度，并在初始条件和边界条件之间分配权重。大量实验表明，DGCO-PINN在收敛速度和预测精度方面均显著优于现有的基于梯度统计的方法。

引言：物理信息神经网络作为一种科学计算范式，被用于求解由偏微分方程描述的正向和逆向问题。这类科学机器学习模型通过将物理定律直接嵌入神经网络的损失函数中，为传统数值方法提供了一种无需网格、数据效率更高的替代方案。PINNs通过最小化复合损失函数，确保满足偏微分方程、初始条件以及边界条件所施加的约束，从而学习到既符合观测数据又符合物理规律的解。此外，PINNs还有效弥合了数据驱动学习与物理驱动学习之间的差距，即便在实验数据有限、条件信息不全或面对不确定的偏微分方程形式时，仍能解决问题。与依赖大规模标记数据集的监督学习方法以及无监督表示学习方法相比，PINNs的监督信号直接来自物理定律，而非数据标签或自监督任务。

尽管前景广阔，PINNs仍面临诸多挑战，其广泛应用和性能往往受到损失分量不平衡的制约。当初始条件、边界条件或偏微分方程残差中的损失分量包含难以拟合的点时，比如那些具有快速时空变化的点，这些分量在训练过程中就难以最小化，从而导致学习效率低下，出现收敛缓慢甚至停滞的情况。为缓解这一训练难题，许多方法尝试将损失权重视为可学习参数，通过观察损失项的变化率，智能地“学习”如何优先处理那些收敛较慢的分量。LAPINN在这一基础上引入注意力函数来动态更新权重，提升了拟合点的收敛速度。但这些方法仍存在不足：首先，它们忽视了不同条件损失之间的内在关系以及拟合不同条件时的难度不平衡问题。

鉴于上述问题，基于梯度的加权方法成为一种有前景的解决方案。尽管目前学术界对于PINN训练困难的原因尚未形成统一共识，先前的研究指出可能导致问题的因素包括多目标损失不平衡、谱偏差和不同的NTK特征值收敛速率、时间轴上的因果关系违背，以及复合损失函数的不良帕累托前沿等，但损失不平衡是通过权重重新平衡最可以直接解决的問題，也是本文的重点。典型的PINN损失函数包含多个分量，而在训练过程中，这些不同损失分量产生的梯度幅度和规模往往差异很大，这会导致某个损失项主导优化过程，使得其他损失项缺乏足够的梯度信号。这种不平衡会迫使网络陷入次优解，无法准确满足所有物理约束。王等人早期的工作利用不同损失分量的梯度来更新权重，为后续的多种动态加权方法奠定了基础，如GWPINN和DBPINN。这些方法采用了标准差、峰度以及欧几里得范数等指标，旨在通过强调条件拟合损失的贡献来削弱偏微分方程残差损失的主导地位，并通过将各条件拟合损失的梯度与偏微分方程残差损失的梯度相联系来分配权重，以缓解梯度不平衡问题。不过，我们发现这些基于梯度的加权方法仍存在以下问题：首先，那些根据损失幅度或其变化率来调整权重的方案，可能会低估那些在某一训练阶段损失值较低的条件，而实际上模型的梯度信息表明它尚未真正拟合这些条件，从而导致这些条件的权重分配不合理；其次，现有方法仅关注外部损失平衡，未能对内部梯度传播进行有效调控。

现有的基于梯度统计的加权方法研究了梯度分布的不同统计特征：王等人使用损失分量间的平均幅度，Maddu等人从Sobolev训练的角度出发使用标准差，GWPINN采用峰度，而DBPINN则将该方法扩展到了更广泛的偏微分方程类型。这些方法仅作用于外部损失权重，并将所有条件拟合项视为整体，因此未能解决PINN训练中的两个重要问题：网络内部的梯度传播问题，以及不同条件之间的难度差异问题。为克服这些局限性，本文提出了双梯度协同优化物理信息神经网络。DGCO-PINN通过包含内部参数梯度流优化和外部损失梯度流优化在内的双重动态调整机制，全面优化PINN训练过程。该框架能够通过精确评估条件拟合难度，同时稳定内部梯度传播并解决损失层面的不平衡问题。具体而言，内部优化是通过我们提出的分层梯度增强技术实现的，该技术会在每个中间层引入可学习的输入空间雅可比矩阵的重新注入。与此同时，外部损失梯度流优化首先利用反向传播的梯度统计信息来确定一个用于初步补偿的聚合权重，然后再根据初始条件和边界条件的弗罗贝尼乌斯范数来分配该权重。最终，DGCO-PINN能够稳定内部梯度传播，平衡偏微分方程项与条件项的梯度幅度，并协调不同初始条件和边界条件的收敛速度。在多个偏微分方程基准测试上的大量实验结果（如图1所示）验证了理论分析的正确性。实验结果表明，DGCO-PINN在收敛速度和预测精度方面均显著优于常见的基于梯度统计的方法（见图2）。

章节节选：

PINN是如何工作的？PINNs将基本的物理定律融入深度神经网络的学习过程中。其核心思想是利用多层感知器的通用逼近能力来表示偏微分方程的解。这项技术的关键创新在于将物理定律直接编码到神经网络的损失函数中，从而对偏离偏微分方程、初始条件以及边界条件的情况加以惩罚。

双梯度协同优化PINN：DGCO-PINN框架经过精心设计，旨在解决阻碍PINNs高效训练和收敛的内部梯度问题以及外部损失不平衡问题。为此，我们开发了一种协同的双梯度优化策略。“双梯度”这一名称凸显了DGCO-PINN注重梯度流的两个关键方面。

1. 内部梯度优化：内部梯度优化旨在……

艾伦-坎恩方程：艾伦-坎恩方程是一种反应-扩散方程，常用于描述相分离现象的发展过程。由于其解具有尖锐的特征和多尺度的时间行为，因此是一种极具挑战性的基准测试问题。该方程的形式如下：ut?0.0001uxx+5u3?5u=0，x∈[?1,1]，t∈[0,1]。初始条件为：u(x,0)=x2cos(πx)，x∈[?1,1]，而周期性边界条件则为：u(?1,t)=u(1,t)，t∈[0,1]，ux(?1,t)=ux(1,t)，t∈[0,1]。

克莱因-戈登方程：克莱因-戈登方程是一种基本的非线性方程……

结果部分：本节将我们所提出的方法与针对艾伦-坎恩方程、克莱因-戈登方程、亥姆霍兹方程、伯格斯方程以及纳维-斯托克斯方程的不同加权方法进行了比较（见表3、表4）。我们采用L2相对误差和平均绝对误差作为性能评估指标。由于加权策略对训练时间的影响很小，因此我们主要关注收敛速度。如图4所示，等权重分配方法会导致损失值出现剧烈波动，而DGCO-PINN的自适应权重则能有效缓解这一问题。

关于梯度统计量的选择：第3.2节中介绍的三种第一阶段统计量——均值、标准差和峰度——分别反映了每个损失项所导致的各参数梯度分布的不同特征，实验表明它们适用于不同的解结构，无法相互替代。选择这三种统计量并非随意为之，因为它们各自能够检测出不同的梯度退化模式，而且此前的一些基于梯度的加权方法也已独立采用了这些统计量。均值……

局限性：尽管DGCO-PINN在实证表现上十分出色，但仍存在一些需要讨论的局限性。首先，偏微分方程残差损失被赋予了固定的1倍权重，只有λBC和λIC是动态调整的，当偏微分方程残差的幅度相对于条件损失来说较小时，这就可能引入残差不平衡问题。未来工作的重点之一，就是深入研究在刚性条件和高雷诺数场景下，λPDE与条件侧权重λBC、λIC之间的相互作用关系。

结论：本文提出了DGCO-PINN，旨在解决PINN训练中的两大核心问题：损失分量之间的不平衡以及不稳定的内部梯度传播问题。我们的框架通过双重动态调整机制实现了这一目标。分层梯度增强技术通过在每个中间层重新注入输入空间雅可比矩阵，从而稳定内部梯度传播；而两阶段的外部优化策略则首先平衡偏微分方程项与条件项的梯度幅度，然后再在初始条件和边界条件之间分配权重。大量的实验结果都支持了这一方法的有效性。

CRediT作者贡献说明：朱卓：撰写——初稿、软件、资源、方法论、研究、正式分析、数据整理、概念构建。张森：研究、数据整理、概念构建。康成元：软件、资源、方法论。杨熙：可视化、项目管理、方法论。金东硕：软件、资源、方法论。高逸夫：验证、软件、资源。杨灿群：撰写——审阅与编辑、监督、资源、项目管理。金忠庵：

利益冲突声明：作者声明自己不存在任何可能影响本文研究成果的已知财务利益或个人关系。

致谢：本研究部分得到了中国国家重点研发计划（项目编号2023YFB3309100、2023YFB3309105）以及湖南省研究生创新基金（项目编号CX20250071）的支持。