用于刚性非线性偏微分方程的分层多目标优化物理信息神经网络

《Mathematics and Computers in Simulation》：Hierarchical multi-objective optimization physics-informed neural network for stiff nonlinear partial differential equations

　　

## 摘要

虽然物理信息神经网络（PINNs）为求解偏微分方程（PDEs）提供了一个强大的框架，但其在刚性方程上的性能常因梯度不平衡和频谱偏差而受到损害。为解决这些瓶颈问题，本研究提出了层级多目标优化物理信息神经网络（HMO-PINN），这是一种用于稳定学习的新范式。通过融合时空课程学习策略，所提出的框架有效缓解了正弦表示网络（SIREN）在处理频谱偏差时的参数敏感性。此外，通过将损失权重调整重新表述为低维多目标优化问题，HMO-PINN降低了将多目标进化算法（MOEAs）应用于PINN训练时通常伴随的搜索复杂度，从而提供了一种更实用且鲁棒的自适应加权机制。数值实验——涵盖从一维Burgers方程和二维Poisson方程到一维Allen-Cahn方程和四阶一维Swift-Hohenberg方程——验证了HMO-PINN的准确性和鲁棒性。这项工作为MOEAs与物理信息学习的深度融合提供了一条可行途径，为高性能权重优化技术的发展提供了见解。

## 引言

近年来，基于深度学习的偏微分方程（PDEs）求解器从根本上重塑了计算科学领域。物理信息神经网络（PINNs）已成为一类备受瞩目的方法[1]。它们在求解正问题和逆问题中展现了强大的性能[2]、[3]、[4]、[5]、[6]、[7]、[8]。PINNs的成熟推动了科学机器学习（SciML）领域的发展。这一发展带来了架构上的进步以及相关方法的发展，如神经网络算子[9]、[10]、[11]、[12]以及用于不确定性量化的贝叶斯框架[13]，共同推动了物理驱动深度学习的快速演进。

对于刚性PDEs，如Allen-Cahn方程，其解通常包含薄相界面或陡梯度，这些对应于频域中的高频分量。然而，由于神经网络固有的频谱偏差，模型往往倾向于先拟合平滑的低频部分。因此，高频分量得不到充分表示，导致严重的物理不一致性，并最终收敛于平凡或无效的平坦解[14]、[15]。为克服这一挑战，研究人员提出了各种改进策略。一种流行的方法是利用特征嵌入来缓解神经网络的低频偏差[15]、[16]、[17]、[18]；另一种策略是利用频谱特征来增强模型捕获多尺度信息的能力[19]、[20]、[21]、[22]、[23]；此外，改进激活函数的构建也是解决频谱偏差问题的有效方式[7]、[24]、[25]、[26]。

当使用包含可学习缩放参数的激活函数（如sin(ωx)）时，模型的收敛性对初始频率ω?和学习率的选择非常敏感[7]。如果这些值过低，网络将无法捕获高频特征。然而，将它们设置得过高会导致梯度不稳定和高频噪声。这造成了粗糙且陡峭的损失景观，显著减慢了收敛速度。

一类传统的梯度平衡算法通常关注损失项之间梯度范数的对齐[27]、[28]、[29]、[30]。然而，在刚性问题中追求绝对平衡往往会降低梯度对比度。当与自适应正弦函数结合使用时，这些算法迫使PDE项的梯度与边界条件（BCs）和初始条件（ICs）的梯度对齐。这种强制对齐阻止了网络识别难以拟合的区域。因此，尽管模型具有表示高频的能力，却缺乏逃离平坦解的驱动力。图1(a)展示了不同初始ω?下的一维Allen-Cahn方程的相对L?误差和平均绝对误差（MAE），而图1(b)展示了它们在t=1.0时的失败解。

与传统的梯度平衡方法相比，多目标进化算法（MOEAs）通过基于种群的搜索机制提供了全局探索能力，从而有效避免局部最优。至关重要的是，MOEAs天然支持多目标优化（MOO），其目标不是收敛到单个最优解，而是识别帕累托前沿这一解集。PINNs的损失函数本质上是包含多个组成部分的复合目标，这使得MOEAs成为解决权重平衡挑战的自然选择，并为逃离局部最优提供了驱动力。现有研究已探索了这一交叉领域，主要将MOEAs应用于优化网络参数或神经架构[31]。Lu等人使用非支配排序遗传算法（NSGA-II，[32]）直接编码和优化网络权重[33]。最近，Wu等人引入了方差感知相对改进（VARI）方法，整合NSGA-II算法来探索平衡PINN损失项的帕累托前沿[34]。传统的MOEA方法，无论是搜索网络参数还是调整损失权重，都依赖直接损失最小化作为适应度度量。然而，这种策略存在几个缺点：从根本上讲，使用PDE残差作为度量可能掩盖潜在的物理误差，往往将刚性模型推向虚假收敛和平坦解。此外，这些方法产生巨大的计算开销。在每个进化步骤中，评估适应度需要对种群中的每个个体进行一次完整的网络前向传播。因此，这在定义搜索空间时造成了收敛与成本的困境：狭窄的边界无法解决梯度主导问题，而宽泛的随机初始化则无法收敛到真正的帕累托前沿，除非种群规模不切实际地增大。

为克服上述局限，本文提出了一种新颖的协同优化框架。受课程学习（CL）[35]、[36]启发，我们引入了一种时空扩展课程学习策略。该策略有效降低了自适应正弦激活函数在直接处理全域时的优化难度。该策略不是立即在全域上进行训练，而是从初始条件开始逐步扩展到整个域。在此基础上，我们为损失项引入了一种新颖的MOEA驱动权重调整策略。我们没有将损失最小化作为多目标优化准则，而是从根本上基于梯度统计量重新构建了MOEA的目标函数。此外，通过在显著低维的权重空间中运行并以基线权重为锚点进行帕累托优化，该策略以更低的计算成本充分利用了MOEAs的全局探索能力。

其次，我们提出了两个互补的权重优化目标函数：

- **最大加权梯度策略**：该策略通过最大化总梯度的范数引导优化器实现更大的更新步长，为模型逃离平坦局部最优提供核心驱动力。
- **最大加权梯度方差策略**：该策略充当隐式注意力机制。针对PINNs中多目标冲突导致的梯度抵消问题，它通过生成主导梯度方向，有效防止因梯度冲突而导致的训练停滞[37]。

本文其余部分组织如下。第2节回顾PINNs的背景。第3节介绍所提出的HMO-PINN框架。第4节报告数值实验。第5节提供消融分析。第6节分析目标选择的敏感性。第7节总结全文并讨论未来工作。

### PINNs：物理信息神经网络

本节回顾PINNs求解非线性偏微分方程的基本原理。考虑一个一般的时空非线性PDE：

$$\mathcal{N}[u](x,t)=0, \quad (x,t)\in\Omega\times[0,T],$$
$$u(x,0)=u_0(x), \quad x\in\Omega,$$
$$\mathcal{B}[u](x,t)=g(x,t), \quad (x,t)\in\partial\Omega\times[0,T],$$

其中x和t分别表示空间和时间坐标。Ω表示空间域，其边界为?Ω，u(x,t)为未知解。N[·]表示定义控制方程的线性或非线性微分算子。B[·]表示…

### 我们的方法：HMO-PINN框架

我们提出了一种新颖的框架——层级多目标优化物理信息神经网络（HMO-PINN），该框架融合了以下四项核心策略。图2展示了所提出的HMO-PINN框架的整体架构。该网络以时空坐标(x,t)作为输入，在隐藏层中使用正弦激活函数来产生预测解?。然后使用自动微分计算PDE残差并构建…

### 数值实验

在本节中，我们在四个代表性的PDE基准问题上评估了所提出的方法：一维Burgers方程、二维Poisson方程、一维Allen-Cahn方程和一维Swift-Hohenberg方程，以全面验证所提出方法的有效性和通用性。

比较方法包括标准PINN[1]、SIREN[24]和DN-PINN[28]。DN-PINN由Deguchi等人提出，是一种简单而有效的…

### 消融实验

所提出的HMO-PINN方法由以下四项核心策略组成：多目标权重调整、时空扩展课程学习、自适应SIREN激活函数和反平坦正则化。为评估每个组件的重要性，我们在Burgers方程上系统地逐一移除这些模块，并对模型性能进行了对比分析。

表6和图12总结了一维Burgers方程上的消融结果。该…

### HMO-PINN对NSGA-II目标选择的敏感性分析

为检验NSGA-II目标的选择如何影响HMO-PINN的性能，我们设计了一维Burgers方程的对比实验。在保持所有其他超参数不变的情况下，我们比较了三种目标组合：

- **组合1**：最大化下降效率和梯度区分度。目标1：$\max_{\vec{\delta}} \sum_i \lambda_i G_i$，目标2：$\max_{\vec{\delta}} \text{Var}_i(\lambda_i G_i)$。
- **组合2**：用梯度对齐替换下降效率。目标1：$\max_{\vec{\delta}} \cos(g_{\text{aux}}, g_{\text{pde}})$，目标2：$\max_{\vec{\delta}} \text{Var}_i(\lambda_i G_i)$。
- **组合3**：…

### 结论与未来工作

本文提出了HMO-PINN以应对刚性和多尺度PDEs，在这些问题上标准PINNs常受频谱偏差、损失不平衡和训练设置敏感性的困扰。该方法结合了自适应SIREN激活、基于层级MOEA的损失加权、时空课程学习和反平坦正则化。自适应正弦激活改善了高频结构的表示，而课程学习和正则化项使这种表示更易于训练。

### CRediT作者贡献声明

**王海鹏**：撰写–审阅与编辑，撰写–初稿，软件，方法论。**刘建国**：撰写–审阅与编辑，撰写–初稿，软件，方法论，资金获取，数据管理。**高新义**：撰写–审阅与编辑，软件，方法论。**王刚威**：撰写–审阅与编辑，软件。

### 伦理标准

作者声明本研究符合伦理标准。本研究不涉及人类参与者或动物。

### 资金

本项目得到国家自然科学基金（批准号：12161048）、江西中医药大学博士科研基金（批准号：2021WBZR007）和江西中医药大学科技创新团队发展计划（批准号：CXTD22015）、江西省"科技+中医药"联合项目（2023KZI01004）的资助。

### 利益冲突声明

作者声明不存在已知的竞争性经济利益或个人关系可能影响本文报告的工作。

**王海鹏|刘建国|高新义|王刚威**