改进的物理信息神经网络框架与动态平衡自适应加权求解偏微分方程

《Theoretical and Applied Mechanics Letters》：An improved physics-informed neural network framework with dynamic balancing adaptive weighting for solving PDEs

　　

物理信息神经网络（PINNs）通过将偏微分方程、边界条件和初始条件嵌入损失函数中实现物理信息的集成，其中每个损失分量的权重对训练精度至关重要。自适应加权方法可以根据特定规则自适应调整不同损失分量的重要性，但它们容易导致不同项之间的不平衡，从而损害网络性能和训练精度。为解决权重不平衡问题，研究人员提出了动态平衡自适应加权（DBAW）方法。DBAW方法基于最大似然估计理论开发，为不确定性较低的任务分配更大的权重，并通过引入可调权重增长因子避免权重不平衡。引入的可调权重增长因子通过对高不确定性任务施加可调的强惩罚，加速其不确定性降低，从而按比例增加此类高不确定性任务的权重，并在训练过程中实现所有损失任务间的动态权重平衡。基于DBAW方法，研究人员开发了一种改进的PINN框架——动态平衡自适应加权协同框架（DBAW-SF），用于解决复杂问题。采用四个基准示例（扩散反应方程、泊松方程和纳维-斯托克斯方程）进行求解，并将所提方法与其他方法进行比较，验证了其在提高PINN预测精度方面的优越性。

**论文解读：基于动态平衡自适应加权的改进物理信息神经网络框架**

物理信息神经网络（PINNs）通过将偏微分方程（PDEs）、边界条件和初始条件嵌入损失函数，实现了物理信息与数据驱动的融合，在求解各类PDEs（如热传导、固体变形、流体流动）中展现出独特优势。然而，PINNs通常被视为多目标优化问题，不同损失分量（如控制方程残差、边界条件、初始条件）的权重设置对训练精度至关重要。传统固定权重方法依赖经验试错，效率低下；现有自适应加权方法（如基于最大似然估计的AW方法及其改进IAW方法）虽能动态调整权重，但易导致权重不平衡，引发梯度病态、次优收敛和欠拟合等问题。IAW方法引入刚性权重上界，但该上界为经验值，缺乏通用准则，过高或过低均会破坏平衡。为解决上述问题，研究人员在《Theoretical and Applied Mechanics Letters》上发表了本文，提出动态平衡自适应加权（DBAW）方法及其协同框架（DBAW-SF），旨在通过动态平衡各损失分量权重，提升PINNs的预测精度和训练稳定性。

**关键技术方法**
研究人员主要采用以下关键技术方法：
1. **动态平衡自适应加权（DBAW）方法**：基于最大似然估计理论，引入可调权重增长因子α（建议范围[1,100]），通过惩罚高不确定性任务（即控制方程残差等难以学习的任务）来加速其不确定性降低，动态平衡各损失分量，避免刚性权重上界导致的退化。
2. **Rowdy激活函数**：引入可训练的正弦波动（K个激活函数，其中σ?₁为tanh，其余为n sin((k-1)nz)），消除传统激活函数的饱和区，增强网络非线性表达能力。
3. **变量缩放物理信息神经网络（VS-PINN）**：通过缩放因子N（如N=10）对时空域进行缩放，平滑高频或快速变化解，提高收敛速度（基于神经正切核（NTK）理论分析）。
4. **DBAW-SF协同框架**：集成VS-PINN的物理缩放特性、Rowdy激活函数的非线性表达能力和DBAW的自适应加权机制，解决复杂非线性问题中的多重训练障碍（权重不平衡、非线性表达不足、收敛慢）。

**研究结果**
1. **扩散反应方程（3.1节）**
在gPINN（梯度增强PINN）框架下，通过网格搜索确定最优固定权重（λ_g=1.0, λ_x=λ_t=1.0×10^-1，L₂相对误差3.93×10^-4），对比NTK、AW、IAW（γ=5.0×10⁴）和DBAW方法。DBAW方法在α=1.0×10¹时取得L₂误差3.11×10^-4，优于所有对比方法及网格搜索最优。权重分量分析表明，DBAW方法能动态维持稳定比例（λ_g > λ_x, λ_t），而IAW方法在γ较小时权重迅速达到上界，失去自适应能力。

2. **一维泊松方程（3.2节）**
在gPINN框架下，网格搜索最优固定权重（λ_g=1.0, λ_x=1.0×10^-2，L₂误差2.20×10^-4）。DBAW方法（α=1.0×10¹）取得L₂误差1.49×10^-4，优于NTK、AW和IAW（γ=1.0×10¹，因IAW权重迅速达到上界而退化）。即使AW方法中权重无明显不平衡，DBAW仍能进一步提升精度，表明其动态平衡能力超越IAW的刚性上界机制。

3. **二维圆柱绕流（3.3节）**
基于VS-PINN框架，分两阶段验证。第一阶段：VS+DBAW（α=1.0）在压力p和总速度u_total的L₂误差分别为3.54×10^-2和1.80×10^-2，优于VS+NTK（9.48×10^-1, 6.14×10^-1）、VS+AW（3.27×10^-1, 1.85×10^-1）和VS+IAW（γ=2.0×10⁴时7.37×10^-2, 3.18×10^-2），且略优于VS+网格搜索最优（3.74×10^-2, 1.83×10^-2）。第二阶段：DBAW-SF（Rowdy+VS+DBAW，α=1.0×10²）取得p误差2.30×10^-2、u_total误差1.73×10^-2，为所有方法中最优，消融实验证实了各组件的协同增强效果。

4. **二维翅片上方流体流动（3.4节）**
对比Rowdy、VS、Rowdy+VS+网格搜索、Rowdy+VS+NTK、Rowdy+VS+AW、Rowdy+VS+IAW和DBAW-SF。网格搜索最优固定权重（λ_r=1.0, λ_bc=1.0）下u_total误差6.99×10^-2。DBAW-SF（α=1.0）取得误差6.72×10^-2，优于Rowdy+VS+AW（2.54×10^-1）和Rowdy+VS+IAW（γ=5.0×10⁴时2.66×10^-1）。权重分量分析显示，DBAW-SF的权重逐渐稳定并接近最优比例，而IAW方法在γ较小时权重迅速达到上界失效。

**总结与结论**
研究人员在讨论部分指出，DBAW方法通过引入可调权重增长因子α，有效避免了IAW方法中刚性上界难以通用的问题，实现了动态平衡。DBAW-SF通过集成VS-PINN、Rowdy激活函数和DBAW，显著提升了网络对复杂非线性问题的求解能力。研究结论翻译如下：本文提出了一种改进的物理信息神经网络（PINN）框架，以高精度求解偏微分方程。基于最大似然估计理论开发了动态平衡自适应加权（DBAW）方法，有效避免了权重不平衡导致的梯度病态、次优收敛和欠拟合问题，其中引入了权重增长因子来惩罚高不确定性任务并避免其训练不足。此外，构建了DBAW协同框架（DBAW-SF），通过增强网络的综合表示能力来提高PINN的训练精度。DBAW-SF集成了VS-PINN的物理缩放特性、Rowdy激活函数的非线性表达能力以及DBAW的自适应加权机制，显著增强了神经网络求解非线性问题的能力。对于所测试的偏微分方程问题，所提出的DBAW方法和DBAW-SF框架相比其他PINN方法和固定权重网格搜索的最优结果，表现出更好的计算精度和训练稳定性。