数据集成神经网络求解偏微分方程

《Neurocomputing》：Data-integrated neural networks for solving partial differential equations

　　

## 摘要

在本工作中，我们提出了数据集成神经网络（DataInNet）用于求解偏微分方程（PDEs），提供了一种利用数据（如源项、初始条件和边界条件）的新方法。本工作的核心在于将数据整合到统一的网络框架中。DataInNet由两个子网络组成：一个数据集成神经网络负责容纳和融合各种类型的数据，以及一个全连接神经网络专门学习数据集成神经网络未捕获的残差物理信息。该网络架构从本质上排除了违反已知物理约束的函数类，从而大幅缩小了解空间。数值实验表明，所提出的DataInNet在诸如亥姆霍兹方程（相对误差：O()）和高频解偏微分方程（相对误差：O()）等具有挑战性的问题上表现出色。

## 引言

在科学计算领域，深度神经网络（DNNs）已被广泛用于求解各种偏微分方程（PDEs）[1], [2], [3], [4], [5], [6], [7]。尽管在利用DNNs求解PDEs方面已取得显著进展[6], [8], [9], [10], [11], [12], [13], [14], [15], [16], [17]，但仍存在若干关键挑战尚未得到解决，例如谱偏差（即频率原则）[18]。这种偏差的特征在于，DNNs在拟合函数或求解PDEs时倾向于优先学习低频分量而非高频分量。众多研究已通过实验验证了谱偏差的存在[19], [20], [21]，Tancik等人利用神经切线核[22]提供了相应的理论依据。受神经切线核的启发，物理信息神经网络（PINNs）引入了多尺度随机傅里叶特征映射以增强鲁棒性和精度[23], [24]。此外，PINNs利用解的导数来定义损失函数——这一设计可能有助于在训练过程中促进高频分量的收敛。Lu等人[20]给出的例子证实了求导有助于高频分量的收敛。

数值精度低和训练不稳定性是PINNs面临的主要挑战。为了改进PINNs的近似能力，Lu等人[25]提出了一种基于残差的自适应采样策略（RAR）。RAR通过添加具有高残差的新训练点来提高PINNs的近似精度。在[26]中，Fan等人开发了消去不连续性的物理信息神经网络（DR-PINNs）用于求解椭圆界面问题。DR-PINNs通过使用测地线加速Levenberg-Marquardt优化器来最小化损失函数，从而提供高精度近似。多阶段神经网络[27]将训练过程分为不同的阶段，其中每个阶段采用新网络来拟合前一阶段的残差。数值结果表明，多阶段训练对于回归任务和PINNs均能产生预测误差接近机器精度的近似解。Huang等人[28]提出了频率自适应多尺度DNNs（频率自适应MscaleDNNs）用于求解具有高频解的PDEs。频率自适应MscaleDNNs采用多阶段训练策略。在第一阶段，使用MscaleDNNs获取预训练解。通过傅里叶变换获得预训练解的频率系数分布，然后利用这些相应的频率构建具有多个子网络的新神经网络。对该新网络进行训练以实现更精确的近似，并重复此过程直至训练完成。此外，自适应激活函数[29]、损失函数的自适应加权[30]和学习率退火算法[31]也已被提出以改进PINNs的近似能力。

在基于神经网络的PDE求解中，约束解表示方法主要分为软约束和硬约束[34]。Lu等人[40]提出了用于拓扑优化的具有硬约束的PINNs，通过惩罚法和增广拉格朗日方法施加硬约束。Xie等人[35]提出了具有硬约束的PINNs的谱分析，揭示了边界函数通过乘性空间调制从根本上改变学习景观的机制，并在神经切线核框架内建立了显式核组合规则。Lai等人[36]将硬约束PINNs扩展到界面最优控制问题，通过新的网络架构将边界条件和界面条件作为硬约束施加。Hao等人[37]通过消融研究系统调查了硬约束和自适应加权对刚性时变PDEs训练效果的影响。在结合软约束和硬约束的方向上，Zhou等人[38]提出了互补的软硬约束PINN方案，首先通过软约束部分获得初步结果，然后通过硬约束机制进行细化。此外，最小二乘支持向量机（LS-SVM）提供了一种基于核的约束优化方法来求解PDEs。Mehrkanoon等人[39]提出了一种基于LS-SVM的PDE方法，其中初始条件和边界条件被嵌入为原始-对偶优化系统中的严格等式约束，核展开系数通过在这些约束下最小化残差来获得。

传统的约束解表示方法通常依赖于随机初始化。在训练开始时，网络对目标解没有任何先验信息，必须完全通过优化过程从零开始学习满足约束并近似真实解。这导致搜索空间庞大且收敛困难，特别是在处理涉及复杂特征（如高频振荡或奇异性）的问题时。DataInNet与这些方法存在根本区别。DataInNet不是通过优化过程逐步施加约束，而是通过专门的数据集成子网络将源项和初始/边界信息作为先验知识嵌入到网络架构中。因此，网络初始化可能携带目标解的关键特征（如频率成分、奇异性）。这种机制可能从初始化阶段起就减少需要近似的函数空间，降低优化难度，从而更高效地收敛到高精度解。这构成了DataInNet相较于传统约束方法的本质优势。本工作的主要贡献总结如下：

- **数据集成架构**：该架构重新构建了PINNs的传统范式，在该范式中，源项、初始条件和边界条件仅被表述为损失函数中的软约束。相反，它创新地将此类物理数据直接集成到网络架构中，为物理先验信息的利用提供了新的参考。

- **显著缩小解空间搜索范围**：通过从本质上排除违反物理约束的解，该结构使优化过程能够更加专注于可行的函数类。因此，它增强了求解精度、计算效率和泛化能力，缓解了传统PINNs中常见的优化挑战。

- **双分支网络结构**：通过一个结构化嵌入已知信息（如源项、边界条件）的数据集成网络和一个负责学习剩余物理规律的辅助网络，我们的方法实现了已知信息与待求解信息之间的显式分离和协同学习。

本文的其余部分组织如下：在第2节中，我们详细解释了DataInNet的网络结构。在第3节中，利用不同的PDEs来测试DataInNet的近似能力。最后，在第4节中总结了DataInNet的优点和不足。

## 用于求解PDEs的DataInNet

在本节中，我们首先简要介绍PINNs方法，然后提出用于求解偏微分方程的数据集成神经网络。

## 数值实验

在本节中，我们数值研究DataInNet求解PDEs的性能。在所有仿真中，均使用学习率为 的Adam优化器[32]。参数 设置为 。此外，本手稿的配套代码公开于https://github.com/jczheng126/DataInNet。使用相对 误差和最大绝对误差来评估所提出方法的性能：

其中 表示真实解或使用 获得的参考解

## 总结与讨论

在本工作中，我们提出了数据集成神经网络（DataInNet）用于求解PDEs。DataInNet由两个子网络组成：一个数据集成神经网络专门融合各种类型的数据，一个辅助神经网络负责学习数据集成神经网络未捕获的残差物理信息。值得注意的是，DataInNet从本质上排除了违反已知约束的解，从而引导优化过程趋向更具可行性的函数

## CRediT作者贡献声明

**Zheng Jiachun**：撰写–审阅与编辑，撰写–初稿，可视化，方法论，资金获取，数据整理，概念构思。

**Yunqing Huang**：撰写–审阅与编辑，方法论，资金获取。

**Nianyu Yi**：撰写–审阅与编辑，方法论，资金获取。

**Yunlei Yang**：可视化，方法论，资金获取。

## 利益冲突声明

作者声明他们不存在已知的竞争性经济利益或个人关系，这些可能影响本论文中报告的工作。

## 致谢

本工作得到了国家自然科学基金项目（12431014）、湖南省科学技术厅科学研究基金项目（2024ZL5017）、111项目（编号D23017）以及贵州省科技项目（编号QKHJC-ZK[2023]YB036）的支持。

**Zheng Jiachun**于2021年获得数学与应用数学学士学位，并于2024年获得贵州大学应用数学硕士学位。2021年至2026年，他一直致力于使用神经网络开发偏微分方程（PDEs）的数值模拟方法。他目前在湘潭大学数学与计算科学学院攻读博士学位。他的研究主要集中在PINNs等算法。

---

**Zheng Jiachun | Yunqing Huang | Nianyu Yi | Yunlei Yang**

湘潭大学数学与计算科学学院，湘潭 411105，中国