二阶多点边界值系统的无监督深度神经网络：理论与计算

《Applied Soft Computing》：Unsupervised deep neural network for second-order multipoint boundary value systems: Theory and computation

　　

摘要 物理信息神经网络（PINNs）提供了一种灵活的框架，通过将控制方程嵌入损失函数来求解边界值问题（BVP）。本研究在PINNs方法的指导下，构建合适的损失函数，在无监督框架下引入了一种用于求解多点边界值问题系统（SMPBVP）的深神经网络（DNN-SMPBVP）。对于DNN-SMPBVP的收敛性分析，误差被分解为两个基本贡献：训练误差和数值积分误差。在SMPBVP适定性的假设下，我们证明DNN-SMPBVP解误差的范数受稳定性常数与离散内部和边界损失之和以及由于在DNN-SMPBVP的有限配点处近似残差范数而产生的数值积分/采样误差之积的上界所约束。对于具有确定性复合求积法则（如中点法）的平滑残差，我们推导了经典收敛阶，其中数值积分误差以 $O(h^p)$ 衰减，其中 $h$ 为步长，$p$ 为求积阶数。对于具有ReLU等非平滑激活函数的DNN-SMPBVP残差，有效收敛阶退化为 $O(h^1)$，而对于蒙特卡洛采样，误差以 $O(1/\sqrt{N})$ 的概率速率衰减，其中 $N$ 为采样点数量。这一统一框架突显了训练精度和配点密度在控制DNN-SMPBVP整体近似误差中的双重作用，并解释了为什么更平滑的激活函数和高阶求积方案通常能获得更优的精度。

**引言**

设 $\Omega$ 为长度为 $L$、测度为 $|\Omega|$ 的有界区间。考虑如下关于 $t \in \Omega$ 的二阶多点边界值问题系统：

$$
-\frac{d}{dt}(A(t)\frac{du}{dt}) + B(t)u = f(t), \quad t \in \Omega \tag{1.1}
$$

带有边界条件：

$$
\mathcal{B}[u] = g, \quad t \in \partial\Omega \tag{1.2}
$$

其中：

- $u(t) \in \mathbb{R}^m$ 是未知的向量值解，
- $A(t)$ 对每个 $t \in \bar{\Omega}$ 是对称且一致正定的矩阵，
- $B(t)$ 是反应矩阵（例如非负的），
- $f$ 和边界数据 $g$ 是给定的，
- $\mathcal{B}$ 表示边界算子。

为确保 (1.1)、(1.2) 的解的唯一性，需要 $2m$ 个标量边界条件（BCs）。一般而言，对于SMPBVP，边界算子可以写为：

$$
\mathcal{B}[u] = \sum_{i=1}^{2m} \alpha_i \cdot u(t_i) + \sum_{j=1}^{2m} \beta_j \cdot \frac{du}{dt}(t_j) = g \tag{1.3}
$$

其中 $t_1, \ldots, t_{2m} \in \bar{\Omega}$。根据系数 $\alpha_i$ 和 $\beta_j$，边界条件简化为以下特殊情况：

- **Dirichlet条件**：$\alpha_i \neq 0, \beta_i = 0$；
- **Neumann条件**：$\alpha_i = 0, \beta_i \neq 0$；
- **Robin（混合）条件**：$\alpha_i \neq 0$ 且 $\beta_i \neq 0$。

**两点边界值问题**：对于 $m = 1$，系统 (1.2) 带有

$$
\begin{cases}
a_1 u(t_1) + b_1 u'(t_1) = g_1, \\
a_2 u(t_2) + b_2 u'(t_2) = g_2,
\end{cases} \tag{1.4}
$$

(1.4) 的特殊情况包括Dirichlet（$b_1 = b_2 = 0$）、Neumann（$a_1 = a_2 = 0$）和Robin（$a_1, a_2, b_1, b_2 \neq 0$）。

**三点边界值问题**：对于 $m = 1$ 且具有内点 $t_{\text{mid}} \in \Omega$，非局部边界条件可以写为：

$$
\begin{cases}
a_1 u(t_1) + b_1 u'(t_1) = g_1, \\
a_2 u(t_{\text{mid}}) + b_2 u'(t_{\text{mid}}) = g_2, \\
a_3 u(t_3) + b_3 u'(t_3) = g_3.
\end{cases} \tag{1.5}
$$

典型例子包括：

- $u(a) + u'(a) = 0,\ u(b) + u'(b) = 0$（混合三点问题）；
- $u'(a) - u'(b) = 0,\ u(a) = 0$（Neumann型三点问题）。

**四点边界值问题**：对于 $m = 1$ 且具有内点 $t_{\text{mid1}}, t_{\text{mid2}} \in \Omega$，可以写为：

$$
\begin{cases}
a_1 u(t_1) + b_1 u'(t_1) = g_1, \\
a_2 u(t_{\text{mid1}}) + b_2 u'(t_{\text{mid1}}) = g_2, \\
a_3 u(t_{\text{mid2}}) + b_3 u'(t_{\text{mid2}}) = g_3, \\
a_4 u(t_4) + b_4 u'(t_4) = g_4.
\end{cases} \tag{1.6}
$$

**注记 1** 公式 (1.3) 提供了一个统一的框架，适用于二点、三点和四点（或一般地，多点）非局部BVPs，涵盖Dirichlet、Neumann、Robin或混合边界条件。此外，(1.4)、(1.5)、(1.6) 中系数矩阵的维度经过选择，使得相应的多点边界算子恰好产生 $2m$ 个标量边界条件。

微分方程系统的边界值问题广泛出现在科学和工程应用的众多领域中，包括流体力学、弹性力学、量子力学、反应-扩散过程和控制理论。与初始值问题不同——其中解由在单一点处指定的条件决定——BVPs通常涉及在域边界上的两个或更多点处规定的条件。这种额外的复杂性使得BVPs的分析和数值逼近在数学上既丰富又在计算上具有挑战性。当推广到方程系统时，多个因变量之间的耦合进一步增加了难度，特别是在刚性动力学中。虽然解析方法可以为微分方程提供精确解，但由于控制方程的复杂性和所需计算量，其适用性往往受到限制。在许多实际工程问题中，由物理定律导出的方程过于复杂，无法得到闭式解，使得解析方法不可行。因此，数值方法被广泛采用以获得近似解。BVPs的经典数值方法包括有限差分格式 [1]、有限元方法 [2]、谱方法 [3]、配点技术 [4] 和Galerkin技术 [5]、[6]。这些方法已经成熟建立，并在适当的平滑性假设下可以达到高精度。然而，它们通常需要根据问题的几何形状定制的结构网格或基函数，而且在高维或强非线性系统中效率可能会降低。此外，这些方法中的误差估计在很大程度上依赖于离散化选择、网格细化策略和精确解的底层正则性。而且，尽管这些传统数值技术非常有效，但它们仍然面临计算需求高、收敛性问题和数值误差累积等困难，这些都可能影响大规模或高度非线性系统中的精度和效率。

在过去几十年中，机器学习，特别是基于神经网络（NNs）的模型，取得了显著进展，并在科学和工程的许多领域求解复杂问题方面开辟了新的可能性 [7]、[8]、[9]。许多研究者探索了如何利用人工神经网络开发求解微分方程的新方法。最早的贡献之一来自Lagaris及其同事在文献 [10] 中的工作，他们引入了一个通用框架，利用神经网络作为通用函数逼近器来求解微分方程的数值解。在此基础上，Rudd等人在文献 [11] 中提出了一种将经典Galerkin方法与神经网络相结合的方法，以更有效地处理偏微分方程。后来在文献 [12] 中，Piscopo等人将NNs应用于计算宇宙学相变中的隧道效应轮廓，其精度可与甚至超过传统数值求解器。类似地，在文献 [13] 中，Berg及其同事开发了一种用于求解一维和二维对流-扩散方程的深前馈神经网络方法，证明了该方法可以优于标准的基于网格的方法。

尽管取得了这些进展，传统机器学习模型主要依赖于数据驱动的训练，即网络从现有数据集中学习输入与输出之间的关系。虽然这些模型在训练范围内可以达到高精度，但它们通常在观测数据之外产生违反物理定律或不切实际的预测 [14]、[15]。这些局限性源于数据偏差、过拟合以及超越训练样本的泛化能力差等问题。在许多工程应用中，数据自然地遵循物理定律，但纯数据驱动的神经网络无法利用这种内建的物理知识。因此，它们的精度、可靠性和实用性受到限制。

近年来，数据可用性和计算能力的快速增长推动了计算机科学的重大进展，特别是在机器学习和人工智能领域。图像识别、自然语言处理和基于数据的建模等方法在许多领域取得了显著成功 [16]、[17]。这一技术进步也为求解复杂的数学和物理问题，包括微分方程，开辟了新的机遇。在文献 [18] 中，Raissi及其同事提出了PINNs的概念，这是一种直接将物理定律纳入学习过程的神经网络。与传统监督学习不同，后者模型仅从输入-输出数据对中学习，这些网络将控制物理原理纳入其结构中。微分方程、边界条件和初始条件作为引导项被添加到损失函数中，确保网络的预测自然遵循物理约束。

近年来，PINNs作为一种强大的、灵活的求解常微分和偏微分方程的方法，获得了广泛关注 [15]、[18]、[19]。与严重依赖大数据集的传统基于数据的神经网络不同，PINNs直接将控制物理定律纳入学习过程。它们使用神经网络表示解，并通过最小化一个强制执行底层微分方程以及边界条件和初始条件的损失函数来训练其参数。这种物理的集成使PINNs能够以更少的训练样本实现高预测精度，同时降低过拟合的风险。PINNs的一个主要优势在于其无网格公式，消除了网格生成或数值离散化的需要。这使得它们特别适用于高维问题，传统数值方法在高维中计算成本高昂。此外，PINNs可以灵活地结合散射配点，并在实验测量可用时自然地组合数据驱动组件。这些优势使它们在由微分方程控制的广泛的正向和反向问题中得到成功应用 [15]、[19]。对复杂常微分和偏微分方程系统的扩展也得到了探索，进一步证明了该框架的通用性和广泛适用性 [20]、[21]。

因此，它们在科学和工程的许多领域引起了显著关注 [22]。例如，在文献 [23] 中，Wei等人开发了一种基于深度强化学习的自学习框架来求解非线性和偏微分方程，并将其成功应用于Burgers方程和Lorenz系统。在文献 [24] 中，W. Zhang等人采用PINN框架求解结构动力学中的微分方程，其中物理定律和初始或边界条件通过自动微分直接嵌入损失函数中。结果表明，PINN方法可以有效地建模和求解阻尼动态系统的运动方程。在文献 [25] 中，Cai等人展示了如何运用PINNs来建模涉及强制对流和混合对流的工业传热问题。在文献 [21] 中，Meng等人创建了算法的并行版本，以提高长期偏微分方程积分的效率。在文献 [26] 中，Liu等人将该方法扩展为贝叶斯框架，以处理噪声数据并衡量预测不确定性。更近期地，Bolandhi及其同事将此方法与有限元模拟相结合，开发了PINN应力模型，该模型可以准确预测动态载荷下节点板中的应力分布。尽管具有灵活性，PINNs收敛性和误差行为的严格理解仍然是活跃的研究领域。近期几项工作已处理了逼近性质 [27]、泛化误差界 [28] 以及基于配点的PINNs中的数值积分误差 [29]。

物理信息神经网络（PINNs）的最新进展显著扩展了深度学习技术求解微分方程和边界值问题的适用范围。特别是，Luong等人提出了一种统一的PINN框架，能够自动施加边界条件，从而提高了神经网络对一般边界值问题逼近的鲁棒性和精度 [30]。Dolean等人引入了多级域分解基础上的PINN架构，以改进PINN方法的可扩展性和计算效率 [31]，而Klawonn等人则提出了一个综合调查，突出了将机器学习与域分解技术相结合求解微分方程的最新进展 [32]。此外，Dlamini等人开发了一种针对非线性多点边界值问题的高效数值方法，反映了人们对这类问题的持续兴趣 [33]。尽管已提出多种求解多点边界值问题的数值方法，但与对经典两点边界值问题的广泛研究相比，现有文献仍然相对有限。此外，物理信息神经网络在多点边界值问题系统中的应用也尚未得到充分关注。受物理信息神经网络、基于域分解的PINN框架以及求解多点边界值问题的最新数值方法 [30]、[31]、[32]、[33] 发展的启发，本文提出了一种用于求解二阶多点边界值问题系统的深神经网络框架。由于许多实际应用涉及具有多点边界条件的耦合系统，因此需要一种兼具计算效率和严格收敛性分析的统一PINN框架。据我们所知，现有研究尚未在统一的深神经网络框架内专门处理多点边界值问题系统。所提出的DNN-SMPBVP方法旨在填补这一空白，它能够处理具有通用多点边界条件的线性系统。此外，我们建立了理论误差分析，解释了残差、数值积分逼近和神经网络逼近如何共同影响解的精度。在本工作中，"无监督"一词指的是物理信息训练策略，即神经网络通过最小化控制微分方程的残差以及多点边界残差来进行训练，而不使用任何外部标记的解数据。本文的目标是开发一种求解二阶多点边界值问题系统的深神经网络框架，并为所提出的DNN-SMPBVP方法提供严格的收敛性和误差分析。我们聚焦于二阶系统以保持清晰性，但该框架自然地推广到更一般的情况。为了为所提出的方法建立理论基础，我们首先证明了解的存在性和唯一性，从而建立了底层SMPBVP的适定性。

通过将这些适定性结果与复合数值积分规则（如中点法）的四分误差界相结合，我们推导出明确的误差估计，揭示了配点策略的选择和神经网络近似的平滑性如何影响DNN-SMPBVP解的精度。所提出的DNN-SMPBVP框架还为具有局部和非局部边界条件的两点、三点和四点边值问题系统提供了统一的公式化方法。此外，基于残差的收敛性分析明确量化了训练误差和四分误差对整体解精度的贡献。最后，通过在两点、三点和四点边值设置中各种标量和耦合基准问题进行验证，证明了所提出方法的准确性、鲁棒性和有效性。

本节片段：SMPBVP的存在性和唯一性

在本节中，我们将证明方程(1.1)、(1.2)、(1.3)的存在性和唯一性结果。为此，我们假设以下条件：
a.
b. 是对称且一致正定的：存在 使得
c.
d. 边界数据提供恰好 个标量线性约束（因此，当应用于基本矩阵列时，堆叠边界算子是方阵）。

首先，我们将(1.1)简化为一阶系统。因此，我们定义
由于 对每个 都是可逆的，方程(1.1)等价于

DNN假设、残差和离散损失
设 表示神经网络参数空间， 表示参数向量 的网络输出。对于给定的 ，残差为
理想情况下，我们旨在最小化它们的 范数：
其中超参数 平衡相对贡献。在实践中，无法精确计算 和 上的积分。相反，我们选择配点节点：
•内部节点 ，
•多点边界节点 。

现在，我们在这些四分点上定义内部损失和边界损失如下：
内部损失：The interior

收敛性分析
引理4.1
设 为(1.1)-(1.3)的精确解， 为训练后的PINN近似（即）。假设 是对应于内部残差范数的离散四分近似。进一步假设配点节点按照复合中点法则选择，且BVP系数 和激活函数是光滑的。那么以下四分误差估计成立：

证明
我们考虑具有真实解 和训练后PINN解 的多点BVP。设 ，因此

数值结果
在本节中，我们展示了一套全面的数值实验，以证明所提出的PINN框架在求解具有局部和非局部边界条件的BVP时的准确性、鲁棒性和多用途性。数值示例按照边界条件的类型和数量系统地组织。
首先，我们考虑涉及两点、三点和四点边界条件的局部BVP。接下来，我们研究非局部BVP，同样针对两点，

结论
在本工作中，我们开发并分析了一个用于求解具有局部和非局部多点BCs的一般类BVPs的PINN框架。所考虑的模型包括两点、三点和四点BVPs作为特殊情况，从而为应用科学和工程中产生的各种实际问题提供了统一的处理方法。
从理论角度来看，我们在对 的适当假设下建立了关于解的存在性和唯一性的严格结果。

CRediT作者贡献声明
Rakesh Kumar：写作 – 审阅和编辑，写作 – 原稿，可视化，验证，软件，资源，方法学，调查，形式分析，概念化。
B.V. Rathish Kumar：写作 – 审阅和编辑，可视化，验证，监督，方法学，调查，概念化。
Anil Rathi：方法学，形式分析，概念化。
Nazia Urus：可视化。
Chitranjan Pandey：方法学，形式分析。
Dipak Kumar Sahoo：调查，形式

利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系，这些关系可能会影响本文所报道的工作。

Rakesh Kumar|B.V. Rathish Kumar|Anil Rathi|Nazia Urus|Chitranjan Pandey|Dipak Kumar Sahoo
印度理工学院坎普尔分校数学与统计系，坎普尔，208016，印度