一种具有多激活函数的域分解深度神经网络方法用于求解椭圆型和抛物型界面问题

《Mathematics and Computers in Simulation》：A domain decomposition deep neural network method with multi-activation functions for solving elliptic and parabolic interface problems

　　

摘要

我们研究了标量椭圆型和抛物型界面问题，其中解或通量中的不连续性必须跨越静止或移动的界面进行解析。我们采用了一种基于域分解的物理信息神经网络框架，在每个子域中使用一个独立参数化的网络，并通过解和通量跳跃残差施加界面条件。在该框架内，我们提出了一种多激活函数（MAF）机制，通过一个平滑的几何相关系数，将全局tanh激活与局部高斯型激活进行混合。正则化水平集表示和平滑标记点投影提供了可微分的界面信息，其空间和时间导数保留在自动求导中对控制残差的评价中。在显式稳定性和固定被积函数数值积分的假设下，我们推导了椭圆和抛物型传输问题的条件残差估计，将冻结的双网络近似误差与连续的内部、边界、初始和界面残差联系起来。数值研究涵盖了从二维到十维的六个椭圆问题、一个多界面问题、四个具有固定或预定移动界面的抛物问题、效率比较以及匹配的激活归因实验。广度实验在多种系数对比和界面几何下给出了较小的相对误差。在匹配的三随机种子比较中，MAF在向日葵问题上获得了最低的相对L2平均误差，而距离门控的单激活或空间均匀混合在某些更简单的几何上表现更好。这些结果表明，几何条件化的激活混合是一种问题相关的表示机制，而非标准激活的普遍优越替代品。

引言

近年来，一种被称为深度神经网络（DNN）的新类计算技术受到了极大关注，特别是物理信息神经网络（PINNs）[1]、[2]。这些方法利用前馈神经网络来近似未知场变量，通过最小化由控制场方程的残差、初始和边界条件以及观测数据导出的损失函数来实现。损失函数在计算域内随机选择的配点上进行评估，这些配点分布在整个需要确定场变量的计算域中。通过将控制方程直接纳入损失函数，PINNs有效地克服了传统数据驱动建模方法的一个主要局限：需要大量高质量训练数据，而这通常难以且昂贵地获取。自开发以来，PINNs已在广泛的工程问题中找到应用，包括固体力学[3]、[4]、[5]，流体力学[6]、[7]、[8]，多孔介质流动[9]、[10]、[11]，以及热传递[12]。

椭圆界面问题是一类偏微分方程（PDEs），其特点是在界面上解及其导数均存在不连续性。这些问题在广泛的科学和工程领域中尤为常见，如流体力学[13]、材料科学[14]、电磁学[15]和生物力学[16]，其中相邻子域中存在不同的物理性质。这些子域之间的界面通常对应于材料性质的急剧变化，导致复杂的数学公式化，使其难以准确和高效地求解。

除了椭圆界面问题外，抛物界面问题在许多实际应用中也会出现，例如复合材料的导热建模[17]或具有不连续性的扩散驱动现象[18]。与椭圆型对应问题类似，抛物界面问题在界面上涉及材料参数的急剧变化；然而，这些问题增加了一个时间维度。这一时间分量进一步增加了数值处理的复杂性，因为必须准确捕捉空间不连续性和随时间演化的解行为。处理这些耦合的空间-时间复杂性通常需要精细的网格或特殊的数值技术来适应移动解前沿和界面几何，显著增加了计算成本和实现挑战[19]、[20]。

传统的基于网格的方法，如有限元法（FEM）[19]、[21]、[22]、[23]、[24]、[25]、[26]、[27]、[28]，有限差分法（FDM）[20]、[29]、[30]、[31]、[32]、[33]和有限体积法（FVM）[34]、[35]、[36]、[37]，已被广泛用于求解椭圆界面问题。这些方法通常依赖于网格生成，即将域离散化为较小的子域（单元或网格）。然而，准确捕捉界面附近解的行为，特别是当界面几何不规则或处于高维时，构成了重大困难。特别是，这些传统方法需要在界面附近使用精细网格来解析不连续性，从而显著增加计算成本。此外，在复杂几何中，网格生成可能非常复杂，通常导致与稳定性和收敛性相关的问题。

与基于网格的方法不同，深度学习技术，特别是PINNs，可以以无网格方式运行，这大大缓解了与网格生成和细化相关的困难[1]、[2]。此外，神经网络具有固有的灵活性，使它们能够近似复杂的解空间，即使在高维域中也是如此。它们从数据中学习的能力也使它们非常适合解析解难以获得或存在实验数据可供训练的问题。此外，深度学习模型的并行化能力，结合计算硬件（如GPU和TPU）的进步，有助于其在求解大规模和高维问题中的效率。

对于椭圆界面问题的神经求解器，主要的数值困难在于不连续迹或通量的表示、界面条件的施加，以及对所得残差损失的可靠优化[2]。近期方法通过域分解、变换输入、专门激活、界面感知采样或相关无网格表示来解决这些问题[38]、[39]、[40]、[41]、[42]、[43]、[44]、[45]、[46]、[47]、[48]、[49]、[50]。

我们现在回顾几种用于求解具有界面或域分解的PDE的代表性神经网络方法。扩展物理信息神经网络（XPINN）[51]是一种主要为并行计算和加速计算而开发的通用域分解框架，而非专门针对不连续系数的界面问题。虽然XPINNs将计算域划分为由单独神经网络处理的子域并在边界处施加连续性条件，但它们并未明确解决解梯度或材料系数的不连续性。

已开发了多种专门方法用于具有不连续系数的界面问题。多域PINNs（M-PINN）[38]在子域中使用独立网络，并通过界面残差将它们耦合。界面PINNs（I-PINNs）[39]则使用共享相同权重和偏置但采用不同预定义激活函数的子域分支。自适应界面-PINNs（AdaI-PINNs）[40]保留共享仿射参数，并用子域相关的可训练激活斜率替代预定义的激活选择。因此，AdaI-PINNs中的"自适应"指的是自适应激活斜率，而非自适应界面采样。无网格方法（MFM）[41]使用径向基函数配合散点，而间断捕捉浅层神经网络（DCSNN）[42]、[43]使用变换表示来捕捉界面不连续性。

在本文中，我们为具有两个子域和分段常数扩散系数的标量椭圆型和抛物型界面问题提出了一种多激活函数（MAF）机制。MAF使用两个独立的子域网络，通过标准的解和通量跳跃损失耦合。其新组件是一个可微分的几何条件化隐藏层映射，使用预设界面距离的平滑代理，将tanh和高斯型激活进行混合。与M-PINN相比，MAF改变了局部激活响应，同时保留了相同的独立双网络损失结构。与I-PINN相比，MAF不在子域间共享仿射参数，也不为每个子域分配一个固定激活。与AdaI-PINN相比，MAF使用预设的空间变化混合权重，而非可训练的子域激活斜率。这些机制是不同的；特别地，I-PINN和AdaI-PINN都不是自适应采样方法。

表1总结了本方法相对于代表性相近方法的定位。这些条目标识了在受控椭圆比较中使用的实现，并非作为关于所有可能变体的排他性陈述。

主要贡献及其声明范围明确如下：

- 我们将MAF公式化在一个标准的双网络、双子域残差框架内。域分解和界面跳跃损失并不声称是新的。
- 我们引入了一种基于平滑几何代理的可微分界面条件化激活混合。几何操作保留在自动求导图中，使其第一和第二空间导数进入PDE残差。
- 我们给出了在间断Sobolev空间和迹空间中的条件残差解释。我们并不声称特定于架构的收敛率或从经验训练损失导出的推广界。
- 我们实现了具有共享仿射参数和不同固定激活的I-PINN，以及具有共享仿射参数和可训练子域斜率的AdaI-PINN。匹配的因子消融实验将几何信息与激活混合分开。在向日葵问题上，MAF在七种测试方法中给出了最低的相对平均误差，而其他两个测试揭示了空间混合的重要局限性。

本文其余部分组织如下。第2节公式化了模型的椭圆和抛物界面问题，并陈述了公式化的范围。第3节详细介绍了双网络损失和可微分的MAF机制。第4节给出了条件残差解释。第5节呈现了完整的椭圆、多界面、高维和抛物测试套件，随后是效率统计、匹配的基线比较、归因控制和敏感性结果。第6节总结了支持的结论和局限性。

模型问题

在本节中，我们提出了促使我们多激活函数方法的模型问题。除非另有说明，公式化和分析针对标量双子域界面问题，具有分段常数扩散系数。设Ω?Rd，其中d≥2，为一个有界开域，其边界?Ω是Lipschitz的。用Γ表示Ω内部的一个封闭界面，将Ω划分为两个不相交的开子域Ω1和Ω2（图1给出了一个示意性示例）。我们用Ω?i表示……

多激活函数方法

在本节中，我们在标准的基于域分解的界面问题PINN设置中描述MAF机制。使用两个独立的神经网络，每个子域Ω1和Ω2各使用一个。这些网络具有相同的架构但具有独立训练的参数，并通过损失函数中的界面条件耦合。新组件是在每个子域网络内部使用的界面距离加权隐藏激活映射。

本节中，我们……

条件残差解释

设Hbrk(Ω)?Hk(Ω1)×Hk(Ω2)，k=1,2，表示间断Sobolev空间。对于足够规则的配对v=(v1,v2)∈Hbr2(Ω)，定义强内部、外边界、解跳跃和通量跳跃残差为RiΩ(vi)=???(βi?vi)?fi，在Ωi内，RD(v)=v?gD，在?Ω上，RΓu(v)=v1?v2?g1，在Γ上，RΓq(v)=β1?v1?n?β2?v2?n?g2，在Γ上。对于一个适定的椭圆传输问题，连续稳定性估计自然地以‖u?v‖Hbr1(Ω)≤Cstab∑i=12‖RiΩ(vi)‖H?1(Ωi)+‖RD(v)‖H1/2(?Ω)+‖RΓu(v)‖H1/2(Γ)+‖RΓq(v)‖H?1/2(Γ)的形式表述。

数值结果

在本节中，我们呈现了标量椭圆和抛物界面问题的数值实验。目标不仅是比较最终误差，还要分离所提出的界面距离加权激活混合的贡献。我们将多激活函数方法（记为MAF）与代表性方法进行比较，包括扩展PINNs（XPINN）[51]、无网格方法（MFM）[41]、间断捕捉浅层神经网络（DCSNN）[42]、多域PINNs……

结论

我们开发了一种具有几何条件化多激活函数的基于域分解的PINN，用于标量椭圆和抛物界面问题。双子域分解和界面残差损失是标准的；方法论贡献是可微分的隐藏层混合，将tanh和高斯型激活结合。数值研究包括从二维到十维的六个椭圆测试、一个多界面示例、四个具有固定的抛物测试……

关于AI辅助工具使用的声明

在准备本稿件期间，作者使用了AI辅助工具（包括大语言模型）来改善文本的可读性、语言和呈现。具体而言，AI工具被用于：

- 语言编辑和校对以增强清晰度和语法；
- 协助组织某些章节的结构和格式；
- 生成某些解释性文本的初步草稿，随后进行了审阅和修改。

作者对……承担全部责任。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系，这些可能影响到本文报告的工作。

致谢

本工作得到了国家自然科学基金（项目编号：12171340）的支持。

翟奇佳