基于解析非线性流形联合优化的物理信息神经网络特征跟踪：边界层应用

《Computer Physics Communications》：Feature tracking in physics-informed neural networks via joint optimization of analytical nonlinear manifolds: Application to boundary layers

　　

摘要

物理信息神经网络（PINNs）在应用于具有奇异摄动的粘性守恒律时，可能会面临收敛困难，尤其是在解发展出薄边界层、且配点数量有限并均匀分布的情况下。为缓解这些困难，我们提出了一种特征跟踪PINN（FT-PINN）框架，其中神经网络定义在固定的参考域上，并与一个解析的、参数依赖的微分同胚进行复合，其参数与网络权重通过最小化拉回守恒律残差进行联合训练。该微分同胚仅依赖于极少的参数，具体为每个空间方向一个参数，因此联合优化问题仅比相应的朴素PINN问题略大。由此产生的从参考域到物理域的映射将配点聚集在边界层内，而不需要事先了解其厚度，同时通过构造保持域边界不变。我们在三个具有薄边界层的定常粘性问题上展示了该框架：一维和二维平流-扩散问题（Péclet数为103）以及不可压缩Navier-Stokes平板流动（Reynolds数为10?）。在所有案例中，FT-PINN通过相对较少的配点解决了边界层，而具有相同架构和训练设置、在相同配点预算下的朴素PINN则无法做到这一点。因此，整体解以及关注量的恢复精度——尤其是平板示例中的皮摩擦系数——FT-PINN远优于朴素PINN。

引言

物理信息神经网络（PINNs）[1], [2]为近似偏微分方程（PDE）的解提供了一种框架。在该框架中，神经网络通过最小化一个复合损失函数进行训练，该损失函数包含在计算域内一组配点处评估的支配PDE的残差，以及施加边界条件和初始条件的惩罚项。自其引入以来，PINNs已被广泛应用于流体力学[3], [4]、固体力学[5]、反问题[1], [6]和代理建模[5], [7]等领域。这催生了一系列关于改进网络架构[8], [9]和增强训练策略[9], [10]的大量研究。

尽管PINNs具有灵活性，但已知其在应用于解发展出尖锐边界层的奇异摄动问题时存在收敛困难[11]。这些挑战源于两个耦合效应。首先，PDE残差往往被占据计算域大部分的平滑区域的贡献所主导，这可能导致优化过程偏向于减少这些区域的误差，而非准确分辨靠近边界的陡峭梯度。其次，均匀采样的配点可能导致残差的低效离散化，使得在解变化快速且残差对模型不准确最敏感的边界层内分辨率不足。更广泛地说，这些问题并非边界层所独有，而是任何具有局部化特征的问题（如激波和内部层）所共有的。因此，已提出了多种基于PINN的方法来应对这些局限性，例如在局部化特征周围聚集点[4]、域分解策略[12], [13], [14]，以及基于误差指标的自适应方法，涉及配点采样或基于梯度的重新定位[15], [16], [17], [18]。然而，这些方法并未专门针对薄边界层的分辨，且在实践中，大多数方法需要定制策略才能准确捕捉此类特征[11]。此外，这些方法存在共同局限性：聚集和域分解策略需要特征位置的先验知识，并引入额外的界面或分区超参数，而自适应采样或重新定位方法则因训练中反复重采样或逐点优化而产生额外开销。一种更具针对性的方法是Arzani等人提出的边界层PINN（BL-PINN）[11]，该方法将经典奇异摄动理论融入PINN框架，通过匹配条件耦合训练独立的外层网络和内层网络。然而，BL-PINN依赖于问题特定的渐近分析，需要训练多个网络，并涉及与匹配程序相关的额外调参。

BL-PINN所依赖的内层与外层区域分离，本质上是一种坐标变换：快速的边界层变化通过重新缩放自变量来吸收，从而得到均匀缩放的、无陡峭梯度的方程。更一般地，通过坐标变换或网格运动将薄特征映射到分辨更好的计算构型中，是数值方法中的经典策略。在有限元和有限体积方法中，这一思想是Arbitrary Lagrangian–Eulerian（ALE）[19], [20]、各向异性网格自适应[21]以及近期隐式激波跟踪方法[22], [23], [24], [25]的基础，在这些方法中，网格作为离散化的一部分进行变形或优化，使得局部化特征与单元结构和数值分辨更好地对齐。这些工作提出了一个针对PINNs的自然问题：即配点分布和输入坐标是否可以与网络权重一起联合自适应，使得网络在一个平滑且良好缩放的参考域上运行，同时残差在物理相关区域中施加。

我们通过提出面向边界层问题的特征跟踪PINN（FT-PINN）来回答这个问题，其中网络定义在固定的参考域Ω?上，并与一个解析微分同胚??(·;α):Ω?→Ω复合，其参数α与网络参数一起，通过在Ω?上最小化拉回守恒律残差进行联合训练。参考配点由此映射到变换后的配点，自动聚集在边界层内部。在本工作中，??是一个张量积指数坐标映射，每个笛卡尔方向具有一个标量参数。本文的主要贡献如下：

1. 一种PINN公式化方法，其中边界层通过一个解析的、参数依赖的坐标映射进行跟踪，该映射具有可训练标量，与网络参数在固定的参考配点网格上联合优化，从而使得点聚集由变换产生，而非通过重采样或逐点优化；
2. 一个不需要事先了解边界层厚度的框架；
3. 一种解析域映射，保持域边界不变；
4. 一个拉回守恒律残差与精确施加Dirichlet边界条件的组合；
5. 一个特征跟踪框架，在三个方面上区别于先前工作[23], [24]：它被表述为无约束优化问题，以强形式提出，且仅由求解器残差驱动，即不含富集残差公式化。

本文其余部分组织如下。第2节介绍定常粘性守恒律系统、在物理域上的朴素PINN离散化，以及通过参数化微分同胚??(·;α)拉回守恒律得到的参考域公式化。第3节在该公式化基础上开发特征跟踪PINN，说明本工作中使用的从参考域到物理域的解析映射族、在物理域上诱导的配点分布、在变换下精确施加Dirichlet边界条件的参考坐标试函数构造，以及在网络参数θ和变换参数α下的联合训练目标。第4节描述联合训练算法，包括基于Adam的小批量方案，θ和α具有独立的设置和学习率。第5节通过数值实验展示所提框架的性能，涵盖Pe=103的二维平流-扩散问题和Re=10?的不可压缩Navier-Stokes平板边界层，在每个案例中将FT-PINN与相同配点预算下的朴素PINN基线进行比较。最后，第6节总结全文并指出未来研究方向。

章节摘要

定常粘性守恒律

考虑定义在空间（物理）域Ω???上的一般m个定常粘性守恒律系统：

?·??(??,???) = ??(??,???), ?? ∈ Ω

其中??:Ω→??是物理位置x∈Ω处的守恒变量向量，??:??×????→????是通量函数，??:??×????→??是源项。通量被分解为无粘和粘性部分：

??: (??,??) ? ???(??) ? ???(??,??)

其中???:??→????是无粘通量，???:??×????→????是粘性通量，我们假设粘性通量在第二个自变量上是线性的：???: (

基于解析非线性流形的特征跟踪PINN

本节基于第2.3节引入的参考域公式化，呈现特征跟踪PINN。具体而言，我们描述本工作中使用的从参考域到物理域的解析映射族??(·;α)，在物理域上诱导的配点分布，在存在变换的情况下精确施加边界条件的方法，以及由此产生的训练目标。

网络权重与流形参数的联合训练

公式(20)中的联合优化问题本质上是非凸的，将高维网络参数θ与低维但高度敏感的变换参数向量α耦合在一起。为执行此优化，我们采用基于Adam [29]的小批量训练策略，为θ和α设置独立的参数组，使用独立设置的学习率ηθ和ηα及适当的学习率调度进行联合优化。此训练协议在所有实验中一致使用。

数值实验

本节在三个具有薄边界层的问题上对提出的特征跟踪PINN框架进行基准测试。在每个实验中，我们比较以下两种配置：

FT-PINN：所提出的特征跟踪PINN，域映射通过算法1与FCNN联合训练。

朴素PINN：无坐标变换的朴素PINN，在Ω的均匀配点网格上训练，否则具有相同的架构、优化器和训练时长。

在每个实验中，我们区分两组

结论

我们引入了面向边界层的特征跟踪PINN，一个物理信息神经网络框架，其中固定的参考域Ω?通过一个解析的、参数依赖的微分同胚??(·;α)映射到物理域Ω，其参数与网络权重通过最小化Ω?上的单一拉回守恒律残差进行联合训练。允许的映射取自一个紧凑的闭式族。在本文中，我们使用张量积指数坐标

CRediT作者贡献声明

Akshay Thakur：撰写 – 审阅与编辑，撰写 – 初稿，可视化，验证，软件，方法论，调查研究，形式化分析，概念化。Matthew J. Zahr：经费获取，项目管理，资源，监督，撰写 – 审阅与编辑。

利益冲突声明

作者声明他们没有已知的可能影响本文所述工作的竞争性财务利益或个人关系。

Akshay Thakur | Matthew J. Zahr