用于非线性力学响应预测的分层拉普拉斯卷积神经网络求解器

《Neurocomputing》：Hierarchical Laplacian Convolutional Neural Solver for Nonlinear Mechanical Response Prediction

　　**摘要**
本文提出了一种分层拉普拉斯卷积神经求解器（HL-CNS），这是一种基于物理的神经多网格框架，用于预测非线性力学响应。所提出的方法将多网格V循环的误差校正路径直接嵌入到可学习的神经架构中，同时通过数据自适应的拉普拉斯核来表示底层微分算子。基于残差的神经网络用于模拟解的更新，用学习到的校正方法替代了传统的迭代平滑器。该框架在具有温度依赖性导热性的二维和三维热扩散问题以及三维线性弹性问题和双线性弹塑性问题上进行了评估。在这些基准测试中，HL-CNS在线性和非线性情况下均取得了准确且一致的预测结果，并且与包括ResNet、FCN、U-Net和DeepONet在内的代表性神经架构相比表现良好。在非线性弹塑性问题中，HL-CNS相对于传统的有限元求解器将推理成本降低了几个数量级，因为预测是通过单次固定深度的前向传播获得的，而无需迭代本构更新。这些结果表明，将多网格启发的分层结构和基于残差的校正方法嵌入到神经架构中，为复杂偏微分方程系统的替代建模提供了一种有效且可扩展的方法。所提出的框架特别适用于需要多次查询的场景，如参数分析、不确定性量化以及实时预测，其中固定成本的推理至关重要。

**引言**
求解偏微分方程（PDE）在工程和科学领域的众多物理过程建模中具有重要意义。经典的数值方法，如有限元分析（FEA）和有限差分（FD）方法，长期以来一直是分析和模拟物理系统的强大工具，应用范围从结构力学和热传导到流体动力学和电磁学[1][2][3]。由于其坚实的理论基础、处理复杂几何形状的能力以及经过验证的准确性，FEA在工程界得到了广泛采用。然而，对于大规模问题，特别是高维、非线性或时变系统，重复的FEA计算可能会非常昂贵[4]。这些限制在实时应用（如数字孪生和在线更新）以及重复查询（如蒙特卡洛模拟和设计优化）中尤为重要。因此，通常使用替代建模来降低计算成本。
机器学习（ML）和人工智能（AI）的快速发展促使计算建模范式发生了转变。数据驱动和混合模型作为传统求解器的替代方案或补充正在被探索。其中，基于物理的神经网络（PGNNs）成为一类有前途的模型，旨在利用深度学习的表现能力，并结合物理定律的形式来掺入领域知识[5][6][7]。这些方法试图结合基于物理的模型的可解释性和通用性与数据驱动架构的灵活性。
一般来说，PGNNs可以根据它们如何将物理信息嵌入到学习框架中分为三类。
这类方法通过输入特征工程将物理信息整合进来。例如，模型可以包括材料属性、梯度或解析解作为网络的额外输入通道[8][9]。虽然这可以提高学习效率和稳定性，但通常需要相当的领域专业知识，并且可能在不同物理系统或条件下的泛化能力较差。这种方法不能保证输出预测的物理一致性。其优点是任何现成的NN架构都可以直接使用，并被认为是一种“非侵入式”的物理嵌入方法。
另一种常见的策略是通过损失函数设计直接对网络输出施加物理约束。最著名的例子是物理信息神经网络（PINN）[6]，它使用自动微分将控制PDE的残差纳入损失函数。这种方法的扩展包括无监督物理损失[10]、弱形式损失[11]和变分PINN[12]。这些模型可以在数据有限的情况下运行，并提供理论上的收敛保证。文献表明，PINN根据具体问题可能存在挑战，例如梯度刚性[13]、对边界条件的敏感性以及对高维或刚性问题的适用性较差[14]。PINN通常需要一个明确的控制PDE才能包含残差。
第三类方法是将物理信息直接整合到神经网络架构本身中，通过修改核结构或网络层来模仿物理算子。这包括了FEA-Net[15]这样的模型，它将FEA矩阵-向量乘法解释为卷积算子，以及其多网格扩展MFEA-Net[16]，它将学习到的平滑器集成到几何多网格实现中。类似的架构方法还包括傅里叶神经算子（FNO）[17]，它在傅里叶空间中学习PDE解算子，以及深度算子网络（DeepONet）[18]，它近似无限维函数空间之间的非线性映射。最近的研究在理论和架构上进一步扩展了神经算子模型。例如，已经为FNOs建立了通用逼近和误差估计[19]，而几何感知的FNO变体则引入了学习到的变形以处理一般几何形状上的PDE[20]。神经算子变换器（NOT）[21][22]进一步提高了算子学习对于不规则网格、多输入函数、多尺度响应和任意几何形状的灵活性。尽管有这些进展，许多神经算子模型仍然主要依赖于全局数据驱动的算子逼近。因此，仍需要一个平衡物理嵌入和可学习组件的统一框架，以适应工程应用。
基于上述简要回顾，基于物理的神经求解器仍面临几个关键挑战。首先，许多现有工作适用于简化的二维线性情况[23][24]。将这些方法扩展到非线性三维问题是向前迈出的重要一步。其次，在某些应用中，控制方程或本构关系可能是隐式的，只有成对的输入-输出数据可用。例如，专有软件的黑盒计算模拟不会揭示底层方程。直接的实验观察可能具有未知的本构函数。第三，高维非线性三维FEA通常通过迭代求解器解决，重复调用非常昂贵。一个基于ML的非迭代求解器将有助于降低计算成本。
为了解决基于物理的架构设计框架中的这些挑战，开发了一种分层拉普拉斯卷积神经求解器（HL-CNS），作为从成对的源-解数据高效预测非线性响应的神经多网格求解器。HL-CNS将分层拉普拉斯卷积嵌入到一个多层架构中，该架构明确遵循经典多网格方法的V循环路径，同时通过一个可学习的拉普拉斯核来表示离散系统矩阵。在这个层次结构中，残差更新由非线性校正网络执行，求解器可以在推理时作为单次固定深度的V循环进行评估。本工作的主要贡献包括：
1. 一种将完整V循环作为固定深度推理算子嵌入的神经多网格架构。
2. 一种可学习的拉普拉斯核，它可以隐式表示非线性微分算子，而无需显式的本构建模。
3. 一种基于残差的校正机制，用学习到的更新替换了传统的迭代平滑器。
4. 在高维非线性问题（包括三维弹性和弹塑性问题）上展示了强大的性能。

**方法论**
本节首先回顾了启发本文工作的FEA-Net[15]和MFEA-Net[16]的基础概念，然后详细讨论了用于非线性PDE求解的分层拉普拉斯卷积的设计。

**架构概述**
HL-CNS使用修改后的多网格V循环在层次的网格上执行解的更新。每个网格级别的解都通过可学习的拉普拉斯核进行初始化和细化，三个可学习网络在每个级别内共享。在一个V循环中，HL-CNS首先构建一个数据依赖的拉普拉斯核来评估残差，然后使用松弛和校正网络预测每个网格级别的一步更新，最后传播残差。

**数值研究**
本节展示了几个案例研究来评估所提出的HL-CNS。研究了二维热传导、三维热传导和三维弹塑性问题，每种情况都包括线性和非线性设置。在这些数据集中学习的经典神经架构被用作基准模型进行比较。需要注意的是，数值研究用于演示所提出的HL-CNS的概念，仅使用了单位正方形/立方体。对于复杂几何形状的应用，需要进一步的研究。

**讨论**
基于第4节中呈现的数值研究，本节讨论了HL-CNS在线性弹性和双线性弹塑性问题中的行为。线性情况用于阐明HL-CNS与迭代求解器（包括FEA-Net和MFEA-Net）之间的方法学差异。然后讨论非线性情况，以进一步突出所提出求解器的优势及其当前的局限性。

**结论**
本文提出了一种分层拉普拉斯卷积神经求解器（HL-CNS），作为从成对的源-解数据预测非线性力学响应的神经多网格框架。HL-CNS将一个可学习的拉普拉斯核和基于残差的更新网络嵌入到V循环层次结构中，使得每次前向传递都遵循经典多网格求解器的误差校正路径。HL-CNS通过多网格更新方案在架构层面结合了物理知识。

**作者贡献声明**
Yongming Liu：撰写 – 审查与编辑、监督、软件、调查、形式分析、概念化。
Xuandong Lu：撰写 – 审查与编辑、原始草稿撰写、可视化、软件、资源、调查、形式分析、概念化。

**利益冲突声明**
作者声明他们没有已知的会影响本文所述工作的财务利益或个人关系。

**致谢**
本研究部分得到了美国国家科学基金会（奖项编号：2331781）和亚利桑那州立大学的资助。对此表示衷心的感谢。

**冲突声明**
作者声明没有利益冲突。

Xuandong Lu于2023年在中国长沙的中南大学获得了土木工程硕士学位。他目前是美国亚利桑那州立大学坦佩分校的博士生。他的研究兴趣包括高维动力学建模、基于物理的结构响应预测、不确定性 quantification 和传播、结构健康监测和损伤识别。

Xuandong Lu
Yongming Liu
物质、传输与能源工程学院
亚利桑那州立大学
坦佩，AZ 85281，美国