NSPOD：通过近似POD加速基于Krylov的迭代线性求解器的收敛

《COMPUTER METHODS IN APPLIED MECHANICS AND ENGINEERING》：NSPOD: Accelerating the convergence of Krylov-based iterative linear solvers via approximated PODs

　　

摘要

应用于参数化偏微分方程（PDE）的基于Krylov空间的线性迭代求解器的收敛性通常对求解域、其离散化方式、施加的Dirichlet/Neumann边界条件的位置/取值、体力以及材料属性等因素高度敏感。我们之前已介绍了经典线性迭代求解器与针对特定几何形状设计的神经常微分算子的混合方法，但它们在训练期间未曾见过的几何形状上往往表现不佳（Zhang等人，2024年）。我们通过引入深度算子网络Geo-DeepONet并将其与基于Krylov空间的迭代线性求解器混合，部分解决了这一挑战（Lee等人，2025a）。该方法尽管能够在任意非结构网格上有效学习而无需重新训练，但与最先进的预条件子相比，仅在迭代次数方面实现了适度的减少。在本研究中，我们提出了神经子空间本征正交分解（NSPOD），这是一种类多重网格的深度算子网络预条件子，能够在复杂曲面域上减少基于Krylov空间的线性迭代求解器达到收敛所需的迭代次数，其表现与最先进的代数多重网格预条件子相当，并显著优于其他广泛使用的标准预条件子（如Jacobi或SOR），在迭代次数和计算时间两方面均有明显提升。我们期望本研究的成果能够推动更高效混合预条件子的发展，以补充当前固体力学PDE三维问题中黄金标准预条件方法的收敛特性。我们通过将线性化固体力学PDE应用于从复杂CAD几何形状获取的非结构域的数值实验，验证了其效率。我们期望本研究的成果能够推动更高效混合预条件子的发展，使其在与固体力学PDE结合时，能够匹配甚至可能超越当前黄金标准预条件方法的收敛特性。

引言

参数化椭圆型偏微分方程（PDE）的数值解在实际工程应用中至关重要。这些解通过对相应的PDE施加适当的数值方法来获得，最常用的数值方法是有限元法（FEM），然后求解一个可能非常庞大的线性方程组[1]，[2]。根据所考虑域的大小和复杂程度，节点数（n_node）可能达到数百万量级。对于此类大规模问题，直接求解方法不可行，因为它们不具备良好的可扩展性[3]。基于Krylov空间的高效替代方法是适用于大型稀疏线性系统的[4]，[5]，例如共轭梯度法（CG）。然而，这些方法的收敛性高度依赖于线性系统矩阵的条件数[4]，而条件数同时又取决于域的离散化方式。具有小而复杂几何特征的域往往在离散化中产生大的梯度，从而导致大的条件数[6]。

一种广泛使用的改善Krylov方法收敛性的方案是采用预条件策略[4]，[5]。有许多流行的预条件子，从相对简单的Jacobi、Gauss-Seidel、不完全LU分解（ILU）或逐次超松弛（SOR）[4]，[7]，[8]，到更复杂的基于区域分解[9]或多重网格（MG）技术[10]的方法。当没有几何信息可用时，通常采用ILU或SOR等相对简单的预条件子。另一方面，当有几何信息可用时，通常采用区域分解方法或MG方法。对于源自PDE的线性系统，MG方法因其可扩展性和良好的计算复杂度而尤其值得关注。MG方法基于在较小的子空间上求解底层PDE，例如从相同几何形状生成的更粗网格，然后利用该解来改进来自更细网格的解的近似。最先进的MG预条件子也能显著改善收敛性，远超标准预条件子的表现[11]。MG方法可以在子空间修正方法的框架下理解[12]，该方法包含两个主要算法组件：传递算子和子空间求解器。这些组件依赖于具体问题，并显著影响所产生迭代方法的适用性和收敛特性[3]。此外，用本征正交分解（POD）增强经典Krylov子空间方法已被证明非常有效，特别是通过POD增强共轭梯度法等回收方法[13]，这与本文提出的神经驱动子空间投影框架具有明显的概念协同性。

在过去几年中，机器学习（ML）方法被用于直接求解底层PDE，完全绕过了对上述FEM等标准数值方法的需求。解决PDE最流行的基于ML的方法包括物理信息神经网络（PINNs）[14]，[15]，[16]和神经常微分算子（NO）[17]，[18]，[19]。PINNs通过训练来最小化PDE残差、边界/初始条件以及观测数据的均方误差。NOs学习算子，即函数空间之间的映射，因此它们学习参数化输入函数与相应输出函数（即PDE的解）之间的映射。NO的一个重要优势是它们的可复用性；它们可用于先前未见过的域位置上的解推断，而无需额外的训练工作。

最近的一种策略是将经典迭代线性求解器与预训练的NO混合，通过使用混合预条件子[20]，[21]，[22]，[23]来实现。这种混合背后的理念是：让经典迭代求解器消除高频模态[4]，而NO则由于其频谱偏差消除低频模态[24]。这些混合预条件子在结构域中改进了经典迭代求解器的收敛性，优于使用标准预条件子的情况[3]，[21]，[25]。这些混合预条件策略的一个主要缺点是它们被限制在训练对应NO的同一域上，意味着几何可迁移性仍然是一个未解决的问题。此外，即使在结构域中收敛性优于标准预条件子，当使用复杂非结构域时效果并不明确。另外，已建立了几个基础框架来系统地利用人工智能增强迭代线性求解器，例如利用元多重网格网络处理参数化系统[26]，以及开发面向大规模工程问题的AI辅助迭代流水线[27]。

在本研究中，我们提出了具有神经预条件子的混合迭代求解器，用于在非结构域上求解参数化PDE。我们使用深度算子网络（DeepONet）作为我们的NO，因为它在非结构域上的表现优于其他NO架构[19]，[28]。我们在修改后的DeepONet分支和干网络中引入了PointTransformer[29]层：分支网络基于语义分割变体PointTransformer网络的编码器部分，而干网络由多个堆叠的PointTransformer块组成[29]。PointTransformer是一种强大的架构，将传统Transformer适配到点云数据；它们能够捕获三维空间中点之间的长距离依赖关系。最后，在分支子网络的末端，我们还加入了一个定制的挤压-激励网络，产生缩放的输出作为注意力机制[21]，[30]，[31]。通过组合所有这些组件，我们构建了PTFONet。我们在多个CAD几何形状上训练这些PTFONet，如果想要实现一定程度的几何可迁移性，则需要在多个几何形状上训练。然后我们使用这些训练好的网络进行解推断，并基于POD构建预条件子，类似于[27]中的POD-2G预条件子；我们将这种混合预条件子称为神经子空间本征正交分解（NSPOD）。该方法概述如图1所示。所得预条件子的性能及其几何可迁移性的评估通过一系列数值实验展示。

本文的组织如下：在第2节中，我们描述所研究的问题并回顾应用于椭圆系统的FEM；在第3.1节中，我们介绍将预训练的PTFONet与基于Krylov空间的线性迭代求解器相结合的混合预条件框架；在第3.2节中，详细描述新开发的DeepONet版本的数学框架；在第3.3节网络架构和第3.4节训练方法中，分别描述所使用的网络架构框架以及如何训练网络；在第3.5节中，我们描述新开发的混合预条件子NSPOD；在第4.4节中，我们描述所开发混合预条件子在离线和在线阶段的计算成本。最后，在第4节中，我们通过数值实验展示所提出的混合预条件子策略的数值性能。讨论、结论、局限性和未来工作在第5节中讨论。

模型问题

在本手稿中，我们聚焦于准静态固体力学中线性化方程的研究。一个物体占据有界区域Ω??R^ndim，边界为?Ω?，不一定单连通或凸；ndim为所考虑的空间维度数。该物体在?Ω?N上受表面牵引力（即Neumann边界条件）作用，在?Ω?D上受规定位移（即Dirichlet边界条件）作用，使得?Ω?=?Ω?N∪?Ω?D且?Ω?N∩?Ω?D=?。通过考虑一个

方法

为了解决得到的线性方程组（公式（6）），可以采用各种预条件迭代求解器，其中基于Krylov空间的求解器使用最为广泛[4]，[9]，[32]，尤其是当线性系统规模较大时。定义预条件子通常是一项具有挑战性的任务。混合预条件子[3]，[23]可以通过以不同方式利用近似推断解来帮助简化这一任务，例如通过构建投影算子的基来

结果

在本节中，我们描述一系列数值实验并报告其结果。在第4.1节中，我们展示了当相关PTFONet在单一几何形状上训练时，NSPOD预条件子对基于Krylov空间的迭代线性求解器的性能。在第4.2节中，我们评估当相关PTFONet在多个几何形状上训练时，NSPOD预条件子对基于Krylov空间的迭代线性求解器的性能。在第4.3节中，我们展示了一项消融研究，比较了性能

讨论与结论

在本文中，我们提出了PTFONet和NSPOD。PTFONet是一种基于PointTransformer的DeepONet架构，能够有效预测复杂CAD几何形状上线性化固体力学的位移。NSPOD是一种用于基于Krylov空间的线性迭代求解器的混合预条件子，它使用PTFONet来生成多重网格V1,1结构的延拓算子。我们设计了一系列涉及真实CAD几何形状的数值实验，使得能够比较NSPOD的性能

CRediT作者贡献声明

Francesc Levrero-Florencio：写作——审阅与编辑，写作——初稿撰写，软件，方法论，概念化。Youngkyu Lee：写作——审阅与编辑，写作——初稿撰写，软件，方法论，概念化。Jay Pathak：写作——审阅与编辑，写作——初稿撰写，概念化。George Em Karniadakis：写作——审阅与编辑，写作——初稿撰写，方法论，概念化。

利益冲突声明

作者声明他们不存在可能影响本文所报道工作的已知竞争性经济利益或个人关系。

Francesc Levrero-Florencio | Youngkyu Lee | Jay Pathak | George Em Karniadakis