用于算子学习的多项式混沌展开方法

《Computer Methods in Applied Mechanics and Engineering》：Polynomial chaos expansion for operator learning

算子学习与多项式混沌展开融合，提出一种基于PCE的通用框架，解决算子近似与不确定性量化问题，适用于纯数据驱动和物理信息驱动场景，通过求解系统方程实现高效计算，数值验证表明其在各类PDE问题中表现优异。

　　

希曼舒·夏尔马（Himanshu Sharma）| 卢卡什·诺瓦克（Luká? Novák）| 迈克尔·希尔德斯（Michael Shields）

美国约翰霍普金斯大学土木与系统工程系，巴尔的摩

摘要

算子学习（Operator Learning, OL）已成为科学机器学习（Scientific Machine Learning, SciML）中一种强大的工具，用于近似无限维函数空间之间的映射。其主要应用之一是学习偏微分方程（Partial Differential Equations, PDEs）的解算子。虽然该领域的许多进展都是由基于深度神经网络的方法推动的，例如深度算子网络（DeepONet）和傅里叶神经算子（FNO），但最近的研究也开始探索传统的机器学习方法用于OL。在这项工作中，我们引入了多项式混沌展开（Polynomial Chaos Expansion, PCE）作为OL方法。PCE已被广泛用于不确定性量化（Uncertainty Quantification, UQ），并在SciML背景下获得了关注。对于OL，我们建立了一个数学框架，使得PCE能够在纯数据驱动和物理信息驱动的环境中近似算子。所提出的框架将学习算子的任务简化为求解PCE系数的方程组。此外，该框架通过简单后处理PCE系数来提供UQ，而无需任何额外的计算成本。我们将所提出的方法应用于多种PDE问题，以展示其能力。数值结果表明，该方法在OL和UQ任务中都表现出色，实现了优异的数值精度和计算效率。

引言

算子学习（OL）已成为科学机器学习（SciML）中的一个重要领域，专注于学习无限维函数空间之间的映射。特别是，OL在近似偏微分方程（PDEs）的解算子方面显示出巨大潜力，能够有效地将初始条件、边界条件、源项和/或参数映射到相应的PDE解。现有的大部分OL工作都集中在基于神经网络（Neural Networks, NN）的方法上，例如深度算子网络（DeepONet）[1]、傅里叶神经算子（FNO）[2]、小波神经算子（WNO）[3]、拉普拉斯神经算子（LNO）[4]、卷积神经算子（CNO）[5]和图神经算子（GNO）[6]等。这些模型及其许多变体在广泛的科学应用中展示了显著潜力。

最近，人们越来越感兴趣于在OL框架内探索传统的机器学习（ML）方法。特别是高斯过程（Gaussian Processes, GPs）和其他基于核的方法在数据稀缺的情况下表现出了强大的性能，而基于NN的方法可能会遇到困难。这些方法提供了可解释的解决方案，并具有内置的不确定性量化功能，以及理论和计算保证[7][8][9]。此外，将传统ML方法集成到神经算子网络中的混合方法也显示出改进的性能。例如，Lowery等人[10]提出了核神经算子（Kernel Neural Operator, KNO），它将可训练的核函数纳入神经算子架构中，与FNO和GNO相比，用更少的参数实现了竞争性的精度。同样，结合了NN的表达能力和GPs的不确定性量化及可解释性的混合GP/NN框架[8]也显示出了改进的性能。这些传统和混合框架为OL提供了有希望的方向，特别是在计算效率、收敛保证、减少的数据和资源需求以及不确定性量化方面。

在这项工作中，我们引入了多项式混沌展开（PCE）用于OL。PCE是不确定性量化（UQ）领域中广泛使用的方法，它使用具有确定性系数的正交多项式的谱展开来近似随机系统的解。正交多项式的选择取决于输入随机变量的概率分布，通常遵循Wiener-Askey方案[11]。或者，对于任意输入分布，可以使用[12]中提出的方法构造多项式。最近，Bahmani等人[13]提出了一种神经混沌方法，其中正交多项式基函数被NN参数化的基函数所替代，完全数据驱动。一旦选择了基函数，就可以使用侵入式方法（如随机Galerkin方法[14]）或非侵入式方法（如随机配置方法[15]）来计算PCE中的确定性系数。非侵入式方法通常分为三种主要类型：插值[16][17]、回归[18]和伪投影方法[19]。然后可以对得到的PCE系数进行后处理，以高效估计各种响应统计量，如相对于输入随机变量的矩和敏感性[20][21][22]。

PCE最近也被用作纯数据驱动环境中的ML方法，与NNs相比表现出竞争性能[23]。此外，PCE还与物理信息神经网络（Physics-Informed Neural Networks, PINNs）[24][25]、降阶模型（Reduced-Order Models, ROMs）[26]、流形学习（Manifold Learning）[27]和其他方法[28]结合，以开发具有不确定性意识的替代模型。在这些混合模型中，主要目标是使用固定的PCE基在随机域中进行UQ。

在SciML中，我们最近提出了物理约束多项式混沌展开（PC²）[29][30]——它通过解决受限最小二乘回归问题将物理约束纳入PCE框架来确定PCE系数——以及流形PCE（m-PCE）[27][31]，它在低维流形上开发数据驱动的PCE，用于高维UQ，并且在复杂PDEs方面与DeepONet相比表现出竞争性能[32]。虽然PC²和m-PCE没有明确作为OL方法提出，但它们为这项研究提供了基础性思路。据我们所知，这是首次正式将PCE确立为OL框架的研究。

在这项工作中，我们提出了使用PCE近似给定PDE解算子的数学公式。所提出的框架在时空域上引入了一个全局正交基，该基不依赖于任何网格或数值离散化方案，与传统的侵入式或非侵入式方法不同。这种公式使得可以直接在时空域中进行学习，并将OL的任务简化为求解PCE系数的方程组。此外，所提出的方法能够在纯数据驱动和物理信息驱动的环境中学习算子。我们的框架在数学上严谨、易于实现且计算效率高。此外，它提供了无需额外计算成本的解析UQ。我们通过将其应用于多种PDE问题来证明所提出方法在OL和UQ任务中的有效性。

方法论

考虑一个一般的算子学习任务，其目标是学习一个算子$G$，该算子将定义在域$D$上的输入函数u映射到定义在域$R$上的输出函数s： 其中$U$和$S$是函数空间（例如，Banach空间或Hilbert空间），x∈D?Rdx$y\in R{d}_y$ 这里，d_x和d_y分别表示输入和输出域的维度。

学习目标是找到一个近似算子$G_{\theta }$，由θ参数化，该算子最小化预测值与

数值结果

在本节中，我们通过考虑四个不同的常微分方程（ODE）和偏微分方程（PDE）问题，展示了PCE和PC²在OL和UQ中的能力。对于所有示例问题，输入函数都是从高斯随机场（GRF）中采样的，该场使用截断的Karhunen-Loève（KL）展开[14]进行离散化。我们使用FEM解生成训练和测试数据，这些解对应于输入函数的不同实现。训练数据仅用于训练PCE，不用于其他目的

结论

在这项工作中，我们提出了一个多项式混沌展开（PCE）框架，用于数据驱动和物理信息驱动环境中的算子学习。在所提出的框架中，算子学习任务简化为求解标准的线性/非线性方程组。此外，该框架在无需额外计算成本的情况下提供了不确定性量化。我们通过求解线性/非线性PDE问题来证明所提出方法在OL和UQ相关任务中的有效性

CRediT作者贡献声明

希曼舒·夏尔马（Himanshu Sharma）：撰写——原始草稿、验证、软件、方法论、调查、形式分析、概念化。卢卡什·诺瓦克（Luká? Novák）：撰写——审阅与编辑、调查、概念化。迈克尔·希尔德斯（Michael Shields）：撰写——审阅与编辑、监督、资源管理、项目协调、资金获取、概念化。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。