列式RandONets：面向参数化偏微分方程的方向结构化随机投影算子学习

《Communications in Nonlinear Science and Numerical Simulation》：Column-RandONets: Direction-structured random projection operator learning for parametric partial differential equations

　　

# 摘要

基于随机投影的算子网络（RandONets）已表明，具有固定随机嵌入和闭式最小二乘训练的浅层算子学习器能够以快速且精确的方式近似一维的线性及非线性算子。然而，将其直接推广到二维参数化偏微分方程（PDE）并不能通过简单地倍增输入维度来实现。如果将二维场展平为一个长向量，张量积几何结构、方向相关性和弱耦合的跨方向结构便会在分支表示中相互混杂；与此同时，随机投影的维度随整个网格乘积增长，导致内存和计算量急剧膨胀。在本工作中，我们提出了Column-RandONets，一种面向对齐二维数据的方向结构化随机投影神经算子。该方法逐列学习矩阵场：共享的一维主干网络解析x方向，共享的列分支编码当前列，低维的前向和后向随机上下文状态则总结沿y方向的横向交互。读出矩阵通过正则化最小二乘获得，并支持流式实现。我们证明了该方法在一维极限下与经典RandONets的约化一致性，建立了一类方向可分解二维算子的一致逼近结果，并推导了显式的全局误差界，揭示局部状态误差和列误差如何累积。在Burgers方程、Nagumo方程、Poisson方程、Darcy方程和Navier-Stokes方程问题上的数值实验表明，Column-RandONets能够实现极快的闭式训练，同时在多个扩散和椭圆基准测试上取得较好的精度。然而，其预测性能具有问题依赖性，在竞争力较弱的Navier-Stokes结果揭示了当前方向记忆表示的局限性。

# 引言

偏微分方程（PDE）是描述科学和工程中输运、扩散、波动传播、多孔介质流动、反应动力学、热-机械耦合以及广泛的多尺度现象的主要数学模型[1]，[2]，[3]，[4]，[5]。然而，在实际应用场景中，材料系数、源项、边界条件、初始状态、几何描述符和控制变量等参数可能在允许范围内动态变化，从而使问题变为一系列参数化PDE。因此，计算任务的核心不是精确求解单个方程，而是能够快速、可靠地反复推导出从输入函数或参数变化到对应解场的映射关系。这在不确定性量化、设计优化、逆向分析、数字孪生技术、实时控制和在线预测等领域具有重要的应用价值[6]，[7]，[8]，[9]，[10]，[11]。经典数值求解器，包括有限差分法[12]、有限元法[13]和有限体积法[14]，仍然是PDE数值处理的标准工具。它们的数学基础已经确立，并继续在广泛的应用中提供高保真解[15]，[16]，[17]，[18]，[19]，[20]，[21]。然而，它们的计算成本本质上与网格分辨率、域复杂度和需要探索的参数实例数量相关联。

近年来，科学机器学习作为实现这一目标的一个有前景的途径而兴起。在现有的范式中，算子学习[22]，[23]，[24]，[25]，[26]尤其具有吸引力，因为它旨在直接学习函数空间之间的映射，而不是逐次逼近单个离散解。换言之，神经算子不是学习固定网格上的孤立输入-输出对，而是试图表示底层的解算子本身。一旦这样的映射被学习，就可以通过一次前向传播为先前未见过的参数实例推断新的解场，并且在不同样本和离散化之间可能具有较好的迁移能力。与神经网络的功能逼近理论类似，神经算子基于文献[27]中建立的功能逼近定理。这种以算子为中心的研究视角已将神经算子确立为逼近论、数值分析和现代机器学习之间强有力的理论桥梁。

该领域的一个基础性模型是DeepONet，它引入了由分支网络和主干网络组成的双流架构：分支网络编码输入函数，主干网络表示输出的查询位置，二者的交互产生算子响应[28]，[29]。该架构为算子学习建立了一条实用途径，后来被扩展为物理信息DeepONet（PINO），其中将控制方程嵌入训练目标函数中，从而即使在缺乏配对输入-输出标签的情况下也能学习参数化PDE的解算子[30]。进一步的改进，如增强型DeepONet（Enriched DeepONet），也被提出以更好地捕捉移动解算子并提高逼近精度[31]。另一条重要的工作路线通过核积分来构建算子学习。在此语境下，图神经算子（GNO）通过非线性激活和积分算子的组合来逼近无穷维映射，其中核积分通过图上的消息传递来实现[32]。这种设计使得在不规则离散化和非欧几里得域上的算子学习成为可能。然而，随着图架构深度的增加，稳定性和效率可能成为重要的关切。在更新的研究中，Li等人开发了另一种称为傅里叶神经算子（FNO）的算子学习框架[33]，该框架在傅里叶空间中对积分核进行参数化，并利用快速傅里叶变换（FFT）高效地建模全局交互[34]，[35]，[36]。逼近分析表明FNO可以表示广泛类别的连续算子，进一步巩固了其理论基础[37]。在此基础上，开发了多个变体，包括面向任意几何的Geo-FNO[38]、面向球面的Spherical FNO[39]、面向更深且参数效率更高的架构的分解式FNO（F-FNO）[40]，以及面向对称性感知的建模的Group-FNO[41]。然而，傅里叶基函数具有全局支撑和频率局部化特性，而空间局部性较弱，这限制了FNO的应用[30]。为解决这一问题，小波神经算子（WNO）[42]，[43]，[44]用小波分解替代傅里叶表示，实现了空间和频率的同时局部化[45]，[46]。通过将输入分解为多分辨率成分，WNO可以更有效地捕捉局部的多尺度特征。这些方法的成功也揭示了一个更深层的观点：算子学习中的性能不仅取决于通用逼近能力，还取决于架构与所考虑PDE族的几何和代数结构的匹配程度。尽管神经算子已取得显著进展，但在大规模多参数PDE方面仍存在一些不足，例如高训练成本、复杂的频域建模，以及容易忽略解的方向性、各向异性和张量结构，从而降低表示效率和物理结构保真度。

RandONets为算子学习提供了一个不同且极具吸引力的视角[47]。Fabiani等人提出了RandONets作为浅层算子网络，用两个要素替代沉重的基于梯度的训练：固定随机嵌入和用于读出矩阵的线性最小二乘求解。其公式继承了算子学习的分支-主干分解，但用随机投影替代了深层可训练的特征提取器。对于对齐数据，所得的学习问题变为双线性系统，其读出矩阵可以通过主干和分支特征矩阵的正则化伪逆获得。其影响是显著的：该方法无需梯度迭代即可训练，在使用CORD/SVD/Tikhonov正则化实现时表现出优异的数值稳定性，并且在报告的一维PDE基准测试中，通常比常规DeepONet快几个数量级且更为精确，尤其是当数据对齐且目标算子接近线性时。然而，RandONets在一维空间中的成功并不意味着朴素的二维推广是令人满意的。本文所动机的问题恰恰在于这一差距。在原始设定中，输入函数在一维网格上采样，分支接收由此产生的向量，主干接收一维输出坐标。如果我们尝试通过简单地将矩阵场展平为单个长向量来对二维PDE使用相同机制，我们得到的是一个形式上有效但结构上较差的架构。问题不仅仅是输入长度翻倍，或者更准确地说从n增长到nx·ny。更重要的是，展平破坏了离散化场的组织结构。

展平的第一个缺陷是几何方面的。二维结构化网格不仅仅是一组数字，它是一个具有有意义方向的张量积排列。沿x方向和y方向的邻域关系代表不同的物理耦合。一旦场被展平，这些耦合便合并为任意的线性顺序。分支随后接收与物理方向相混合的坐标。因此，学习器被迫在无结构的向量表示中重新发现离散化已经知道的信息：哪些变量属于同一列、哪些交互是横向的，以及哪些模式与坐标轴对齐。这正是设计科学算子学习器时应该避免的无谓的表示负担。

第二个缺陷是代数和计算方面的。在RandONets中，分支嵌入维度是计算成本的主要来源，因为分支特征矩阵通常比主干矩阵更宽更大。当分支输入维度变为nx·ny时，随机投影或随机傅里叶特征映射所需的存储量也相应增长。这在二维PDE中尤为 problematic，因为即使对于标准基准测试，nx和ny都已经是相当大的值。RandONets在一维中吸引人的不仅是其理论优雅，更是其轻量特性。展平后拟合的二维适配恰恰侵蚀了这一优势。

第三个缺陷是物理方面的。许多二维PDE表现出明显的方向组织。这在交替方向隐式方法、算子分裂、分层输运、各向异性扩散、弱耦合张量结构中以及具有优先取向相干模式的时变流中都存在。近期的神经算子研究独立地证实了结构保持的重要性。D-FNO通过将高维潜张量分解为二维张量积来降低多维FFT的成本，从而用一组一维操作替代多维谱操作[48]。ICNO从另一个角度论证，当局部结构否则会被丢失时，显式的跨频率和空间-谱耦合是必要的[49]。避免展平二维场并非Column-RandONets独有。卷积神经算子通过卷积表示保持局部和多尺度结构[50]。相比之下，Column-RandONets使用独立的前向和后向上下文状态来显式区分来自两个横向方向的信息，这对于各向异性或分层问题更具可解释性。基于视觉Transformer的算子模型通过网格或补丁嵌入和注意力保持空间结构[51]。Column-RandONets则使用紧凑的固定随机状态递推，避免了深层token到token交互的训练。Galerkin Transformer利用线性化注意力来表示全局交互[52]，而本方法通过低维方向状态压缩跨列依赖关系，实现了闭式和流式最小二乘训练。RaNN-DeepONet也结合了随机隐藏特征和最小二乘训练[53]。然而，Column-RandONets进一步引入了共享的一维主干和显式的双向列上下文。因此，其区别并不在于避免展平本身，而在于将可解释的方向记忆、固定随机特征和代数流式训练相结合以用于对齐的二维PDE数据。

这一观察动机了本工作。我们开发了一种RandONets的二维扩展（称为Column-RandONets），在保留其定义性优势——固定随机特征、闭式训练、浅层架构和数值透明性的同时，避免展平造成的结构损害。该提案的概念很简单：不要用一个全局分支一次性学习整个矩阵场，而是逐列学习。让第一个空间方向继续表示为一维函数，由共享的主干解析。让第二个空间方向由作用于每一列的共享分支和关于前后列信息的紧凑描述来处理。这样，网络尊重了矩阵结构而不是丢弃它。Fabiani等人[54]的近期工作提供了另一个相关视角，他们在无方程框架下开发了局部时间、局部空间和时空补丁神经算子。这种局部算子策略和Column-RandONets都利用结构化局部性来避免通过单个全字段映射表示复杂的空间动力学。然而，它们的机制和目标不同。局部和补丁型RandONets在受限的空间或时空区域上学习解算子，并与无方程多尺度和系统级分析相结合，而Column-RandONets则保留有序的全局列表示，并将横向交互压缩为低维前向和后向上下文状态。

前者特别适用于分块多尺度计算以及稳定性或分岔分析，而后者强调方向性可解释性、对齐的二维PDE数据以及闭式流式最小二乘训练。因此，这两种方法是互补的：基于分块的局部化方法在强局部化或多尺度动力学中提供了灵活性，而本文提出的列式公式对于各向异性、分层或具有方向组织的问题尤为自然。

核心挑战在于使列式思想在数学上保持一致性。纯粹的从左到右的因果扫描对于许多椭圆型问题和弱非局部问题是不合适的，因为某列的解取决于两侧的信息。因此，我们引入了一种双向上下文机制。这一设计在概念上受到储备池计算的启发，其中固定的随机循环状态编码上下文信息，而只有读出层被训练[55]。在当前设置中，这一原则从时间序列转移到了空间列序列，利用正向和反向随机状态总结两个横向方向的信息。具体来说，正向随机状态总结从第1列到第j-1列累积的信息，而反向随机状态总结从第j+1列到ny列累积的信息。当前输出列从当前输入列、列坐标和两个上下文状态进行重构。分支在所有列之间共享，而主干保持一维并共享于x网格。由此产生的架构扩展了RandONets的分支-主干图景，但以兼容矩阵值数据和方向结构的方式实现；见图1。

此类方法仅当其具有超越直觉理由的论证时才是有用的。因此，本文并非仅仅将列式架构作为工程启发式方法来呈现。它引入了一个精确的二维算子类，对于该类算子，该架构是自然的：方向可分解算子。这些算子的第j个输出列可以由当前输入列以及有限维的正向和反向上下文记忆来表示。关键点不在于声称每个二维算子都具有这种结构。关键在于识别一个广泛且具有实际相关性的算子类，对于该类算子，可以严格分析并高效实现一种保持结构的浅层随机网络。

总之，本工作的主要贡献总结如下：

(1) 我们提出了Column-RandONets，一种针对对齐二维PDE数据的方向结构化随机投影神经算子。该架构保留了RandONets的一维主干，用共享的列分支替代了单一展平的分支，并在横向方向引入了双向随机上下文状态。

(2) 我们推导了完全代数的训练过程。与经典RandONets一样，读出矩阵通过正则化最小二乘法获得；此外，列式结构产生了流式实现，仅累积Gram型充分统计量，而不是一次性累积所有列特征。

(3) 我们提供了详细的理论发展。我们证明了在ny=1极限下与原有一维RandONets的归约一致性，建立了方向可分解二维算子的均匀逼近结果，并推导了显式的全局误差界，量化了局部状态逼近误差和列逼近误差如何沿扫描方向传播。

(4) 我们在Burgers方程、Nagumo方程、Poisson方程、Darcy方程和Navier-Stokes方程上评估了Column-RandONets。结果表明，在多个基准测试中训练速度极快且精度良好，而竞争力较弱的Navier-Stokes结果则表明方向记忆表示的有效性取决于问题。

本文其余部分组织如下。第2节正式化了二维算子学习问题，并回顾了与本工作最相关的神经算子背景。第3节介绍了Column-RandONets，推导了闭式和流式训练公式，发展了逼近理论，并提出了实用算法。第4节报告了任务提供的数值实例，并对实现方案和观察到的误差/时间曲线的含义进行了详细讨论。第5节总结了论文，并概述了最自然的扩展方向，包括行-列交替、自适应扫描顺序和非矩形推广。

**问题设定**

设Ω=Ωx×Ωy??2为有界矩形计算域，其中Ωx=[ax, bx]，Ωy=[ay, by]。我们考虑一般形式的参数化PDE族：

??(u; a, μ) = 0，在Ω内；?(u; a, μ) = 0，在?Ω上

其中u: Ω→???是解场，a: Ω→???是编码系数、源项、初始条件、边界条件或其他问题定义数据的输入场，μ∈??μ表示额外的有限维参数。在时间依赖设置中，u还依赖于t∈[0, T]，但算子学习...

**设计原则：方向分解而非展平**

本文的核心建模假设是，对于广泛的二维PDE算子类，一个输出列对完整输入场的依赖可以被压缩为有限维的方向记忆。为表述这一思想，设??x???(Ωx)为可容许列函数的紧集，Y?Ωy为横向坐标集合。为简化符号，我们记uj和vj分别为第j个输入列和输出列。目标算子为...

**数值实验**

本节评估了Column-RandONets在多个一维和二维算子学习基准上的性能。对于每个问题，我们描述了控制PDE、学习的算子、参考数据的生成方式，以及精度、误差分布和计算成本的数值结果。

除非另有说明，每个数据集包含1000对输入-输出样本，其中800个样本用于训练，200个用于测试。训练-测试划分采用...

**结论**

本工作讨论了基于随机投影的算子学习能否从一维参数化PDE扩展到真正的二维设置，而不牺牲原有RandONets框架的主要优势。我们的结果表明，这种扩展是可行的，前提是离散场的结构在整个学习流程中得以保持。因此，主要困难不仅仅是输入维度的增加，而是方向...

**代码和数据可用性**

完整的MATLAB实现和复现脚本将在本文正式发表后公开于https://github.com/RuiboZhangping。

**未引用浮动图表**
图13

**CRediT作者贡献声明**
Ruibo Zhang：撰写–审阅与编辑、撰写–初稿、可视化、软件、方法论、调查、概念化。Fengjun Li：撰写–审阅与编辑、可视化、监督、方法论、调查。Xu Wang：撰写–审阅与编辑、可视化、监督、方法论、调查。

**利益冲突声明**
作者声明他们不存在可能影响本文所述工作的已知竞争性经济利益或个人关系。

Ruibo Zhang | Fengjun Li | Xu Wang
宁夏大学数学与统计学院，宁夏银川，750021，中国