DyMixOp：一种基于复杂动力学视角设计、具有局部 - 全局混合的用于求解偏微分方程的神经算子

《Journal of Computational Physics》：DyMixOp: A Neural Operator Designed from a Complex Dynamics Perspective with Local-Global Mixing for Solving PDEs

　　

本工作提出了DyMixOp，这是一种新颖的神经算子，基于惯性流形理论和复杂动力学先验知识，能够将无限维PDE动力学有效缩减为有限维潜在空间，同时保留必要的非线性相互作用并增强物理可解释性。
本工作提出了局部-全局混合（LGM）变换，其灵感源自更广义的局部-全局调制原则，可由对流型非线性输运（如 $u \cdot \nabla u$）作为典型示例，该变换通过将局部细尺度响应场与全局上下文场进行逐元素乘积融合，以缓解谱偏差并恢复现有神经算子中通常丢失的高频分量。
本工作在六个多样的PDE基准（1维至3维、椭圆型到双曲型）上取得了当前最佳性能，实现了显著误差降低（在混沌系统上最高达94.3%），同时保持计算效率与可扩展性，从而确立了DyMixOp作为数据驱动PDE求解的稳健、通用框架。

引言
偏微分方程（PDEs）是描述混沌行为和揭示动力系统内在机理的数学基石。它们广泛分布于诸多领域，包括气候[1]、[2]、分子动力学[3]、生态建模[4]、脑活动[5]、化学[6]、传热[7]以及湍流[8]。通过求解PDE预测复杂系统的动力学对于科学与工程应用至关重要。为此，研究人员发展了多种数值方法[9]、[10]，包括有限差分法[11]、有限体积法[12]、格子玻尔兹曼法[13]以及有限元法[14]。尽管传统方法能够产生高保真的模拟结果，但当初始条件或方程参数改变而需要频繁重新计算时，其效率会明显下降。例如，在设计初期往往需要进行大量实验以优化设计方案，这大幅提高了计算成本并显著延长了所需时间。当面对初始条件含噪声、被破坏或低保真等实际困难时，仅依靠传统技术很难获得高质量解。此外，这些传统方法也难以应对PDE部分已知甚至完全未知的情况。

近年来，数据驱动方法在各学科中蓬勃发展，神经网络作为克服传统数值方法局限性的有力工具应运而生[15]。神经网络旨在近似输入变量与解场之间的映射，可分为：作为坐标型近似器的方法，其直接将时空坐标映射为解值[16]、[17]；作为代理演化算子的方法，基于历史数据预测未来状态，有效替代传统时间积分[18]、[19]；以及作为辅助组件的方法，用于推断物理参数或修正项以增强经典求解器[20]、[21]、[22]、[23]。然而，迅速扩张的网络架构家族（例如CNNs、Transformers、UNets）往往掩盖了其背后起作用的根本数学运算。为此，我们基于积分变换的统一视角重新审视这些方法。我们不关注网络拓扑结构，而是依据其积分算子的作用域进行分类——具体而言，即判断变换作用于整个输入域，还是仅限于局部邻域。

单个神经网络层或块的一般变换可定义为如下形式的积分算子：
$$ (G_\theta v)(x) = \int_{D_\tau} g_\theta(x,\tau)\,v(\tau)\,d\tau,\quad x \in D_x $$
其中 $G_\theta: \mathcal{F}(D_\tau, \mathbb{R}^{d_u}) \to \mathcal{F}(D_x, \mathbb{R}^{d_v})$ 表示由参数 $\theta \in \Theta$ 参数化的变换，$g_\theta: D_x \times D_\tau \to \mathbb{R}^{d_u \times d_v}$ 表示可学习的积分核。这里 $D_\tau$ 和 $D_x$ 是 $\mathbb{R}^d$ 中的有界域（$d \in \mathbb{Z}_+$ 表示空间维数），分别代表输入和输出物理域。设 $E_\tau \subset \mathbb{R}^d$ 表示整个物理域，$P_\tau \subset E_\tau$ 表示部分局部域（真子集）。分类由积分域 $D_\tau$ 决定。当 $D_\tau = E_\tau$ 时为全局变换，意味着 $x$ 处的输出依赖于全局输入状态；当 $D_\tau = P_\tau$（通常是 $x$ 周围的邻域）时为局部变换，意味着输出仅依赖于局部特征。为描述复合交互作用，我们定义变换之间的交互机制——相加与混合，其中混合指两个变换的逐元素乘积（Hadamard积）：
$$ (G_\theta^{\text{mix}} v)(x) = \left( \int_{D_\tau} g_\theta(x,\tau) v(\tau)\,d\tau \right) \odot \left( \int_{\bar{D}_\tau} \bar{g}_\theta(x,\tau) v(\tau)\,d\tau \right),\quad x \in D_x $$
而相加指两个变换的逐元素求和：
$$ (G_\theta^{\text{add}} v)(x) = \int_{D_\tau} g_\theta(x,\tau) v(\tau)\,d\tau + \int_{\bar{D}_\tau} \bar{g}_\theta(x,\tau) v(\tau)\,d\tau,\quad x \in D_x $$
其中 $\bar{g}_\theta$ 和 $\bar{D}_\tau$ 表示与 $g_\theta$ 和 $D_\tau$ 不同的核与域。例如，在LGA变换中，一个域是局部（$P_\tau$），另一个是全局（$E_\tau$）。

将神经网络用于求解常微分方程（ODEs）和偏微分方程（PDEs）已有约二十年的历史。20世纪90年代，Psichogios等人[24]使用浅层全连接神经网络（FCNN），结合ODE各项的一性原理建模，来估计不可测的过程参数。随后，Lagaris等人[25]训练了一个浅层FCNN以满足微分方程，相对于传统数值技术开创了新方法。随着深度学习的复兴[26]，Raissi等人[17]使用现代深度学习技术拓展了这些想法，提出了物理信息神经网络（PINNs），用于求解复杂PDE的前向与逆向问题。该工作展示了神经网络在PDE问题求解中的显著潜力，并将神经网络置于科学计算社区的中心位置[27]、[28]、[29]。然而，由于FCNN的点式连接结构，将其应用于高维输入（源自计算域的离散化）会导致参数数量庞大。为保持计算可行性，上述研究每次仅限制输入为少量点，并将点的数量视为批量大小。因此，作为经典架构，这些FCNN实例属于局部变换范畴。

为解决图像型输入的维度灾难，卷积神经网络（CNNs）应运而生。CNNs利用卷积核，通过聚合邻域信息并在整个输入域上共享参数来提取局部结构。由于图像输入可以表示PDE的离散解，许多研究采用CNN近似演化算子[30]、[31]、[32]。为求解PDE问题，还发展出各种卷积架构，包括用于二维湍流的生成对抗网络[33]、[34]，以及用于三维湍流的自编码器[35]。显然，这些卷积架构可归为局部变换。考虑到残差连接在深层网络中的有效性[36]，大多数架构都引入了相加机制以进一步提升性能[37]。因此，现代以局部变换为特征的架构几乎都落在局部-局部相加（LLA）变换上。然而，随着深度学习的快速演进，更多复杂架构涌现，它们探索了卷积变换之间的交互机制。这些方法旨在获得局部-局部混合（LLM）变换，以取得更强大的非线性表示能力。例如，Shi等人将卷积层与长短期记忆网络（LSTM）结合用于降水临近预报问题，其中细胞状态和潜在状态通过逐元素乘积更新[38]。Long等人将传统数值格式与LLM变换整合，以近似高阶微分算子[39]。类似地，Rao等人开发了一个编码物理定律与传统数值格式的框架，其中PDE中的非线性项通过LLM变换来近似[40]。尽管如此，纯卷积变换严重依赖网格离散化，实际上仅作为特定网格核函数的近似器。因此，网格分辨率或几何形状的改变通常会导致性能显著下降，往往难以达到可接受的精度。

为克服卷积架构固有的网格依赖性，研究聚焦于神经算子的发展。其基本目标是近似一个在任意空间坐标下全局一致的核函数 $g$，从而学习无限维函数空间之间的映射，而非有限维欧几里得向量之间的映射。神经算子实现了该目标的两条主要路线如下。第一条是设计使核离散与底层网格解耦的网络，如基于点云的MLP或单尺寸核卷积。第二条更为稳健，在辅助潜在空间（如谱/频率域）中近似核函数。作为开创性实现，Li等人提出了图神经算子（GNO）[41]、[42]。GNO将核参数化为连续函数（通常为MLP），并将算子表述为图结构上的Nystr?m离散积分。通过在对图的相对坐标上评估核，GNO在理论上实现了离散化不变性。为高效获得全局感受野，后续研究转向谱方法。在谱域中，复杂的全局卷积被转化为逐点乘法，利用了谱模式可为算子本征函数提供紧凑表示的事实[43]。在此基础上，Li等人进一步提出了傅里叶神经算子（FNO）[18]，用傅里叶积分层替代基于图的消息传递。通过在频域参数化核并截断高频模式，FNO实现了既计算高效又具有高度泛化性的全局变换，可在多种物理体制中推广[44]。这一谱范式启发了一系列算子，包括小波神经算子[45]、[46]和拉普拉斯神经算子[47]，它们利用不同基函数将核投影至对应的变换空间。尽管全局变换效率高，截断高频模式会加剧神经网络中的谱偏差[48]。诸如FNO及其变体等谱算子架构通常以相加方式将全局谱变换与并行的单尺寸卷积相结合以缓解该问题，因此可归类为局部-全局相加（LGA）变换，其中局部高频特征在局部变换中被部分保留，而全局依赖关系在全局谱变换中得以解析。

尽管上述LGA变换采用了单位尺寸卷积，但更大卷积核的更强局部特征提取能力同样具有吸引力。它们可以聚合邻域信息，从而精确建立细尺度动力学结构之间的相互作用机制。为此，已提出若干方法以实现网格无关的局部变换。Ocampo等人[49]引入离散-连续（DISCO）卷积，输入保持离散而卷积核保持连续，从而在任意离散化下实现可扩展、等变的运算。Raonic等人[50]提出了卷积神经算子（CNO），通过严格执行无混叠约束来保持连续-离散等价（CDE），使标准CNN架构可作为分辨率无关的算子工作。Bartolucci等人[51]建立了表示等价的神经算子（ReNO）的理论框架，以刻画和缓解算子混叠，确保连续算子与其离散实现之间的一致性。Liu-Schiaffini等人将局部化积分与微分核整合进FNO架构[52]，在分辨率之间保持了算子理论一致性。此外，Gao等人[53]识别了多分辨率训练中固有的离散化失配误差（DME），并提出了跨分辨率算子学习管线（CROP），利用带限潜在空间在保持输入分辨率不变性的同时稳健捕捉局部特征。这些架构在保持网格不变性的同时，通过将单位尺寸卷积核扩展为更大或连续核以强化局部变换。

除谱方法外，大语言模型的快速发展将Transformer[54]和Mamba[55]架构引入算子学习领域。从积分变换的视角来看，这些模型自然地体现了LGA变换。这些架构中的标准块将一种全局变换（如自注意力或选择性状态空间）与一种局部变换（如逐点前馈网络）结合起来。这一分类基于这样的观察：自注意力可近似核积分[56]，而Mamba与结构化注意力的理论等价性[57]证实了二者在全局信息聚合上的共同能力。利用这一结构，基于Transformer的框架已从理论适配发展到稳健的几何求解器。Cao首先架起桥梁，将线性注意力表述为Galerkin投影[58]。后续研究聚焦于复杂物理域；例如，Li等人开发了OFormer以预测时空动力学[59]，Hao等人提出GNOT，通过几何门控和专用注意力机制处理多种输入[60]，Wu等人提出Transolver，通过具有物理感知token的低秩分解在一般几何上实现高效[61]。为克服注意力的二次复杂度，近期研究转向基于Mamba的框架，提供线性时间的序列建模。这些方法已成功适配于PDEs，包括DeepOMamba中的时空建模[62]、通过潜空间投影提升效率[63]，以及GeoMaNO扩展至非欧几里得不规则网格[64]。

尽管取得成效，全局变换在捕捉复杂相互作用和细尺度动力学方面仍存在一个关键局限。为降低计算复杂度和减少参数量，这些架构通常依赖维度缩减策略，例如在谱方法中截断高频模式，或在Transformer与Mamba模型中将域划分为较粗的块。这种压缩不可避免地削弱了细尺度信息和非线性耦合。

尽管 LGA 变换试图通过并行的局部路径来补偿这种损失，但简单的线性求和往往不足以重建对于准确建模混沌和多尺度系统至关重要的复杂非线性高频相互作用。因此，现有方法经常产生过度平滑的解，并且难以在多样化的 PDE 情形中保持一致的性能。受这一局限性的启发，我们寻求一种神经算子，它能够在保留细尺度表达能力的同时，在异构物理系统中保持鲁棒性和可扩展性。为此，我们提出了 DyMixOp，这是一种感知动力学的神经算子，旨在统一框架内系统地整合局部和全局相互作用。图 1 提供了 DyMixOp 在七个代表性 PDE 基准上的性能概述，涵盖从一维到三维的范围，包括椭圆型、抛物型和双曲型系统。与针对单一任务进行优化不同，与现有神经算子相比，DyMixOp 在全球连贯性和细尺度保真度之间展现出显著改善的平衡。DyMixOp 背后的物理和动力学原理在以下动机部分中进行了讨论。

章节片段
动机
动力学系统中固有的复杂物理现象长期以来激发了新型神经网络架构的构建，往往取得了更优异的性能。例如，Hopfield 神经网络的设计直接源于磁自旋系统和粒子相互作用的物理学，具体利用了磁力的能量最小化原理 [65]。同样，著名的生成扩散模型基于非平衡统计物理学，

算子逼近
我们首先以通用的算子学习形式陈述学习问题，以便相同的符号涵盖演化基准、椭圆解算子和响应算子任务。设 D?Rd 为一个空间域。目标算子将输入场或条件 a 映射到输出解或响应场 u，G:A(D;Rda)→U(D;Rdu)，其中 A 和 U 分别是输入场和输出场的巴拿赫空间。输入 a 可以表示解状态的历史窗口、系数场、强迫信号，

基准测试
为了展示我们方法在不同空间维度和物理复杂性方面的可扩展性和通用性，我们在七个基准数据集上进行了实验。由于这些基准不仅在维度上不同，而且在算子类型、输入 - 输出协议和主要数值难度上也有所不同，表 1 以可以直接从正文中阅读的形式总结了这套基准。最后一行还记录了补充的高分辨率可压缩 Navier–Stokes 设置

结论
本工作提出了 DyMixOp，一个用于求解偏微分方程（PDEs）的动力学一致神经算子框架，该框架将复杂动力学系统的理论见解与实用的深度学习设计相结合。其核心在于，DyMixOp 基于惯性流形理论，该理论认为耗散 PDE 的长期行为可以通过有限维降阶系统来捕捉。利用这一原则，我们显式构建了一个潜在表示，其中

声明
作者声明不存在利益冲突。

手稿准备过程中生成式人工智能和 AI 辅助技术的声明
在本工作准备期间，作者使用了 Gemini (Google LLC) 和 Qwen (Alibaba Cloud) 以协助语言润色和文本内容组织。在使用这些工具后，作者对生成的输出进行了彻底审查和编辑，确保其科学准确性、连贯性以及原始研究的符合性。作者对发表文章的内容承担全部责任。

CRediT 作者贡献声明
Pengyu Lai：写作 - 审阅与编辑，写作 - 原稿，可视化，验证，软件，方法论，调查，形式化分析，数据管理，概念化。Yixiao Chen：写作 - 审阅与编辑，验证。Dewu Yang：写作 - 审阅与编辑，可视化。Rui Wang：写作 - 审阅与编辑。Feng Wang：写作 - 审阅与编辑。Hui Xu：监督，资源，项目管理，资金获取。

竞争利益声明
作者声明他们没有任何已知的竞争性经济利益或个人关系可能会影响本文报告的工作。

Pengyu Lai|Yixiao Chen|Dewu Yang|Rui Wang|Feng Wang|Hui Xu