高维时变偏微分方程的自适应神经进化方法

《Engineering Applications of Artificial Intelligence》：The adaptive neural evolution method for time-dependent partial differential equations in high dimensions

　　摘要

深度学习方法已被广泛应用于求解偏微分方程（PDEs），然而，当目标解表现出空间局部结构时，神经网络往往难以准确地表示整个时间范围内的全局解，尤其是在高维情况下。受传统数值演化方法的启发，我们提出了自适应神经演化（ANE）方法，该方法结合了自适应策略和迁移学习，其中不同时间点的解的空间结构由神经网络表示，而解随时间的演化则由神经网络的演化替代。同时，自适应策略旨在通过获得的解的信息来增强网络的空间表示能力，迁移学习则用于加速训练过程。ANE方法不仅能够实现系统的长期预测，而且在维度方面也表现出良好的经验可扩展性。我们还为ANE方法提供了误差估计，并给出了误差增长的上界。此外，我们展示了ANE方法在准确性和效率方面的优势，优于传统方法和其他神经演化架构。通过几个应用实例（包括Kuramoto–Sivashinsky方程、Navier–Stokes方程、复杂域中的三维热方程以及高维平流方程）来说明ANE方法的优越性能。

引言

机器学习（ML）的最新进展已经在许多应用领域带来了变革性的突破，包括基因组学、自然语言处理、计算机视觉和气候科学（Alipanahi等人，2015年；Goodfellow等人，2016年；Johri等人，2020年；Joshi，2023年；Krizhevsky等人，2012年；Larranaga等人，2019年）。在ML中的一个特别有前景的子领域是将深度学习技术应用于求解偏微分方程（PDEs），这一概念被称为科学机器学习（SciML）（Baker等人，2019年）。自动微分（Baydin等人，2018年；Margossian，2019年）、通用逼近定理（Hornik，1991年；Hornik等人，1989年）以及强大的优化技术（Liu和Nocedal，1989年；Kingma和Ba，2014年）的引入，推动了深度神经网络（DNNs）方法的发展，用于求解PDEs。早期研究探索了使用人工神经网络作为PDE求解器（Baymani等人，2015年；Dissanayake和Phan-Thien，1994年）。随后，提出了几种基于深度学习的数值方法，包括Deep Ritz方法（E和Yu，2018年）、深度分裂方法（Beck等人，2021年）以及一些针对高维PDE的方法（Han和Jentzen，2017年）。最近，物理信息神经网络（PINNs）框架及其扩展（Raissi等人，2019年；Karniadakis等人，2021年；Y. Wang等人，2024年；Rezaei等人，2022年），以及神经算子方法（Cao等人，2024年；Lu等人，2021a；Li等人，2020年）在解决复杂PDE问题方面取得了显著的成功。与传统的数值方法（如谱方法（Shen等人，2011年）和有限差分方法（LeVeque，2007年）相比，机器学习方法作为一种无网格方法，可以有效地处理复杂域问题，并在一定程度上避免了维数灾难。

然而，用于求解PDEs的机器学习方法仍然面临重大挑战。一方面，对于时间依赖的PDEs，传统的机器学习方法往往难以准确模拟长时间预测范围内的演化方程行为。例如，物理信息神经网络（PINNs）（Raissi等人，2019年）是最流行的方法之一，它通常将空间信息和时间信息作为固定时间间隔的网络输入，这导致无法获得长时间范围内的准确解。另一方面，当解表现出局部行为和复杂结构时，机器学习方法仍然面临维数灾难。由于训练配置点未能充分捕捉解的特征，在高维情况下所需的点数呈指数级增长。为了克服这些挑战，已经提出了一系列先进的方法和扩展（Jagtap等人，2020年；Xu等人，2025年；Anagnostopoulos等人，2024年；Yu等人，2022年）。一个重要的研究方向是提高PINNs的长期稳定性。特别是，开发了几种时域分解和因果训练策略，以增强PINNs对时间依赖PDEs的长期模拟能力（Wang和Perdikaris，2023年；Meng等人，2020年；Jagtap和Karniadakis，2020年；Wight和Zhao，2021年；S. Wang等人，2024年）。最近，时间诱导神经网络（TINNs）（Dai等人，2026年）引入了时间依赖的参数化神经表示，以缓解传统时空PINNs中的时间纠缠问题。另一个重要方向是算子学习方法，这些方法旨在直接从数据中学习函数空间之间的映射。代表性的例子包括DeepONet（Lu等人，2021a）和傅里叶神经算子（FNO）（Li等人，2020年），它们在参数化PDE学习和离线训练后的快速推理方面表现良好。此外，还提出了一些针对时间依赖PDEs的神经演化和潜在动力学方法。例如，潜在神经常微分方程框架（Longhi等人，2026年）结合了潜在空间中的降维和神经常微分方程演化，用于低阶PDE建模。演化深度神经网络（EDNNs）（Du和Zaki，2021年）利用Dirac–Frenkel变分原理（Dirac，1930年；Frenkel和Mechanics，1934年；Lubich，2008年）根据控制方程演化神经网络参数。对于高维PDEs，提出了新的网络架构和训练方法来提高网络性能，如张量神经网络（TNNs）（Y. Wang等人，2022年；Kao等人，2024年）和随机维度梯度下降（Hu等人，2024年）。

与EDNNs中通过控制方程演化参数相比，我们可以离散化时间方程并直接通过相应的时间迭代格式演化解。与传统的Rothe方法（Rothe，1930年）不同，后者在空间中同时离散化解，而这里的解的空间信息是由神经网络隐式表示的。这一概念已经被应用于求解时间依赖的PDEs（Chen等人），尤其是在复杂域中。这种方法有效地利用了深度学习的力量来处理解的空间复杂性，并随时间自适应地演化解，避免了空间域的显式离散化。这类方法结合了传统方法的时间步进和神经网络的空间参数表示，这在一定程度上缓解了传统方法中空间离散化的维数限制。此外，它们还解决了PINNs方法中与长期演化问题相关的挑战（Raissi等人，2019年）。然而，当解表现出局部属性或复杂行为时，蒙特卡罗近似变得计算成本高昂，并且在高维空间中需要大量资源才能获得准确结果。尽管TNNs（Y. Wang等人，2022年；Kao等人，2024年）可以用高斯求积公式替代蒙特卡罗积分，但这种方法对域有局限性，使得在复杂区域选择积分点极其困难。一些主动学习策略已经被纳入神经演化方法中（Bruna等人，2024年），但涉及的采样格式和优化方法显著增加了训练成本。因此，迫切需要设计一个高效且通用的高维演化方程求解器。

受上述讨论的启发，本文提出了自适应神经演化（ANE）方法，该方法结合了自适应策略和迁移学习，其中不同时间点的解的空间结构由神经网络表示，而解随时间的演化则由神经网络的演化替代。通过直接演化由神经网络表示的解，求解PDEs变成了一个优化问题。如果我们为神经网络设计严格施加的边界条件，并考虑显式积分方案，那么问题进一步变成了一个通用回归问题。同时，自适应策略旨在通过获得的解的信息来增强网络的空间表示能力，迁移学习被引入以加速训练过程。我们为ANE方法提供了误差估计，并给出了误差增长的上界。通过几个数值实验来说明ANE方法的优越性能。本文的主要贡献可以总结如下：
(i) 我们提出了适用于高维时间依赖PDEs的ANE框架，结合了自适应策略和迁移学习，实现了系统的长期预测。
(ii) 我们为ANE方法提供了误差估计，通过Rademacher复杂性建立了泛化误差和训练误差之间的关系，并给出了误差增长的上界。
(iii) 我们展示了ANE方法在准确性和效率方面的优势，与传统方法和其他神经演化架构相比，在各种PDE中均表现出色。数值结果表明ANE方法的性能几乎不受维度影响，不同维度下的误差保持在同一数量级。

本文的其余部分安排如下。第2节中，我们阐述了主要研究问题和神经时间依赖参数化。然后在第3节中，我们提出了ANE方法的框架和算法，并提供了相应的误差估计。第4节中，我们通过将其应用于各种PDE（尤其是在高维和复杂域问题中）来展示ANE方法的性能。此外，我们提供了消融研究，并讨论了所提出方法的计算复杂性和可扩展性。最后，第5节给出了一些结论和讨论。

问题陈述

在本文中，我们关注一类具有初始条件（ICs）和边界条件（BCs）的时间依赖偏微分方程（PDEs）：
?{ {?{ {?????=???[??,??;???(??,??)],??∈??,??∈??,???(??,0)=??0?(??),??∈??,??[??,??;???(??,??)]=0,??∈????,??∈??,
其中??∈??????表示??维空间坐标，??=[0,??]是时间域，??∈??:??×??→???，??:??×??×??→???是一个线性或非线性微分算子。??0∈??是初始条件，?:??×??×??→???表示边界算子。例如，??[??,??;??

自适应神经演化方法

基于上述讨论，我们提出了自适应神经演化（ANE）方法，通过直接演化解???而不是网络参数??来处理高维复杂问题。通过解决回归问题，我们可以获得离散时间内的解。同时，ANE方法利用之前时间步长解的信息来设计采样点或自适应权重以近似积分。此外，引入了迁移学习。

数值实验

在本节中，我们通过与一系列PDEs的实验来验证ANE方法的有效性，包括Kuramoto–Sivashinsky（KS）方程、不可压缩Navier–Stokes（NS）方程、复杂域中的3D热方程以及高维中的平流方程。此外，我们展示了ANE方法在准确性和效率方面的优势，与传统方法和其他神经演化架构相比。

结论

总之，我们提出了结合自适应策略和迁移学习的新颖ANE方法，用于求解高维时间依赖PDEs。由于解的神经表示，我们可以根据网络参数进行时间演化。由于该方法的时间步进特性，我们可以根据已知解的信息设计下一个自适应策略。通过采用迁移学习策略，所提出的ANE方法可以减少

CRediT作者贡献声明

Jin Song：撰写——原始草案，软件，方法论，调查，形式分析，概念化。
Zhenya Yan：撰写——审阅与编辑，监督，项目管理，方法论，形式分析，概念化。

利益冲突声明

作者声明他们没有已知的可能会影响本文工作的竞争性财务利益或个人关系。

致谢

作者感谢审稿人的宝贵建议，这些建议有助于提高本文的质量。本工作得到了中国国家重点研发计划（项目编号2024YFA1013101）和中国国家自然科学基金（项目编号12471242）的资助。

Jin Song | Zhenya Yan