变分正确算子学习：具有后验误差估计的降维神经算子

《COMPUTER METHODS IN APPLIED MECHANICS AND ENGINEERING》：Variationally correct operator learning: Reduced basis neural operator with a posteriori error estimation

　　摘要：最小化偏微分方程残差损失是提升神经算子物理一致性的常用策略。然而，传统公式往往缺乏变分正确性，由于使用了不合规的范数或针对边界条件的特殊惩罚项，因此小的残差并不能保证解误差也小。本文通过构建一阶系统最小二乘目标函数，提出了一个具有变分正确性的算子学习框架，该目标函数的值可被证明与符合偏微分方程要求的范数下的解误差等价。我们在稳态扩散方程和线性弹性方程上展示了这一框架，通过变分提升方法处理混合狄利克雷-诺伊曼边界条件，从而在不引入不一致惩罚的情况下保持范数等价性。为确保FOSLS损失所需的函数空间一致性，我们提出了降维基神经算子。该算子能够预测预计算得到的、符合要求的降维基的系数，从而在设计上确保变分稳定性，同时实现高效训练。我们还提供了严格的收敛性分析，将总误差限定在有限元离散化误差、降维基投影误差、神经网络近似误差、统计估计误差以及优化误差之和之内。数值实验验证了这些理论界限，表明所提方法在符合偏微分方程要求的范数下具有比传统方法更高的精度，且残差损失可作为可靠且可计算的后期误差估计量。

引言：仅凭观测数据来确定感兴趣的物理状态通常是不可能的，除非借助相关的物理定律。这些定律通常由依赖于未指定问题参数的偏微分方程组来描述，比如边界条件、源项或系数场。通过改变这些参数得到的解的集合构成了解流形。在诸如不确定性量化、贝叶斯反演以及最优实验设计等多查询任务中，要研究这个流形就需要成千上万次地评估数据到解的映射关系。传统高精度离散化方法的巨大计算负担促使人们开始关注用于高效替代建模的算子学习技术。深度算子网络和傅里叶神经算子等架构通常通过对比预计算的高精度样本来进行训练，以学习无限维函数空间之间的映射关系。然而，这种监督学习方式存在两个关键局限：生成大规模训练数据集的成本极高，且依赖于标准的L2型损失函数。更重要的是，这类回归范数往往不符合偏微分方程的要求，即较小的训练误差并不一定意味着在物理意义上也有较高的精度。为减少对高精度数据的依赖，物理信息神经网络采用了直接将偏微分方程嵌入损失函数中的残差最小化方法。不过，传统残差损失往往缺乏变分正确性，无法为真正的偏微分方程范数误差提供统一的上下界。这通常是因为整体残差是用过强的范数来度量的，而边界条件则是通过过弱或不一致的范数中的惩罚项来强制满足的。因此，最小化这类损失并不能严格控制解误差。尽管近期有研究提出了包括误差证书学习、建立可计算误差界限以及使用功能型范数在内的后期误差估计策略，但要实现设计上的变分正确性，仍需采用稳定的变分形式。具体而言，必须为试验空间和测试空间找到一对符合偏微分方程要求的范数，使得在对偶测试范数中的残差与试验范数中的误差呈均匀比例关系。只有当变分形式在巴布什卡-涅恰斯定理的意义上是稳定时，这一条件才能成立。在自适应有限元方法中，一个众所周知的实际难题是计算对偶范数通常十分困难，相关解决方法可参考相关文献。在本研究中，我们着眼于一种能够获得稳定变分形式的策略，即让测试空间为自对偶空间（也就是L2空间），这样残差就可以直接作为L2范数来计算。虽然传统的高阶偏微分方程形式通常不具备这样的稳定性，但将其改写为一阶系统形式后往往可以实现。这种方法被称为一阶系统最小二乘法，已被成功应用于抛物线方程和波动方程的时空形式，以及稳态扩散方程和线性弹性方程。基于此方法的深度学习技术已经在解决偏微分方程问题上展现出巨大潜力。不过，这些研究主要集中于求解单个偏微分方程实例，而非解决更复杂的任务——在参数分布范围内学习解算子。为此，我们通过开发一种适用于参数化偏微分方程的具有变分正确性的算子学习框架来填补这一空白。为展示该方法的有效性，我们在此重点研究线性参数化偏微分方程，尤其是稳态扩散方程和线性弹性方程。我们的方法在两个方面不同于传统方法：首先，我们通过变分提升方法而非惩罚项来处理混合狄利克雷-诺伊曼边界条件，从而保持严格的范数等价性；其次，为确保损失函数满足一致性要求，我们提出了降维基神经算子。虽然传统神经算子能够有效地学习通用函数空间之间的映射关系，但要强制满足特定的规则性约束（如通量连续性）仍然颇具挑战。降维基神经算子则通过预测一个本身就符合要求的基系的系数来规避这一难题，从而在设计上确保变分稳定性，同时降低高维输出的复杂性。第7节我们将简要讨论将这些概念扩展到其他偏微分方程模型的可能性。为实际构建这一基系，我们利用了椭圆型问题中科尔莫戈洛夫宽度快速衰减的特性。我们将解流形投影到通过高精度样本的正交分解得到的低维线性空间中，由于这些样本是通过符合要求的离散化方法计算得到的，其线性组合自然能保持所需的函数空间规则性。随后，神经算子便可以学习从参数到该降维基系系数的映射关系。这种混合架构类似于带有固定线性解码器的编码器-解码器结构，但其独特之处在于，它是通过最小化严格的FOSLS残差而非回归损失来训练的。需要指出的是，虽然其他研究也探索过基于数据的降维基神经网络，但我们的方法独特地利用了这一结构来实现具有变分正确性的训练。

贡献：本文的主要贡献如下：1. 构建了具有变分正确性的FOSLS目标函数。我们为稳态扩散方程和线性弹性方程推导出了基于L2的FOSLS残差损失函数。更重要的是，我们展示了如何通过变分提升方法纳入混合狄利克雷/诺伊曼边界条件，从而在不依赖特殊边界惩罚的情况下，证明损失函数与偏微分方程要求范数下的解误差之间存在等价性。2. 实现了符合要求的有限元离散化方法，并控制了离散误差。我们设计了符合要求的有限元离散化格式，使得二次残差损失函数能够高效计算。我们还建立了该离散损失函数与离散化误差之间的理论联系，证明了收敛速率取决于网格尺寸、多项式阶数以及偏微分方程的规则性，从而确保即使在离散化之后，训练目标函数仍能作为真实误差的可靠替代指标。3. 提出了具有理论保障的降维基神经算子。我们设计了降维基神经算子架构，该架构能够预测预计算得到的、符合要求的正交分解基系的系数。由于这种设计，网络的输出自然满足FOSLS损失函数所要求的函数空间一致性。我们还提供了收敛性分析，将总误差限定在有限元离散化误差、降维基投影误差、神经网络近似误差、统计估计误差以及优化误差之和之内，从而为这种混合方法提供了严格的理论依据。4. 进行了数值验证。我们在稳态扩散方程和线性弹性方程上验证了该框架的有效性。通过数值实验，我们验证了关于有限元离散化误差、降维基投影误差、统计估计误差以及优化误差的收敛性分析结果。实验表明，所提出的残差损失函数是一种精确且可计算的后期误差估计量，而且与两种传统基准方法相比，降维基神经算子在符合偏微分方程要求的范数下具有更高的精度。本文的其余部分结构如下：第2节回顾了算子学习及变分正确性的基本框架；第3节推导了扩散方程和弹性方程的具有变分正确性的FOSLS公式，包括处理边界条件的变分提升策略；第4节详细介绍了损失函数的有限元实现方法及相关的离散误差控制方法；第5节介绍了降维基神经算子架构，并建立了其收敛性分析；第6节展示了误差估计的数值验证结果以及与传统神经算子的性能比较；最后，第7节讨论了研究的局限性及未来发展方向。