用于神经网络学习参数到解映射的DPG损失函数
《Computers & Mathematics with Applications》:DPG loss functions for learning parameter-to-solution maps by neural networks
【字体:
大
中
小
】
时间:2026年09月22日
来源:Computers & Mathematics with Applications 2.7
编辑推荐:
**摘要**
我们开发、分析并通过实验探索了基于残差的损失函数,用于在参数依赖的偏微分方程(PDE)族的背景下,对参数到解的映射进行机器学习。我们的主要关注点在于严格的精度认证,以增强所生成的深度神经网络缩减模型的预测能力。这是通过使用变分正确的损失函数来实现的。我们以一个
**摘要**
我们开发、分析并通过实验探索了基于残差的损失函数,用于在参数依赖的偏微分方程(PDE)族的背景下,对参数到解的映射进行机器学习。我们的主要关注点在于严格的精度认证,以增强所生成的深度神经网络缩减模型的预测能力。这是通过使用变分正确的损失函数来实现的。我们以一个椭圆型PDE的具体示例为例,详细阐述了如何从超弱间断Petrov-Galerkin(DPG)离散化建立损失函数的变分正确性。尽管重点在于该示例,但所提出的概念适用于更广泛的问题范围,即存在稳定DPG格式的问题。本文讨论了高对比度扩散场以及由此导致的椭圆性退化难题。数值结果和理论论证均表明,对于高对比度扩散参数,所提出的DPG损失函数比简单的最小二乘损失提供了更为稳健的性能。
**引言**
从有限量的观测数据中恢复感兴趣物理状态信息的任务在科学和技术应用中无处不在。为了使这些任务可行,关键在于利用状态所遵循的物理定律。然而,这些定律往往只是被部分已知。处理此类不确定性的常见方式是将数学模型表述为依赖于未知模型数据(如系数场、初始或边界条件、源项或本构关系)的偏微分方程组(PDE),这些未知模型数据被汇集为来自有限维或无穷维空间的参数α。我们所考虑的是PDE解u(x, α),它依赖于低维域Ω??^d中的空间变量x,以及可能高维域??中的参数变量α。对于每个参数实例??∈??,解u(x, α)(也写作u(α)或简写为u)是某(通常为线性的)PDE ?写成残差形式后方程?(u,α)=0的唯一解。??的结构和范围决定了当α遍历??时由方程(1)的解构成的"设计空间"或"解流形"?,该流形包含所有状态u(α)。方程(1)隐式定义了一个参数到解的映射?:??→?。对于每个参数实例??∈??,流形上对应点的u问题(1)被称为"纤维问题"。
在利用?作为先验时,求解状态估计或参数估计等任务,通常需要(近似)评估映射????(??)∈?对于大量参数查询??∈??的值。在反演过程中进行大量高保真求解(1)将带来巨大的、往往令人望而却步的计算成本。这要求生成缩减模型以及参数到解映射?的高效可计算代理模型。其基本理念是,在任意给定参数实例处评估此类代理模型比计算对应的高保真近似解更为高效[1],[2],[3]。在"科学机器学习"(SML)中,我们运用机器学习概念为?生成代理模型,这是"算子学习"的核心实例[4],[5],[6]。相关结果[7]表明,在一定正则性假设下,神经网络尽管面对高维问题,仍能够很好地近似?,这在此背景下是令人鼓舞的。当需要大量参数查询时,学习?的离线成本可以迅速摊薄。然而,离线资源并非无限的,这一方面促使人们在SML中区分数据驱动范式与无数据范式。
大多数算子学习方法纯粹是数据驱动的:首先计算足够数量的高保真解,然后将其用作训练样本,在适当的算子假设类上执行回归,参见[4],[5],[6],[8],[9]。然后可以通过估计所引入的"泛化误差"来评估精度。这可以通过在测试集上评估损失函数来完成,测试集是一个具有足够大量测试样本的独立数据集。由于人们预期经验损失到对应期望的蒙特卡洛收敛率最多是缓慢的,因此离线阶段需要生成的高保真解数量可能变得非常高,使得替代策略变得更有吸引力。
事实上,采用基于残差的损失函数可以避免在训练期间求解大量大型方程组的需要。最著名的版本是PINN(物理信息神经网络)[10],[11],[12],[13]。这里,令u_θ(x, α)表示网络输出的解(其权重和偏置汇集为θ),最小化最小二乘损失
θ* ∈ arg min_{θ∈Θ} (1/|Ω?|)(1/|???|) Σ_{α∈???, x∈Ω?} |?(u_θ(x,α), α)|2
从而从由可训练θ值的有限预算Θ确定的假设类中学习近似解u_θ*。这里Ω?是空间样本的有限集合(如Ω中以及在?Ω上的求积点),??????是模型参数的有限集合。上述形式广泛适用于各类问题的便利性解释了为何这种猜测对于学习参数到解映射以及求解单个PDE都非常有吸引力。这里无法对蓬勃发展的PINN文献进行总结,但值得注意的是,此类文献大多关注参数无关问题,旨在仅求解单个固定PDE,而我们的重点是参数到解映射。
本文完全聚焦于第二种基于残差的学习方法。PINN (2) 通常不提供误差控制。我们的核心主题是使用正确的损失函数数学理论来保证严格的精度控制。虽然(2)提供了极大的计算便利性,但其精度问题——尤其是当?不是L2(Ω)函数时——是众所周知的。虽然已在多项研究中指出[14],[15],[16],但我们在第5.6节中也提供了一些额外的实验结果。然而,本文的主要推力如下所述,在于数学上严格精度控制的理论工具。
在SML中,应用通常是厌恶误差的。对于一个估计方法要具有预测能力,必须能够评估训练过程所达到的精度。从经典数值分析的角度来看,令人担忧的是最常用的验证策略是与参考解进行比较,而参考解通常被视为真值。这些参考解必然是人为构造的解或来自特定情形的高保真数值解,因此通常无法暴露给定PDE模型所固有的所有障碍,如对流主导区域中的边界层或因粗糙或退化系数而产生的低空间正则性。因此,它们不足以支撑可靠的"精度外推"。本文的动机在于通过为基于残差的方法开发严格的精度控制来减轻此类局限性。
为了评估基于残差的训练结果的精度,训练损失的泛化基本上是唯一可获取的精度推断量。残差在精确解处消失这一事实本身并不能量化近似的精度。至关重要的是残差度量的度量:只有在适当的范数下,残差才能提供对近似误差的可靠控制。
便利性不能是选择损失函数的唯一标准。例如,当(1)表示某域Ω上的二阶齐次椭圆型Dirichlet问题时,即使便利性可能要求在L2型范数下度量残差,但底层变分格式的适定性意味着?应该映射到H1?(Ω)中,且精度应在H1?(Ω)中度量。通常通量近似甚至比仅用更弱范数逼近状态变量u更为重要。此外,该方法不应要求状态u属于更高正则性空间H^s(Ω),s>1:这不必要地缩小了反演映射的范围并加重了反演问题的病态性。一个方法不应仅依赖于先验的过度正则性假设。事实上,当将(2)应用于二阶椭圆问题时,采样极限在L2(Ω)中逼近体积分残差,这是一个过强的范数:残差可能甚至不属于L2(Ω)(此问题已在多项研究中指出[14],[15],[16])。此外,典型的离散L2边界罚项太弱,因为迹属于H^{1/2}(?Ω)。这些考虑表明,(2)中的损失不一定能提供u在相关范数下可靠的误差界。
本文坚持使用基于正确误差度量构建的基于残差的损失函数。我们遵循[14]采用以下术语:
如果一个损失函数与模型的合规范数下其输入误差的平方成一致比例,则称该损失函数为变分正确的(参见后文定义2.4)。[14]中传达的关键信息是,(1)的解的正确空间(及范数/度量)由(1)的弱格式确定,在线性情形下,这些弱格式在Babu?ka(或BNB)定理意义下是适定的。我们将相应的范数称为"模型合规"的,因为它们确定了解决(1)的解应具备的最低正则性。变分格式的适定性等价于试空间??中的误差与对偶检验空间??′中的残差成一致比例,即‖?(u_θ(α))‖2_{??′} 是一个变分正确的损失函数。一个明显的限制是,除非??是自对偶的??=??′(如L2空间),否则对偶范数下的残差很难计算。因此,为了实际应用这些概念,必须设计可计算的表达式,使得当应用于给定假设类时,仍与理想损失成一致比例。[14]中已证明这对于广泛的PDE模型是可行的,作为一个常见的首要关键步骤,将PDE(如果尚未以此形式)转化为PDE的一阶系统。在此形式下,可以证明对于许多模型(稳态扩散、Stokes方程、线性弹性、抛物问题、声波方程),检验空间为L2空间的变分格式是稳定的。由此产生了最小二乘格式(已知为FOSLS,参见[17],[18],[19],[20],[21],[22]),其中理想损失已经可计算(且在正确的边界处理下PINN将是变分正确的)。第二种情形针对超弱间断Petrov-Galerkin(DPG)格式一致稳定的问题。关于此性质已证明成立的广泛PDE模型,参见[23]。
然而,利用DPG方法论需要采用所谓的混合假设类来构建代理模型。更具体地说,我们使用有限元离散化低维Ω,但使用深度神经网络(NN)离散化?作为从高维参数域??到试空间的映射。这意味着我们的解预测具有如下形式:
u_θ(x,α) = Σ_k v_{k,θ}(α) ψ_k(x)
其中ψ_k(x)是标准有限元基函数,而基展开中的系数v_{k,θ}(α)由NN提供,NN由可训练权重θ的集合确定。这里,由域划分所代表的空间分辨率可以被视为一个超参数,允许人们以与空间采样点(当空间变量和参数变量同时作为单个全局NN的输入参数时,如(2)中)相同的方式来调节精度。当然,变分正确性则需要以与网格无关的常数来建立。
虽然在L2型损失的情况下并非必要,但在所有情形中我们都选择以(3)的形式进行预测,因为它们提供了以下优势(参见[14]的详细讨论)。它们允许使用有限元而非神经网络来计算空间导数;它们大大简化了边界条件的引入;它们支持"嵌套细化"概念;并且如[14]所示,它们改善了优化的稳健性。
关于此类混合假设类的先期研究参见[8],[9],[14],[24],[25]。此外,误差控制和误差分析也受到了其他研究者的关注:参见[15],[16],[26],[27],[28],[29]及其参考文献。取决于PDE的类型,残差?不一定是L2(Ω)中的函数,此问题已在多项研究中指出[15],[16]。这些工作使用了与适定变分格式相关的思想,仅限于特殊PDE类型(主要是椭圆问题),并试图在低空间维度下求解单个PDE。适定性也本质地体现在各自残差损失函数的构造中[30],[31],[32],[33],[34]。
如前所述,我们直接基于文献[14]中引入的变分正确性概念展开研究。一篇较新的工作[35]也利用了变分正确性来处理参数依赖的稳态扩散和线性椭圆模型,并特别关注混合(非齐次)边界条件的变分正确引入方式。文献[35]中使用了FOSLS类型的损失函数,其混合系统涉及变分正确的POD降阶基函数。本文探讨了[14]、[35]中未涉及的问题,并在据我们所知以往研究中尚未涉及的方向上推进,具体如下。
我们首先给出了关于损失函数参数鲁棒性的结果(除证明实用DPG损失函数的变分正确性外)。为此提供背景说明:关于变分正确损失的最新结果([14]或[35])成立的前提是,其底层变分格式在参数范围??上具有均匀稳定性。在许多重要应用中,特别是在涉及复杂材料参数的逆问题背景下,对参数范围的先验限制可能会大大降低反演结果的质量。例如,在多孔介质流动的Darcy模型中,对数正态扩散场可能出现退化椭圆性,尽管其概率很低。当然,退化可能在广泛的PDE模型中出现,但稳态扩散已经标志着一个具有挑战性且重要的应用领域。此外,鉴于文献[20]、[21]、[22]中的结果以及适定变分格式的适用范围,为退化椭圆性开发的概念可以推广到其他模型,如时间相关的耗散模型或波动传播模型。因此,本工作聚焦于对一种经典的扩散模型进行深入研究,该模型允许椭圆性退化。
具体而言,在我们的数值示例中,我们考虑分段常数的高对比度参数扩散场。高对比度扩散场指扩散场相邻值的比值很高。其带来的众所周知的挑战已在降阶建模领域得到了一定程度的研究,例如参见[36]及其引用的文献。不难看出,对于分段常数扩散(且右端项为常数)的情形,当扩散趋于无穷大时解趋于零,而当扩散趋于零时梯度趋于无穷大(参见[36])。文献[36]中的方法开发了特别整合这些极限特征的降阶基。然而,这些降阶基严重受到维度灾难的影响。神经网络在这种情况下提供了有趣的替代方案,这也是我们选择此类高对比度扩散场的原因之一。选择分段常数扩散场的原因是要考察奇异摄动机制所带来的挑战与解的极低空间正则性如何相互叠加,在高对比度交叉点处解的正则性可以任意接近H1。此外,此类分段常数场使我们能够方便地调整和监控退化效应的定量影响。我们应当强调,(与SML中似乎是通常做法不同)我们的数值研究不是为了验证方法本身(因为我们通过证明损失函数与模型一致误差度量之间的等价性来证明其正确性),数值实验仅旨在阐明学习成功率与样本复杂度的关系,并展示退化椭圆性的实际效果。
当扩散参数强烈变化时(尽管仍保持正值且有限),尽管FOSLS损失原则上适用,但相对于参考范数中误差的比例关系会随着连续性常数和强制性常数之比(或椭圆算子的条件数)的增加而恶化。在后续章节中,在展示该问题的实际表现后,我们将研究基于DPG概念[23]、[37]的变分正确训练损失。如接下来所述,它们导致了更具参数鲁棒性的损失泛函。所谓的协调超弱变分格式在扩散系数保持正值且有限的情况下是适定的,无论其大小如何。其试空间仅为L2(Ω)的(d+1)倍笛卡尔积,而检验空间??现在是对偶算子图空间中由边界条件诱导的闭子空间。将??的标准度量替换为由所谓最优检验范数[23]诱导的度量后,使广义Lax-Milgram不等式中的inf-sup常数和连续性常数均等于一。因此,由这种弱格式诱导的算子是L2到检验空间对偶空间的等距同构,从而实现了"终极参数鲁棒性"。此外,由于一阶重构,我们有两个未知量,即状态变量u及其通量。一个同时在L2中衡量两者的误差度量(这正是超弱格式所给出的)等价于对求解原始二阶格式的u进行H1控制,即我们获得了在正确的模型一致度量下的误差控制和完美的参数鲁棒性(如示例2.3中详细论证的)。不幸的是,这种协调超弱格式中的非平凡对偶范数不容易求值,因此我们不能以这种形式利用其终极参数鲁棒性。其想法是转而使用超弱DPG格式,该格式在一定程度上模仿了协调超弱格式。我们研究协调版本的参数鲁棒性在多大程度上可以推广到超弱DPG格式。我们的主要发现围绕这一问题展开。
这些结果在第6节中精确定义,但让我们在此用通俗语言描述一下思路。对DPG格式的仔细研究表明,它无法完美模拟其协调对应版本的最优检验范数,原因大致可归纳为两点。第一,必须赋予DPG的单元间迹变量一个适当的范数,其本质是提升后迹的图范数。因此,它在一定程度上重新引入了FOSLS范数,当椭圆性退化时便会继承其问题。第二,检验范数是其协调版本最优检验范数的断裂版本,并增加了L2范数项以避免前者的逐单元核。我们将在文中证明,通过以下两个措施可以显著缓解这两个障碍。首先,我们引入一个缩放参数来加权断裂检验范数中的零阶项,零阶贡献越小,我们越接近最优(协调)检验范数,从而预期获得更高的鲁棒性。其次,我们提出了修正的DPG损失函数,使我们能够"淡化"FOSLS图范数的影响,同时保留对u及其通量的鲁棒L2误差界(这对应于原始二阶模型解的H1误差控制)。这暗示了一系列有趣的新算法变体,特别是将缩放因子作为可训练参数,从而使损失函数向参数鲁棒性方向自适应调整。
第2节专门讨论问题描述。从§2.1中的三个简单示例开始,我们精确概述了一些问题(如前文用通俗语言所述),这些问题构成了后续发展的动机。在§2.5中,我们基于尊重参数到解映射性质的函数设置,简明地定义了变分正确损失函数的核心概念。第3节引入FOSLS损失函数并建立其变分正确性(常数依赖于参数范围)。本质上,这遵循了[14]的思路,只不过我们特别强调了所涉及常数对参数α的依赖关系。随后在第4节引入并分析了另一种DPG格式,也严格证明了其变分正确性。第5节研究两种格式在预测精度方面的表现。这些发现表明,当扩散系数的对比度增加且FOSLS算子的条件数表现出更强退化时,DPG格式具有一定优势。这促使我们在第6节进行深入的鲁棒性研究。
章节摘要
模型问题与一阶重构
设Ω为???中有界的Lipschitz域,设??:Ω→?为正函数,令???(??)=???(??)?1。考虑稳态扩散方程
?div?(???(??)????)=?? in Ω, ??=0 on??Ω.
此处我们关注的不是求解固定a(x)下的(4)式,而是求解参数范围??内扩散系数的解,该范围将在下文具体给出。当a变化时,或者说α变化时,解u也随之变化,我们将其写作u(α)或u(x, α)(当需要突出α依赖性时)。如第1节所述,
FOSLS解
我们考虑FOSLS方法[17],基于(11)或(12)式,采用其最低阶形式。由于Aα作为(10)中的算子是全射的,我们可以通过将(11)中的所有检验函数??写为???????(??为某试函数)的形式来对称化(11)中的变分格式,得到以下等价的FOSLS格式:
求??∈??fos使得
??fos???(??,??)=?fos?(??), 对所有??∈??fos,
其中
??fos=???(div)×???1?, ∥(??,??)∥2??fos=∥??∥2???(div)+∥??∥2???1.
??fos???(??,??):=(???????,???????)??2, ?fos?(??):=(??,???????)??2.
其中??=(0,??),(·,·)??2表示L2内积。
DPG损失函数
本节我们为(8)式引入超弱DPG方法。该方法首次发表于[45],并在近期综述[23]中置于更广泛的背景下。在介绍离散方法后,我们提出DPG损失函数并讨论其变分正确性。
神经网络预测的性能
本节展示两种学习方法的数值结果并比较其性能。在这些比较中,我们不计入(实质性的、离线的)训练成本,仅关注所达到的精度,这由各自的损失函数反映。由于DPG损失的评估略微昂贵,理解可能抵消部分较高成本的特征将十分重要。本节的数值结果显示两种方法具有相当的性能。
利用DPG思想改进参数鲁棒性
FOSLS损失函数和DPG损失函数的变分正确性证明均依赖于一个与离散化无关的不等式,即(32)。尽管这可能暗示无法去除α依赖性,但我们能够在DPG情形下改善α依赖性,如本节所示。作为动机,我们再次参考超弱DPG方法的前身,即示例2.3。在那里,(17)的最优检验范数‖??*?????‖??2对任意??∈……
Pablo Cortés Castillo | Wolfgang Dahmen | Jay Gopalakrishnan
波特兰州立大学,信箱751,俄勒冈州波特兰市,邮编97201,美国