尊重因果关系,分段时域训练能够加速基于物理原理的DeepONet在处理时变偏微分方程(PDEs)时的性能

《Neurocomputing》:Respecting causality segmental time-domain training accelerates physics-informed DeepONet on time-dependent PDEs

【字体: 大 中 小 】 时间:2026年05月16日 来源:Neurocomputing 6.5

编辑推荐:

  孔安东|王世军|金玉红|易海明|常泽远|姜一凡|侯磊|纳赛尔·A·赛义德哈尔滨工业大学航天学院,哈尔滨,150001,中国摘要物理信息深度算子网络(DeepONet)在求解偏微分方程(PDEs)方面取得了显著成功,但其收敛速度通常较慢。为了解决这个问题,我们提出了一种基于因果关系

  
孔安东|王世军|金玉红|易海明|常泽远|姜一凡|侯磊|纳赛尔·A·赛义德
哈尔滨工业大学航天学院,哈尔滨,150001,中国

摘要

物理信息深度算子网络(DeepONet)在求解偏微分方程(PDEs)方面取得了显著成功,但其收敛速度通常较慢。为了解决这个问题,我们提出了一种基于因果关系的分段时域训练方法来加速物理信息DeepONet的学习过程。算子学习的时间范围被划分为多个子区间,在训练过程中,每个时间子区间都被赋予一个权重,该权重会根据残差损失的变化进行调整。这种分段加权方法优先处理早期子区间,直到它们的残差得到充分减少,之后再逐步优化后续子区间。与标准的物理信息DeepONet相比,所提出的方法显著加快了收敛速度并降低了预测误差。一系列数值实验验证了该训练方法的有效性。这种基于因果关系的分段时域训练方法在尊重时间因果关系的同时,充分利用了网络在每个子区间内的全局优化能力,显著提高了物理信息DeepONet的训练效率和预测准确性。

引言

在科学和工程领域[1]、[2]、[3]中,数学和物理基础都是建立在偏微分方程(PDEs)之上的,这些方程涵盖了力学[4]、[5]、热力学[6]、化学[7] [8]等多个领域[9]、[10]。因此,开发高效的PDEs求解方法不仅对科学计算至关重要,也对实际应用[11]具有关键意义。在传统的数值离散化方法(包括谱方法[12]、有限差分[13]和有限元[14])方面,PDEs求解已经取得了很大进展。然而,在资源受限或实时环境中,计算负担、网格敏感性和延迟仍然是一个主要障碍,这促使人们探索灵活且可扩展的替代方案。
深度学习的最新进展为经典的PDEs求解器提供了数据驱动的替代方案[15]、[16]、[17]。这些努力包括基于投影的PDEs解的近似[18]、用于数值拟合的卷积神经网络(CNNs)[19]以及算子学习[20]、[21]。在算子学习方法中,DeepONet[22]、[23]和傅里叶神经算子(FNO)[24]尤为突出。DeepONet是由Lu等人[22]提出的一个强大的算子学习框架,其核心思想是从初始条件映射到方程解[25]。FNO的核心思想是通过傅里叶变换将空间信息投影到谱域,在那里应用学习到的变换,然后使用逆傅里叶变换在空间域重构输出[26]。DeepONet和FNO出色的预测能力已经得到了广泛验证[27]、[28]、[29]、[30]。然而,这些数据驱动的方法通常需要大量高质量标记的数据,并且缺乏物理可解释性。为了克服这些限制,提出了物理信息神经网络(PINNs)[31]。
PINNs将物理定律的残差直接嵌入到训练目标中,从而减少了对标记数据的依赖性,同时提高了可解释性[31]、[32]、[33]。自Raissi等人[34]提出以来,PINNs已成功应用于多种问题,包括流体力学[35]、[36]、[37]、[38]、固体力学[39]、[40]、[41]、[42]、多场耦合[43]、[44]、[45]、非线性系统[46]、[47]、[48]、建模[49]以及温度梯度[51]等领域。尽管PINNs在PDEs求解方面展现出了能力,但它们仍然面临一个主要挑战:传统的PINNs框架难以解决长期PDEs问题[52]。
为了解决这一挑战,研究人员探索了一系列策略,包括基于因果关系的加权[53]、域分解方法[54]、迁移学习[55]和并行计算[56]。虽然这些方法在一定程度上缓解了长期预测的难度,但它们仍然受到传统PINNs框架的限制,每组新的初始和边界条件都需要重新训练。因此,它们仅适用于有限时间问题,无法处理无限时间间隔的解。为了解决PDEs中的长期预测问题,引入了物理信息DeepONet[52]、[57]、[58]。它学习从初始条件到预测范围内的解的映射,从而可以通过每次预测时自动更新初始条件来实现长期预测,而无需重新训练。然而,在时变PDE环境中,物理信息DeepONet的收敛速度往往较慢[59]、[60]、[61],这限制了其更广泛的应用。
本文的动机是提出一种尊重因果关系的分段时域训练方法,该方法显著加快了物理信息DeepONet在时变PDEs中的收敛速度。具体来说,我们将PINNs中的因果训练应用于物理信息DeepONet,并将其与时域分解相结合。将解的时间范围划分为多个子区间,并根据训练残差的变化动态调整每个子区间的损失权重。网络倾向于首先学习早期的时间映射。随着早期子区间的误差减小,后续子区间的权重逐渐增加,从而逐步启动后续子区间的优化。这种方法在尊重因果关系和保持全局优化能力之间取得了平衡。一系列数值实验验证了该训练方法的有效性,表明它显著加快了物理信息DeepONet的收敛速度。
本文的其余部分结构如下:第2节介绍了PINNs、物理信息DeepONet、因果训练和时域分解的初步理论;第3节详细介绍了所提出的尊重因果关系的分段时域训练方法;第4节展示了验证该方法有效性的数值实验;最后,第5节总结了本文并指出了未来的研究方向。

章节摘录

问题陈述

作为解决PDEs的一种新兴范式,PINNs在多种应用中取得了显著进展。然而,PINNs存在两个关键限制:训练速度慢且难度大,以及难以解决长期PDEs问题,这严重限制了它们的实际应用。为了解决这些问题,开发了物理信息DeepONet,它可以从初始条件学习到未来时间范围内的解的映射,从而实现跨不同初始条件的推理

提出的方法

为了解决物理信息DeepONet在时变PDEs上常见的收敛速度慢的问题,我们提出了一种称为“尊重因果关系分段时域训练”的训练策略。该方法结合了PINNs的因果训练原理和时域分解,以提高收敛速度。时间域被划分为多个子区间,每个子区间都被赋予一个根据训练误差动态调整的权重。这种加权方案优先考虑学习早期子区间

实验结果与讨论

在本节中,我们将所提出的方法应用于四个数值实验以评估其有效性。测试问题包括Lorenz系统、波动方程、扩散-反应方程和Burgers方程。与现有方法的比较评估进一步突出了我们方法的优势。

结论

在这项研究中,我们提出了一种尊重因果关系的分段时域训练方法,用于物理信息DeepONet。通过将解的时间间隔划分为多个子区间,并根据残差损失调整权重来融入时间因果关系,该方法使学习过程偏向于早期子区间,并逐步优化后续子区间。在具有代表性的时变PDEs问题上,该方法实现了更快的收敛速度和更低的预测误差。

CRediT作者贡献声明

孔安东:撰写——原始草稿、可视化、验证、方法论、概念化。王世军:验证、方法论、调查。金玉红:可视化、验证、方法论。易海明:撰写——审稿与编辑、监督。常泽远:验证。姜一凡:可视化。侯磊:撰写——审稿与编辑、监督。纳赛尔·A·赛义德:验证。

利益冲突声明

作者声明他们没有已知的可能会影响本文工作的竞争性财务利益或个人关系。

致谢

我们非常感谢中国的国家重点研发计划(项目编号2023YFE0125900)、国家自然科学基金(项目编号12422213、U2441270和12372008)、黑龙江省的关键研发项目(项目编号2023ZX01A03)、基础军事研究所的稳定支持项目(项目编号03020051)以及中国的国家重点科技项目(项目编号2017-IV-0008-0045-JX)的支持。
孔安东于2019年在中国哈尔滨工业大学获得力学学士学位;2021年同样在该校获得力学硕士学位。他目前正在哈尔滨工业大学攻读动力学与控制专业的博士学位。他的研究兴趣包括非线性系统的数据驱动建模、物理信息神经网络和数字孪生技术。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号