将自适应机制与均匀和非均匀时域分解相结合，用于训练具有物理信息理解的神经网络

《Computer Physics Communications》：Integrating self-adaptive mechanism with uniform and nonuniform time-domain decomposition for training physics-informed neural networks

　　•SA-PINNs-TDD通过采用顺序分区训练并结合时间界面的知识传递，将标准SA-PINNs扩展到长时间PDE模拟中。•SA-PINNs-TDD能够高精确地求解具有陡峭梯度现象的非线性Allen-Cahn方程和Schr?dinger方程。•对于2D Navier-Stokes方程，SA-PINNs-TDD能够准确预测短波速度场和压力场。•对于2D Burgers’方程，SA-PINNs-TDD使用非均匀分区训练策略有效捕获和预测多尺度和高梯度现象。

引言
基于物理的神经网络（PINNs）[1]作为一种强大的框架出现，通过利用自动微分来求解偏微分方程（PDEs），显著推进了科学机器学习领域的发展。PINNs能够在对用于前向问题的代码进行最小修改的情况下解决逆问题，使它们在发现PDEs中的未知系数方面非常有效[2]、[3]、[4]。通过训练神经网络，PINNs最小化了包含物理定律残差项和约束项的损失函数，使其成为广泛应用于科学和工程领域的多功能且强大的工具[5]、[6]、[7]、[8]。为了提高效率准确性，人们做出了大量的后续努力来改进和创新相关算法。为了加速训练过程的收敛，Jagtap等人[9]、[10]提出了具有斜率恢复功能的全局和局部自适应激活函数。基于域分解方法，XPINNs[11]、[12]因能有效建模多尺度问题并利用并行化加速训练过程而受到了广泛关注。Wang等人[13]、[14]提出了一种新的梯度下降算法，该算法根据神经切线核特征值自适应地改进训练收敛性，解决了不同损失分量收敛速率的差异问题。此外，他们还重新制定了PINNs损失函数，在训练过程中明确纳入了物理因果关系，从而显著提高了预测精度[15]。Anagnostopoulos等人[16]提出了一种基于残差的注意力机制，利用累积残差高效计算训练点的自适应权重，帮助优化器关注问题区域。有限基PINNs（FBPINNs）通过采用重叠域分解方法，在处理高频和多尺度问题时表现更优[17]。此外，多层FBPINNs通过促进子域之间的更好全局通信，在处理大量子域时进一步提高了效率和准确性[18]。通过结合float16和float32格式，并使用自动混合精度（AMP）进行训练，显著减少了训练时间和内存使用，同时保持了PINNs模型的精度[19]。McClenny等人[20]提出了自适应PINNs（SA-PINNs），以高精度求解具有陡峭梯度的PDEs，这是通过训练网络同时最小化损失和最大化权重实现的。对于Allen-Cahn方程，SA-PINNs在模拟后半段精度有所下降，这将在我们的后续研究中得到解决。SA-PINNs中使用的梯度下降/上升算法也被其他研究采用[21]、[22]。Kapoor等人（2024）[23]声称SA-PINNs无法准确模拟弹性基础上的Euler-Bernoulli梁和Timoshenko梁的动态。相比之下，我们成功地高精度预测了这两种梁的动态，从而在我们的GitHub仓库中反驳了这一说法。

两项研究探讨了使用SA-PINNs进行地震波建模，其中参考文献[24]明确采用了时域分解（TDD）方法，而参考文献[25]声称进行了TDD实现但未实际执行。如参考文献[25]的图16-17所示，第一个子域的预训练时间范围覆盖了整个波场的时间域，并且图15中仅报告了一个损失函数——表明实际上没有应用子域划分。参考文献[25]中提出的迁移学习策略在外推阶段省略了自适应权重的重新训练，这可能解释了他们论文中观察到的较差的外推性能。在参考文献[24]中，使用4个子域的模拟产生的误差水平与参考文献[25]中只使用一个子域的情况相似。尽管物理场景略有不同，但这两项研究解决的都是相同的地震波方程。这表明参考文献[24]中TDD方法的预测精度改进需要进一步验证。特别是，与单子域训练直接比较对于说明域划分的好处至关重要。我们的后续工作通过提供选择各种PDE问题的近乎最优分区数量的指南，解决了子域训练的这些关键问题，从而通过有效的域分解实现了高精度和适中的计算效率。之前的两项研究[24]、[25]主要关注线性PDEs，而本工作则关注非线性系统。此外，将非均匀TDD策略整合到SA-PINNs框架中，以处理具有显著多尺度现象的问题，例如这里考虑的2D Burgers’方程，从而进一步提高预测精度。

在本文中，我们提出了结合TDD的SA-PINNs（SA-PINNs-TDD）来求解Allen-Cahn方程、非线性Schr?dinger（NLS）方程、2D Navier-Stokes方程和2D Burgers’方程。SA-PINNs-TDD能够成功处理短时间和长时间PDE模拟，而原始的SA-PINNs在长时间场景中常常失败。这是因为损失函数中的初始条件（IB）损失项作为约束成分，限制了原始SA-PINNs的长时间模拟能力。因此，在远离初始条件的时间点，自适应机制的训练效果会降低。为了解决这个问题，开发了TDD和SA-PINNs的结合，通过针对每个时间段的动态量身定制的分区优化，实现了更高效的自适应权重训练。四个模拟案例的结果证明了所提出模型的有效性，显示出自适应机制能够在长时间模拟中持续关注具有较大PDE残差的区域。损失值和PDE残差的显著减少突显了分区训练相对于单子域模拟的有效性，并为所提出的方法提供了有力证据。长时间的分区训练对于评估PINNs的实际应用性至关重要，应成为未来研究的关键焦点。对于Allen-Cahn方程，使用2个子域的SA-PINNs-TDD比原始SA-PINNs[20]的精度提高了1-2个数量级，通过将权重分布细化到具有陡峭梯度的目标区域，将相对L2范数误差（RL2E）从10^-2降低到10^-4。对于NLS方程，原始SA-PINNs收敛到不准确的解，而SA-PINNs-TDD产生了精度为10^-5-10^-4的高精度结果。对于复杂的2D Navier-Stokes系统，SA-PINNs-TUD在长时间模拟中保持了短波的高预测精度，而原始SA-PINNs则失败了。对于2D Burgers’方程，标准SA-PINNs无法实现高预测精度，而通过非均匀分区训练改进的SA-PINNs能够有效捕获和预测多尺度和高梯度现象。非均匀分区方法基于分析底层物理系统的时变特性，并依赖于最初从均匀分区方法获得的结果。

SA-PINNs-TDD使用顺序的域级训练，其中一个域结束时刻的预测结果作为下一个域的伪初始条件（IC），从而实现逐步迁移学习。第一个域的严格预训练至关重要，因为其高精度预测为所有后续域保持精度奠定了基础。因此，这个初始子域通常需要更广泛的训练才能实现高精度收敛。相反，后续子域受益于从前一段传递的知识（伪IC），通常有助于优化过程并简化训练要求。此外，我们在GitHub仓库中使用单子域的SA-PINNs-TDD准确模拟了Euler-Bernoulli梁和Timoshenko梁的动态，克服了之前研究中SA-PINNs的局限性[23]。在PyTorch框架内实现SA-PINNs-TDD进行2D PDE模拟，与NVIDIA RTX 4070 GPU上的TensorFlow相比，具有更好的GPU内存效率和更短的训练时间。两种框架的性能比较基于解决一个2D PDE基准问题在GitHub仓库中呈现。

本文的其余部分组织如下。第2节描述了结合自适应机制和TDD方法来求解PDEs的SA-PINNs-TDD。第3节介绍了基于该模型求解Allen-Cahn方程、NLS方程、Navier-Stokes方程和Burgers’方程的高精度方法。最后，第4节提供了简要的结论和讨论。

### SA-PINNs用于求解PDEs
以下在域Ω∈Rd上定义的参数λ1, λ2, …, λm参数化的PDEs用于描述SA-PINNs模型：
{f1(x;u)=f1(x;?u?x1,…,?u?xd;?2u?x12,…,?2u?x1?xd;…;λ1)=0,
f2(x;u)=f2(x;?u?x1,…,?u?xd;?2u?x12,…,?2u?x1?xd;…;λ2)=0,
?fm(x;u)=fm(x;?u?x1,…,?u?xd;?2u?x12,…,?2u?x1?xd;…;λm)=0,
x=(x1,…,xd)∈Ω,
u=(u1(x), u2(x), …, um(x))表示要解决的耦合解的组合。x=(x1,…,xd)表示当前模拟中时变PDEs的t和x的组合。

### Allen-Cahn方程
本节研究了Allen-Cahn方程，因为原始SA-PINNs在后期时间点的预测精度较低。SA-PINNs-TDD计算的RL2E约为10^-4，比之前的结果[20]提高了1-2个数量级。Allen-Cahn方程通常出现在相场模型中，可用于模拟微观结构演变中的相分离过程[26]、[27]。以下是Allen-Cahn方程的数学模型。

### 结论和讨论
SA-PINNs-TDD通过采用顺序分区训练并结合时间界面的知识传递，将标准SA-PINNs扩展到长时间PDE模拟中。对第一个子域进行彻底的预训练对于建立准确的伪初始条件（IC）和减轻后续子域中的误差传播至关重要。所提出的模型在长时间模拟中成功解决了具有陡峭梯度、短波长和多尺度问题，而原始SA-PINNs则不能。

### CRediT作者贡献声明
魏华：撰写——原始草稿，软件，方法论，调查，形式分析，概念化。
董超：撰写——审阅与编辑，监督，软件，调查。
郑绍龙：验证，软件，调查。
吴宏宇：监督，资源，方法论。
程毅：软件，调查，形式分析。

### 利益冲突声明
作者声明他们没有已知的可能会影响本文工作的竞争财务利益或个人关系。

### 致谢
本工作得到了中国国家自然科学基金的支持，批准号为12475204和12305231。

魏华 | 董超 | 郑绍龙 | 吴宏宇 | 程毅