面向复杂动力学系统长期外推的自训练域分解物理信息神经网络框架

《Neurocomputing》：A Self-Training Domain-Decomposed Physics-Informed Neural Network Framework for Long-Term Extrapolation in Complex Dynamical Systems

　　

•自训练和域分解被整合在一个统一网络中。
•物理引导的伪样本支持可靠的长期外推。
•与代表性基线方法相比，训练时间大幅减少。
•自适应激活和优化器预热有助于模型收敛。
•能量平衡终止条件限制了子域之间的误差积累。

引言
现实世界经常遇到复杂系统，其中输入和输出之间关系的描述需要构建计算/数值模型。然而，系统的复杂性以及关于其性能信息很少或没有，使得此类模型的应用成为一个主要挑战。解决这一挑战推动了基于机器学习算法的高效代理（或元）模型的发展，旨在缓解研究这些系统时的这一根本障碍。研究表明，对这类系统行为建模需要分析复杂的关系，而传统代理模型难以有效捕捉这些关系 [1]。

受此问题影响特别严重的领域是涉及结构化变量的时变复杂动力系统 [2]，[3]。这些系统引起了极大关注，因为它们涉及不确定参数或时变激励，以及高度非线性和非光滑响应。这些系统的行为通常由微分方程描述。在这方面，除了选择合适的代理基础模型外，开发此类系统的代理模型以预测其行为还需要特定的考虑。一般而言，代理建模的计算负担也会随着系统复杂度的增加而迅速随时间增长 [4]。

这些挑战在长期预测中变得更加突出，长期预测出现在机械、土木、航空航天、材料、能源、电气、岩土、水文、环境和制造等工程领域。在这些领域，准确估计对于确保安全、提高可靠性、进行成本效益维护规划、信息决策和优化资源管理至关重要。与短期预测不同，长期预测涉及更广泛的时间范围，需要不同级别的准确性，依赖于不同的代理建模方法，并且通常服务于不同的目标。更大的域通过引入更大的不确定性、扩展时期趋势的变异性增加、历史数据可用性有限、影响重大的未知或不可预测事件以及整体更高的建模复杂度，进一步放大了这些困难 [5]。

在此背景下，使用基于神经网络的代理模型进行现实应用中的长期预测存在一个关键局限，即在支持域之外的预测效果不佳 [6]。尽管在实验设计空间（EDS）内及其附近预测误差通常保持较小，但在外推下它们会大幅增加 [5]，可能导致可避免的模型故障 [7]。尽管取得了成功，传统神经网络强烈依赖于训练数据的数量和质量以及问题的固有插值特性，当数据稀疏时往往失效 [8]。尽管如此，深度神经网络（DNNs）在处理强非线性和维数方面的卓越优势 [1]，[9] 使其成为一个极具吸引力的研究方向。因此，文献中开发了各种类型的 DNN [10]。

在新兴类型中，物理信息神经网络（PINNs）[11] 最近因其在解决常微分方程（ODE）或偏微分方程（PDE）方面的简单性和有效性，成为传统代理建模方法的有希望替代方案而备受关注。通过将基础物理嵌入训练过程，高级形式的 PINNs 特别适合预测复杂系统的行为，并提供多种优势。利用神经网络作为通用逼近器，可以扩展至域并更高效地管理解空间以构建代理模型。同时，将控制方程纳入其结构提高了稀疏数据场景下的外推能力 [12]，并提高了空间中的抗噪鲁棒性 [13]，[14]，从而减轻局部误差对整体模型预测的影响。与纯粹的数据驱动方法相比，PINNs 还减少了对庞大且昂贵数据集的依赖，这些数据集通常需要计算复杂的模型 [15]。此外，它们扩展了神经网络的应用范围，使其涵盖正向和反向问题 [11]，特别是在无法通过经验访问所有参数的系统中。

尽管传统基于 PINN 的代理模型具有优势，但它们在预测动力系统的长期行为方面往往表现不佳 [16]。PINNs 需要对每个新样本进行重新训练，这限制了它们在实验空间之外进行外推的能力，特别是在工程应用中 [17]，[18]，[19]。虽然与训练数据量相关的基本收敛理论确保了收敛 [20]，但这些模型收敛的强理论基础仍然缺失 [17]。同样，在数据驱动学习和施加的物理约束之间实现有效平衡仍然是其发展中的一个主要挑战。它们还难以应对大数据集中的维数问题，主要是由于内存限制和收敛缓慢 [9]。由于维数增加，训练成本大幅上升，因为必须在大量配置点上施加物理约束 [21]，[22]。因此，构建统一神经网络并在复杂损失函数内优化其参数变得极具挑战性且计算成本高昂 [23]。除了文献中分类为零解、无传播和错误传播的模型训练失败模式外 [24]，这些限制对现实动力系统长期预测有重大影响 [9]。文献中通常探讨这些问题，以强调通过多网络方法开发创新策略的必要性 [25]。然而，此类方法导致解复杂性和计算成本增加，并在确保子网络之间的连续性方面造成困难 [26]。

本研究引入了 StDd-PINN 框架，该框架利用自训练和域分解在半监督学习范式下增强 PINN 性能。该方法旨在解决复杂场景中的 ODE 和 PDE，并在动力系统的长期预测中取得了实质性改进。该方法的主要目标总结为扩展超越实验/观测数据的外推能力，加速收敛，优化计算运行时间以达到所需精度，并在实验/观测数据仅覆盖域的一小部分时减少数据集需求。

StDd-PINN 框架通过三个阶段建立：(1) 构建初始代理模型以进行解决方案的全局搜索；(2) 域分解并在满足终止条件前迭代细化子域上的中间代理模型，促进局部搜索；以及 (3) 应用自训练方法扩展训练集，以推进至目标预测。所提出的方法突出了以下关键优势：
•统一的 StDd-PINN 模型利用 PINNs 的适应性，从标准神经网络（NN）构建的初始代理开始预测。这种方法减少了优化景观的复杂性，保持了解决方案的连续性，并减轻了第一次 PINN 构建过程中不同损失项之间的不平衡。另一方面，在每个隐藏层添加线性神经元的想法提供了网络架构灵活性。纳入设计的自适应激活函数（AAF）可以缓解学习复杂模式时的收敛缓慢或不收敛挑战。通过在 AAF 内动态调整斜率恢复系数并应用可微分变换，训练期间损失拓扑结构演变，加速了这一过程。优化器预热技术进一步加速了收敛。
•将域分解为较小的子域，同时保持相邻子域之间的重叠并逐步构建统一的物理信息模型，不仅减少了问题的复杂性，还解决了传统域分解方法中常见的解不连续问题。这种方法增强了模型捕捉局部模式的能力并提高了预测准确性，这是传统 PINNs 的主要局限之一。
•采用均匀采样选择配置点，以突出配备在提议框架中的其他辅助工具的效果。相应地，在此框架中嵌入了均匀配置点采样的双分布机制，以将学习聚焦于活动子域，并随后减少与损失评估相关的计算需求。通过充分训练每个子域，直到满足基于能量平衡的终止条件（由能量一致性和物理信息损失定义），进一步实现了运行效率。满足这一创新终止条件也增强了解决方案的连续性并防止了子域转换期间的误差积累，从而提高了整体代理准确性。
•利用自训练方法 [27]，[28]，[29]，[30]，模型本身生成伪样本并逐渐将它们分配到训练集中，在达到期望精度的位置稳定中间预测。伪样本在模型构建的后续阶段保持损失项的平衡贡献，特别是当实验/观测数据远离目标区域时。一种新颖的基于物理的富集准则确保伪样本在整个域内遵循控制物理定律，消除了纯粹基于数学的方法中常见的不匹配问题。这一想法解决了实验数据稀缺的问题，并在复杂系统中实现了可靠的长期动态预测，同时克服了文献中报告的先进 PINN 变体在时空问题中的域管理局限 [24]，[26]。

本文组织如下。第 2 节首先介绍研究背景，包括 PINNs 的结构以及在解决计算问题时提高其性能的必要性。然后回顾文献中的最新进展，以证明提议方法背后策略的相关性和效率。第 3 节概述了建议的 StDd-PINN 框架。第 4 节定义了用于评估提议模型性能的评价指标。第 5 节通过检查基准测试说明了 StDd-PINN 在正向问题中的有效性，包括一维阻尼谐振子、杆中的热扩散和对流方程。StDd-PINN 在对流方程中的预测也与先前调查的结果进行了比较，以验证输出发现。第 6 节总结了全文并提供了未来研究的可能方向。

章节片段
背景
本节介绍了 PINNs 的第一种形式，称为原始 PINNs。提供了文献中讨论的模型开发技术的简要概述，重点强调了挑战。随后，借鉴先前研究的见解，详细阐述了构成提议 StDd-PINN 模型基础的选择策略的重要性和有效性。同时，其他用于外推具有
StDd-PINN 框架概述
本研究引入了 StDd-PINN，一个集成了自训练方法和域分解的物理信息神经网络（PINN）框架。具有时间或时空组件的动力系统的长期预测特别适合此框架，该框架旨在解决复杂问题中的 ODE 和 PDE。
开发此代理模型的主要目标是扩展预测超越可用
性能评价指标
通常，PINNs 的总损失函数由基于数据的损失（衡量预测输出与观测输出之间的差异）和基于物理的损失（估计遵循控制方程的误差）组成。总损失表明，PINN 不仅拟合数据，还与问题的基础物理保持一致。在本工作中，StDd-PINN 的损失函数使用均方误差（MSE）计算，如公式 (5) 所示。
MSE= 数值结果
本节调查了三个时变基准问题，包括一维阻尼谐振子、杆中的热扩散和对流方程，以验证正向问题的结果并展示 StDd-PINN 在分别解决 ODE 和 PDE 方面的有效性。
每个基准问题的结果旨在回答关于提议策略效率的特定问题。谐振子基准旨在评估
结论
本研究提出了 StDd-PINN，一个先进的 PINN 框架，在统一网络中结合了自训练和域分解方法，以解决复杂场景中的 ODE 和 PDE。该框架旨在扩展超越 EDS 的外推能力，减少对手工观测/实验数据的依赖，并加速收敛至非线性动力系统长期预测所需的精度。它特别适合于
资金
本研究未获得任何公共、商业或非营利部门资金机构的资助。
CRediT 作者贡献声明
Vahid Broujerdian：写作 – 审阅与编辑、监督、方法学、概念化。Zeynab Azarhoosh：写作 – 原稿、软件、方法学、调查、形式分析。Majid Ilchi Ghazaan：写作 – 审阅与编辑、监督、方法学、概念化。
利益冲突声明
作者声明他们没有已知的竞争财务利益或个人关系可能会影响本论文中报道的工作。
致谢
作者衷心感谢 M。

感谢德黑兰理工大学工程学院的Nikoofaraz对本研究的推进作出重大贡献。利益冲突声明：通讯作者代表全体作者声明，不存在可能影响本文所述研究的竞争性经济利益或个人关系。Zeynab Azarhoosh是伊朗科学与工业技术大学（IUST）土木工程博士候选人，位于伊朗德黑兰。她先后获得德黑兰 Sharif 科技大学土木工程专业学士学位以及伊朗科学与工业技术大学土木工程-地震工程方向硕士学位。她在学业期间多次获得学术奖励。她的研究方向包括复杂系统不确定性量化的代理建模以及人工智能的发展与…… Zeynab Azarhoosh|Vahid Broujerdian|Majid Ilchi Ghazaan