带数据约束的物理信息混合神经网络：Lorenz63案例研究

《Neural Networks》：Physics-Informed Hybrid Neural Networks with Data Constraints: A Case Study on Lorenz63

　　

摘要
物理信息神经网络（PINNs）是一种将物理先验知识融入神经网络的混合建模方法。通过将控制方程编码为损失函数中的软约束项，该方法实现了数据驱动方法与物理定律的有机结合。PINNs 在数据稀缺、高维空间和多物理耦合等复杂场景中表现出显著优势。然而，现有研究指出 PINNs 在处理强非线性动力系统时面临诸多挑战。具体来说，在复杂系统的数值预测中，系统状态变量之间的非线性相互作用会导致误差在各变量间的耦合与传播，从而阻碍物理约束项的有效优化。这种误差积累可能导致数据约束与物理约束的梯度方向不一致，从而削弱物理约束在训练过程中的实际引导作用。为缓解这些问题，本文提出了一种观测引导物理信息神经网络（OG-PINN）。通过将部分观测数据整合到物理驱动的损失函数中，该方法有效地调和了物理约束与数据约束之间的竞争性优化目标。该机制不仅增强了物理约束的鲁棒性，还显著减少了多变量预测误差对物理残差的干扰。因此，模型能更稳定地捕捉系统动力学。我们将 OG-PINN 应用于重构典型的非线性混沌系统洛伦兹 63（Lorenz 63）系统，并与传统 PINN 方法进行了系统对比。结果表明，OG-PINN 在多次训练样本实验中表现出优于 PINN 的性能，尤其是在长期预测方面，与 PINN 相比误差减少了高达 60%。这些实验不仅验证了 OG-PINN 在复杂动力系统建模中的有效性，也为数据稀缺和强非线性场景下物理约束深度学习提供了技术可行的途径。此外，我们还分析了正则化权重（$\lambda$）和训练样本量（N）对模型收敛性和泛化能力的影响。

引言
近年来，由于神经网络具有通用逼近能力和强大的表达能力，深度学习逐渐成为科学建模和模拟的重要工具。研究表明，深度学习能够有效表征复杂系统中的底层非线性输入输出关系。在实际应用中，大多数深度学习模型是纯粹数据驱动的，其训练过程往往不依赖底层的数学或物理定律。然而，尽管纯粹数据驱动的模型在训练数据集上表现出优秀的拟合能力，但其外推性能和泛化能力受到训练数据代表性和普适性的限制。这一限制可能导致显著的预测误差，甚至产生物理上不一致或不可靠的结果 (Cuomo et al., 2022; Karniadakis et al., 2021; Beucler et al., 2020; Shin et al., 2020; Tan & Luo, 2023; Y. Wang et al., 2024)。
为解决这些问题，Raissi 等人（2019）提出了物理信息神经网络（PINN）方法，旨在将观测数据与物理定律相结合 (Raissi et al., 2019)。通过将已知的物理方程编码为软约束融入损失函数，PINNs 在训练过程中同时纳入观测数据和物理原理。这种方法赋予了模型优异的泛化能力和计算效率，使其能够广泛应用于复杂的科学与工程问题 (Cai et al., 2021; Chiu et al., 2022; Kennedy et al., 2024; Mishra & Molinaro, 2023)。
然而，PINNs 在求解高度非线性、多尺度或混沌系统时仍面临多重挑战。一个常见问题是训练过程中损失函数中物理约束与数据约束之间存在显著竞争 (Beucler et al., 2020; Krishnapriyan et al., 2021; Lu et al., 2021; Xiang et al., 2022)。先前的研究表明，PINNs 的性能高度取决于物理约束和数据约束之间的平衡。过度强调物理约束可能使模型难以收敛，而过度依赖数据约束可能削弱模型的泛化能力 (Son et al., 2023)。
为缓解训练过程中数据约束和物理约束之间的竞争，研究人员曾试图通过调整损失函数权重来优化物理约束和观测数据的相对重要性 (Elhamod et al., 2022; Van Der Meer et al., 2022)。然而，此类方法往往依赖经验参数设置，缺乏普适性，且在高维空间中调节效率低下。为克服这些局限性，近年来出现了一系列自适应权重调整方法。一些算法基于梯度幅值或不确定性估计机制动态调整损失权重，部分缓解了损失项之间的竞争 (Kim et al., 2020; Xiang et al., 2022)。尽管这些策略在一定程度上展现了实际有效性，但它们尚未在理论上解决物理约束和数据约束收敛不一致的问题。此外，它们未能将这些约束整合到一个统一、协同优化的训练框架中。
本研究专注于 PINNs 训练中的挑战，特别是针对高度非线性问题。核心目标是探索 PINN 损失函数的优化策略，以缓解训练过程中数据约束和物理约束之间的竞争，从而增强模型的模拟和预测能力。
为解决此问题，我们提出了一种创新方法，将部分观测数据纳入 PINN 基于物理的损失函数计算中。该方法允许减少预测误差对物理约束的干扰，使训练过程中数据约束和物理约束的收敛方向更加协调。我们将该方法命名为观测引导物理信息神经网络（OG-PINN）。基于洛伦兹 63（Lorenz63）模型的实验表明，OG-PINN 显著加速了收敛，提高了预测精度，并增强了模型鲁棒性。我们进一步研究了损失函数权重和训练数据量对 OG-PINN 的影响。这些发现为使用 PINNs 模拟非线性耦合系统提供了新视角，并为解决实际应用中的复杂问题开辟了新路。
本文结构如下：第 2 节描述数据结构和神经网络架构，概述 Raissi 等人 (2019) 提出的基本 PINN 框架，并提出 OG-PINN 重构后的物理约束损失函数，以减少耦合系统中预测误差的干扰。第 3 节通过洛伦兹 63（Lorenz63）案例研究对比 OG-PINN 和传统 PINNs。第 4 节讨论损失函数权重和训练数据量的影响。第 5 节总结研究的主要发现，并讨论未来研究方向和潜在挑战。

章节片段
洛伦兹 63
本研究采用洛伦兹 63 模型，这是洛伦兹于 1963 年最初提出用于描述大气对流过程的一个经典非线性动力系统。它是非线性动力学和混沌理论研究中的一个关键里程碑。由于其数学简洁性以及能够展现典型的混沌行为，洛伦兹 63 模型被广泛用于科学研究中探究可预测性挑战 (Lorenz, 1963; Gianfelice et al., 2012; Hou et al., 2025)。模型使用以下公式在窗口内近似计算李雅普诺夫指数：
$LE = \frac{1}{t_M - t_1} \sum_{i=1}^{M} \log_2 \frac{d'_i}{d_i}$
其中 $M$ 代表不同初始条件的数量。在本研究中，由于滑动窗口计算和数据长度有限，我们通过设置固定积分步长 $\epsilon = 50$ 和窗口长度为 100 个时间步来简化计算，因此 $M$ 固定为 50。

两种神经网络性能对比
在本节中，我们对两种具有不同物理约束的 PINNs 进行了全面评估，并以无物理约束的传统 LSTM 作为对照案例。在神经网络训练过程中，几个关键参数对模型性能起着决定性作用。首先，物理损失权重 ($\lambda$) 对收敛行为和预测技巧都有显著影响。进行了一系列敏感性实验，旨在选择最佳

损失函数权重的影响
在构建 PINN 类神经网络时，损失函数权重的配置是一个关键超参数，直接影响模型的预测性能。为系统调查这一影响，我们使用 $T=50$ 的训练数据集进行了 10 次独立实验，评估了各种 $\lambda$ 超参数对 PINN 和 OG-PINN 预测能力的影响。图 10 展示了它们在不同 $\lambda$ 配置下的长期预测性能，提前期

结论与讨论
本研究深入分析了将物理信息神经网络（PINNs）应用于非线性系统时面临的挑战。在这样的系统中，变量间预测误差的复杂相互作用加剧了 PINN 优化中物理约束与数据约束之间的竞争，阻碍了物理约束的收敛，并使其容易陷入局部极小值。为解决这一局限，我们提出了一种改进框架——观测引导物理信息

CRediT 作者贡献声明
肖尧：构思、数据整理、验证、可视化、撰写 – 原稿、撰写 – 审阅与编辑、验证；唐友民：构思、正式分析、监督、撰写 - 审阅与编辑；李怡：调查、撰写 – 审阅与编辑；沈哲奇：调查与正式分析。

数据可用性
数据可根据要求提供。

利益冲突声明
作者声明不存在已知的竞争性财务利益或个人关系可能会影响本文报告的工作。

未引用参考文献
Liu 等人，2024 年，Roy 等人，2024 年

CRediT 作者贡献声明
肖尧：撰写 – 审阅与编辑，撰写 – 原稿，可视化，验证，数据整理，构思。唐友民：撰写 – 审阅与编辑，撰写 – 原稿，监督，正式分析。李怡：撰写 – 审阅与编辑，撰写 – 原稿，调查。沈哲奇：撰写 – 审阅与编辑，调查，正式分析。

利益冲突声明
所有作者均披露无相关关系。

致谢
本工作受中国国家自然科学基金资助（42130409, U24A20606, 42476193, 42450178）。

肖尧 | 唐友民 | 李怡 | 沈哲奇