基于物理原理的LSTM-注意力机制在预测耦合二次势场中的三维布朗运动中的应用

《Physica A: Statistical Mechanics and its Applications》：Physics-informed LSTM–attention for predicting three-dimensional Brownian motion in coupled quadratic potentials

　　李俊华|王春阳|赵鹏晨|任一轩|Joelous Malamula Nyasulu 中国烟台264025，鲁东大学物理与光电子工程学院理论物理研究所

摘要
我们研究了三维耦合二次势场中布朗粒子的随机动力学，并提出了LAP模型，这是一种结合了LSTM、注意力机制以及离散时间物理约束的自回归模型。与基于自动微分的连续时间PINNs不同，LAP通过零均值有限差分朗之万残差以及基于涨落-耗散关系的协方差匹配，来确保采样自回归轨迹的物理一致性。以欧拉-马鲁亚马轨迹作为数值参考，而在相同数据集和训练方案下，无约束的LSTM-注意力模型LA则作为基准模型。实验结果表明，相较于LA，LAP能够降低平均位移误差、逐步预测误差以及速度偏差。同时，LAP在再现参考轨迹的均方位移和势能演化方面表现更好，其速度自相关衰减趋势也与参考值相当。参数分析表明，对角线上的质量项和阻尼项主要控制着惯性效应和耗散时间尺度，而非对角线上的耦合项则更强烈地影响轨迹几何形态和转向行为。这些结果表明，LAP为三维二次势场中物理一致的轨迹预测及参数效应分析提供了可行的框架。

引言
在分子动力学中，二次势场常被用来近似平衡点或鞍点附近势能面的局部结构。这类势场为研究布朗粒子在势垒附近的运动以及分析多维耦合效应提供了相对清晰的理论模型。此类随机动力学通常可以用朗之万方程描述，并且应满足涨落-耗散关系。在该框架中，质量矩阵、阻尼矩阵和二次势场矩阵分别决定了惯性响应、耗散松弛以及势场引起的力。在多维系统中，质量矩阵和阻尼矩阵中的非对角线元素进一步引入了不同自由度之间的惯性和耗散耦合，因此通常无法直接从低维模型推断出轨迹形态、速度相关结构以及噪声响应。朗之万随机动力学、奥恩斯坦-乌伦贝克过程、昂萨格互易关系以及克拉默斯势垒穿越理论构成了布朗运动、线性响应以及反应速率理论的重要基础[1]–[5]。值得注意的是，后来在西方文献中被称作格林-库博关系的概念，早在20世纪40年 Vladimirsky的苏联文献中就已出现[6]。此后，Callen和Welton从量子波动的角度提出了广义涨落-耗散定理[7]，Green通过引入时间相关函数公式建立了输运系数的微观表达式[8]，而Kubo则在统计力学线性响应理论框架内进一步系统化了不可逆过程和涨落-耗散定理[9]–[10]。这些研究从不同角度揭示并完善了随机力、耗散与输运现象之间的内在联系。在此基础上，非平衡热力学、广义朗之万方程、福克-普朗克方程以及随机微分方程等理论框架为噪声驱动系统的建模与分析提供了系统支持[11]–[15]。对于在二次或局部二次势场中的随机运动，以往的研究已经探讨了势垒穿越、多维朗之万扩散、非平衡谐波环流、二维二次势场中的扩散以及双温度布朗动力学等问题，从而揭示了势场结构、阻尼机制以及热噪声如何影响轨迹演化[16]–[20]。进一步的研究则涉及奥恩斯坦-乌伦贝克过程的时均统计特性、三维势能面上的最优扩散路径、二维耦合二次势场中的束缚与非束缚行为、随机切换的谐波陷阱以及时变扩散过程，这些研究表明初始分布、惯性项、势场耦合以及扩散统计特性都可能影响有限时间内的轨迹行为[21]–[25]。尽管这些研究从不同角度深化了对二次势场中随机运动的理解，但现有工作更多关注的是过渡概率、反应速率、稳态统计量、时均量或最优扩散路径。因此，三维耦合系统中不同初始参数组合对有限时间轨迹演化的系统影响仍有待进一步研究。尤其是当质量矩阵和阻尼矩阵都包含非对角线耦合项时，仍需要一种统一且实用的方法来理解初始方向、初始速度、惯性耦合以及耗散耦合如何共同改变有限时间内的轨迹形态及其相关的物理统计特性。

机器学习为上述有限时间轨迹预测问题提供了一种可能的技术途径。与传统基于统计观测量的事后分析不同，基于学习的模型可以直接从轨迹序列中提取时变结构，并将其用于后续的状态预测、动力学特征描述以及模型评估。以往的研究表明，随机模型不仅可以用来解释运动数据中的相关性结构，还能用于支持轨迹预测任务[26]。在序列建模方面，LSTM网络能够处理轨迹数据中的长期和短期时间依赖性，而自注意力机制则有助于提升长时间序列以及多组分状态关系表示的能力[27]–[28]。在单粒子及粒子轨迹分析领域，机器学习已被用于扩散类型识别、异常扩散指数估计、扩散模式分类以及密集粒子系统中的轨迹跟踪，展现了其从随机序列中提取有效特征的能力[29]–[33]。异常扩散挑战、单轨迹的机器学习表征以及贝叶斯深度学习进一步表明，机器学习方法在复杂扩散数据的分类、参数估计以及不确定性分析方面具有潜在应用价值[34]–[37]。此外，从布朗轨迹反演力场以及机器学习校准研究也表明，粒子位移序列可用于推断局部力场信息，且该方法可扩展到非保守或时变力场。将随机微分方程与图神经网络相结合的布朗动力学学习模型进一步表明，引入具有动态结构的轨迹数据有助于从观测序列中提取更可靠的物理信息[38]–[40]。与此同时，SINDy和PDE发现方法推动了从数据中识别动力学方程的工作[41]–[42]，而神经ODE、神经SDE以及哈密顿神经网络则进一步将神经网络与连续动力学系统以及结构受限动力学联系了起来[43]–[46]。物理引导型神经网络和物理引导型机器学习进一步强调了在数据拟合中引入方程残差或物理先验有助于约束模型输出，使其更符合已知的物理定律[47]–[48]。用于随机微分方程中隐含物理规律学习的物理约束神经模型，以及基于Transformer的随机动力学学习模型，也为噪声驱动系统中的轨迹建模提供了有益参考[49]–[50]。然而，对于三维耦合朗之万随机轨迹预测而言，如何平衡长期预测能力与物理统计一致性仍是一个值得深入研究的问题。仅依靠坐标误差最小化驱动的深度自回归模型可能会倾向于学习条件均值行为，从而在长时间预测中平滑部分样本级的随机波动，进而可能导致均方位移、速度统计量或噪声协方差偏离涨落-耗散关系所要求的形态。因此，在三维耦合朗之万随机轨迹预测中，模型不仅需要具备序列预测能力，还应在离散时间层面尽可能保持动力学残差与噪声统计的一致性。

基于上述考虑，本研究探讨了三维耦合二次势场中布朗粒子的运动规律，并提出了一种结合了LSTM、多头自注意力以及离散时间物理约束的轨迹预测模型。该模型被称为LAP，即LSTM-注意力物理引导预测器。其中LSTM组件用于从轨迹序列中提取时间依赖性，而多头自注意力机制则用于增强长时间序列以及多组分状态变量之间关系的表示能力。需要强调的是，本研究并未将注意力权重直接解读为真实的物理耦合强度，而是将其作为一种网络结构，用于提升序列表示能力。与传统的连续时间PINNs不同，LAP并不使用自动微分在连续时间配置点计算方程残差，而是在离散预测的自回归轨迹上构建有限差分朗之万残差，进而使重构的随机增量协方差与涨落-耗散关系所给出的理论协方差相匹配。通过这种方式，该模型不仅考虑了轨迹拟合问题，还兼顾了动力学均值一致性与噪声统计一致性。本研究的主要贡献有三方面：首先，从物理角度出发，研究了初始方向、初始速度以及质量矩阵和阻尼矩阵的对角线与非对角线耦合项如何影响三维耦合系统中的有限时间轨迹形态；其次，从方法论角度出发，将离散时间朗之万残差约束以及基于涨落-耗散关系的噪声协方差约束引入LSTM-注意力自回归预测框架，旨在减少纯数据驱动的长时间预测过程中可能出现的物理统计偏差；最后，从验证角度出发，以欧拉-马鲁亚马模拟轨迹作为数值参考，将LAP与没有物理约束的LSTM-注意力基准模型LA进行比较，通过平均位移误差、逐步预测误差、均方位移、速度自相关函数、势能演化以及速度偏差等指标评估模型性能，并对噪声统计一致性进行了分析。在此基础上，我们还进一步研究了在不同参数条件下，LAP再现欧拉-马鲁亚马轨迹主要演化趋势的能力。第2节介绍了物理模型和深度学习模型，第3节给出了模型比较与参数分析结果，第4节总结了主要结论与局限性。

物理模型
我们研究的是布朗粒子在三维二次势场中的随机扩散行为。在本文中，若未特别说明，重复出现的张量指标表示对空间分量1至3的求和。矩阵量用m、β和ω表示，其分量分别为mij、βij和ωij；向量量用x、v和ξ表示，其分量为xi、vi和ξi。粒子的动力学行为由欠阻尼朗之万方程描述：mijx?j(t)+βijx?j(t)+ωij

结果与讨论
传统的时序预测模型主要依赖纯数据驱动的学习方式，因此在长时间自回归预测过程中容易出现误差累积以及物理统计不一致性问题。受物理引导学习的启发，我们将朗之万动力学约束以及噪声统计约束引入LSTM-注意力架构中，从而构建了LAP模型。作为对比，我们采用了没有物理约束的纯数据驱动模型LA作为基准。这两种模型都使用了……

结论
本研究开发了一种基于物理引导的深度学习框架，用于预测三维耦合二次势场中布朗粒子的长时间轨迹，并提出了LAP模型。与那些利用自动微分计算方程残差的传统连续时间PINNs不同，LAP直接对朗之万残差施加了统计意义上的零均值约束，同时对离散时间自回归预测结果施加了基于涨落-耗散关系的噪声协方差约束。

CRediT作者贡献声明
李俊华：写作——审阅与编辑，写作——初稿撰写，概念构思。王春阳：写作——审阅与编辑，监督指导，项目管理，资金获取，形式分析，数据整理，概念构思。赵鹏晨：资源协调，实验研究。任一轩：模型验证，软件开发。Joelous Malamula Nyasulu：结果可视化，监督指导。

利益冲突声明
作者声明不存在任何可能影响本文研究的已知财务利益或个人关系。

致谢
本研究得到了山东省自然科学基金的支持，项目编号为ZR2020MA092。