通过自回归等变网络实现无外力分子动力学模拟
《Nature Machine Intelligence》:Force-free molecular dynamics through autoregressive equivariant networks
【字体:
大
中
小
】
时间:2026年05月06日
来源:Nature Machine Intelligence 23.9
编辑推荐:
**摘要**
分子动力学模拟在科学研究中发挥着至关重要的作用。然而,其计算成本往往限制了可以探索的时间尺度和系统规模。大多数基于数据的方法都集中在降低求解运动方程所需的精确原子间力的计算成本上。尽管取得了成功,但这些机器学习原子间势仍然受限于较小的时间步长。在这项工作中,我们
**摘要**
分子动力学模拟在科学研究中发挥着至关重要的作用。然而,其计算成本往往限制了可以探索的时间尺度和系统规模。大多数基于数据的方法都集中在降低求解运动方程所需的精确原子间力的计算成本上。尽管取得了成功,但这些机器学习原子间势仍然受限于较小的时间步长。在这项工作中,我们引入了TrajCast,这是一个基于自回归等变消息传递网络的通用且数据效率高的框架,它可以直接更新原子位置和速度,从而摆脱了传统数值积分所带来的限制。我们在包括小分子、晶体材料和体液在内的多种系统中对本框架进行了基准测试,结果显示在结构、动力学和能量属性方面与参考分子动力学模拟的结果非常吻合。此外,我们还表明TrajCast能够在不需要额外训练的情况下泛化到相空间的未见过区域,在亚稳态平衡和非平衡状态下生成具有物理意义的原子轨迹集合,而不会影响预测准确性。根据系统的不同,TrajCast允许的时间步长可以是传统MD时间步长的30倍以上,例如对于一个包含4000多个原子的固体,每天可以生成超过15纳秒的轨迹数据。通过实现高效的大规模模拟,TrajCast能够加速材料发现,并探索传统模拟和实验无法触及的物理现象。
**主要内容**
分子动力学(MD)模拟是现代科学中不可或缺的工具,它为蛋白质折叠1、压力对材料的影响3、过冷液体中的液-液转变7、非晶化10等复杂现象提供了机理上的洞察。这些现象仅通过实验很难或无法研究。通过数值积分运动方程,这些模拟可以为所有N个原子生成随时间变化的原子位置r(t)和速度v(t)的轨迹。然而,以第一性原理精度获得这些轨迹在计算上非常耗时,通常仅适用于包含几百个原子的系统以及时间尺度最多为1纳秒的情况。这些计算成本主要源于:(1)需要精确近似薛定谔方程以获得可靠的力;(2)由于离散化误差与积分时间步长的立方缩放关系,需要数百万个积分步骤。因此,出现了两种加速轨迹生成的策略:一种是通过提高力预测效率,另一种是通过使用更大的时间步长来演化系统。
机器学习原子间势(MLIPs)属于第一类策略,它们能够将从头算得到的力的计算速度提高几个数量级13-16。这些模型在电子结构计算可行的小系统上训练,可以在更广泛的、化学性质相似的系统中准确表示势能面,而无需直接参考数据。这使得我们能够研究更长的时间和长度尺度,例如对含有4400万个原子的人类免疫缺陷病毒的纳秒级模拟17,以及在模拟中发现的令人兴奋的现象,包括受限条件下的水的超离子相18和硅的结构及电子相变19。该领域已经从基于核的方法快速发展到等变图神经网络(GNNs)20-31,并且最近出现了基于周期性表大部分元素训练的基础模型32-36,这些模型可以根据具体系统进行微调。
另一方面,多时间步长(MTS)积分器37-38遵循第二种策略,它们为变化迅速的相互作用(如原子键)分配较短的时间步长,为变化缓慢的相互作用分配较长的时间步长。虽然MTS积分器通常与经典势能一起使用以利用它们的固有权衡,但最近的研究39通过同时训练一个用于短时间相互作用的较小模型和一个较大的模型,实现了3倍的加速。然而,MTS积分器在系统某些部分对小时间步长的依赖性是一个根本限制,需要进一步验证其在更复杂系统中的有效性。最近的替代方法BoostMD40利用之前时间步长的参考MLIP的节点嵌入来预测后续构型的能量和力,从而允许模型在较少的完整MLIP评估之间更快地运行。
生成式机器学习方法则超越了MTS的概念,试图在不需要计算或积分原子间力的情况下高效生成代表性的配置或完整轨迹。Boltzmann生成器41直接近似玻尔兹曼分布,但产生的样本是时间无序的,因此无法提供动态洞察。传统和循环神经网络已被用于插值MD轨迹42以及预测动力学43,其时间步长比传统MD模拟中的时间步长长1000多倍44。然而,这些方法使用固定的粒子数,限制了它们在难以获得精确从头算参考数据的大规模问题上的应用。
基于流动的Timewarp 45模型则通过自回归方法生成MD轨迹,其时间步长可达10^5飞秒,并已被证明可以泛化到未见过的肽类。尽管Timewarp及其最近的生成式竞争者ITO46、MDGen47和LiFlow48提高了计算速度,但这些方法仅能传播原子位置,无法完整保留系统的动量状态。这种对完整相空间覆盖的缺失不仅妨碍了传输性质的计算,还引入了不确定性,因为相同的配置可能对应不同的温度,限制了跨热力学变量的插值。其他深度学习架构,如等变图神经运算符49以及Fu等人50和Nam等人48的工作,要么基于化学键或特定原子运动模式的假设,要么仅关注重原子的运动。虽然这些归纳偏见可能在特定任务上提高性能,但它们限制了对涉及键断裂和形成的反应性系统的泛化能力。此外,大多数生成模型需要数百纳秒的训练数据,并且主要在小分子和肽类上进行评估,因此它们在材料和凝聚态物质上的应用尚未得到充分探索。
在这项工作中,我们引入了TrajCast,这是一个利用等变消息传递神经网络(MPNNs)自回归预测分子系统下一状态的框架。与大多数从预测能量推导力的MLIPs不同,TrajCast直接输出在Δt时间间隔内的下一个状态(位置和速度),其中Δt至少比传统MD模拟中的典型时间步长大一个数量级。通过保持轨迹的连续性,TrajCast恢复了系统的动力学特性,并能够计算时间依赖的属性。生成全状态轨迹确保了系统的完整表示,从而可以跨不同温度范围进行插值和外推。TrajCast不对化学键做出假设,原则上能够对反应性系统进行建模。依靠局部环境,TrajCast具有高度的可扩展性和通用性,使得在小系统上训练的模型可以直接应用于更大或化学性质相似的系统。此外,TrajCast的数据效率非常高,只需要不到1纳秒的轨迹训练数据即可实现准确的预测。我们在从小分子到晶体固体、体液以及非平衡、动力学停滞的系统范围内验证了其准确性,展示了其在不同领域中的一致性、鲁棒性和多功能性。我们还表明,TrajCast可以泛化到其训练分布之外,探索相空间的未见过区域。根据系统的不同,TrajCast使用的时间步长可以是传统MD时间步长的10到30倍。通过避免梯度计算,这使得TrajCast能够生成超过15纳秒的轨迹,例如对于含有4300个原子的晶体石英和含有5100个原子的液态水,每天可以生成相应的轨迹数据。
**结果**
我们首先概述了TrajCast框架,用于预测原子系统的时间演化,如图1所示。TrajCast采用自回归方式生成轨迹,其中状态x(t + Δt)是从x(t)生成的,并用于预测下一个时间间隔Δt的状态(图1a),从而保持了传统MD的马尔可夫性质。我们提出的方法的核心是一个等变MPNN,它以原子位置r(t)、速度v(t)和原子类型Z作为输入。MPNN不通过小时间步长δt进行数值积分来估计原子力,而是直接在较大的时间间隔Δt ? δt处预测新的位置rΔt = r(t + Δt)和速度vΔt = v(t + Δt)(如图1a中的灰色框所示)。具体来说,MPNN近似求解牛顿运动方程,从而在微正则粒子数(N)、体积(V)和总能量(E)(NVE)的集合内演化系统。为了从正则N、V、温度(T)(NVT)集合生成轨迹,并与通常在恒定温度下进行的实验进行比较,我们在每次MPNN前向传递后应用速度重缩放(CSVR)恒温器51,并调整预测速度以达到所需的温度。关于等变MPNNs、统计集合以及完整的架构和训练细节的更多信息可以在“方法”部分找到。
**图1:TrajCast框架的概览。**所有来自MD的性质都是使用与TrajCast预测范围相同的帧频率计算得出的。图2:比较了具有7-fs预测范围的MD和TrajCast中扑热息痛的性质。该图像的替代文本可能是使用AI生成的。完整尺寸图像:a、基于元素特定的VDOS比较了动态性质。b、通过比较TrajCast生成的轨迹在后处理中计算的势能分布,并使用与参考MD相同的力场来验证能量学。c、自由能障碍驱动系统的动力学,其行为在图顶部分别为MD和TrajCast显示。FES是通过采样两个二面角ψ1和ψ2生成的,在中间面板中可视化,其中氢显示为白色,氧显示为红色,碳显示为灰色,氮显示为蓝色。中间面板可视化了扑热息痛在不同二面角对下的不同实现,颜色与FES中对应的点相匹配。障碍是根据FES上显示的切割线计算的,并在底部面板中相应着色。源数据。图2a中的物种分辨振动密度态(VDOS)在可分辨的频率范围内(Δt = 7fs时约为2,400 cm?1)与MD有极好的一致性,重叠得分约为0.95。与较大的MD时间步长不同,TrajCast没有引入由于积分伪影导致的峰位移动。势能分布(图2b)在使用相同力场进行后处理后计算得出,这与TrajCast从Boltzmann分布中采样的结果非常吻合,表明分子的结构特征得到了很好的恢复。我们进一步通过计算两个二面角ψ1和ψ2的自由能面(FES)来评估TrajCast的动力学,这两个二面角对应于羟基和胺的扭转旋转(图2c)。MD和TrajCast的FES吻合得很好,都捕捉到了扑热息痛的顺式和反式构型。定量来看,ψ1 = 0和ψ2 = 0处切割线上的障碍分布非常接近,偏差在kBT以内,其中kB是Boltzmann常数。胺的翻转(|xψ2| > π/2)被一个约为7kBT的障碍所分离,定义了不同的亚稳态盆地。虽然这种构象转变可以通过长时间无偏模拟来捕获,但值得注意的是,训练集中不包含|xψ2| > π/2的构型(补充章节C.1)。尽管如此,TrajCast在展开过程中正确生成了翻转状态并恢复了相应的自由能障碍,证明了其逃离已知最小值并在其训练分布之外进行泛化的能力。总体而言,动力学、能量学和动力学上的一致性为TrajCast能够可靠地预测孤立分子的轨迹提供了强有力的证据,它通过学习局部原子运动的条件概率隐式编码了势能面。
现在我们将我们的框架应用于凝聚态相的基准测试,从图3a所示的结晶α-石英开始。为此,我们在包含162个原子的系统在300 K下的MD模拟中的5,000个样本上训练我们的MPNN。与气相分子不同,形成周期性晶格的粒子表现出更受限制和相关的运动,这使我们能够将预测范围设置为Δt = 30 fs,是MD时间步长的30倍,同时仍然生成稳定和准确的轨迹。与前一节类似,我们基于VDOS和能量分布来比较TrajCast和MD,如图3b和3c所示。这些性质是根据对应于500,000次TrajCast预测的15 ns长度的轨迹计算得出的。图3:评估TrajCast在具有30-fs预测范围的结晶石英上的表现。该图像的替代文本可能是使用AI生成的。完整尺寸图像:a、用于训练和验证TrajCast的石英原子构型示意图。红色球体代表氧原子,而棕色球体代表硅原子。b、基于元素特定的VDOS比较动态性质。c、通过使用与参考MD相同的力场在TrajCast生成的轨迹后处理中计算的势能分布来验证能量学。源数据。我们发现TrajCast在可分辨的频率范围内(Δt = 7fs时约为2,400 cm?1)与MD参考值非常吻合,VDOS重叠得分超过0.95,对于两种原子类型都是如此,并且能量分布几乎相同。零频率处的峰值是由于系统规模小和时间采样分辨率低而产生的伪影。我们观察到,当轨迹以10 fs或更小的间隔采样时,这一现象在MD和TrajCast中都消失了。在大时间间隔内准确再现动力学和能量学表明TrajCast是研究固体平衡性质的有用工具。在补充章节B.3中,我们展示了我们的方法随着系统规模的增加而高效扩展,能够每天为包含约4,300个原子的3 × 3 × 3石英超胞生成接近20 ns的轨迹。作为对比,使用广泛使用的MLIP MACE架构的MD模拟通常每天只能为1,000个原子生成大约1 ns的轨迹。除了原始晶格之外,这使得TrajCast非常适合探索缺陷材料,在这些材料中,研究低缺陷浓度下的现象需要特别大的系统规模。
最后,我们使用在常温条件下的64个分子训练了一个用于液态水的TrajCast模型(图4a),这是ab initio研究液态水的常见设置,训练样本量为5,000个,Δt = 5 fs。预测范围是MD时间步长的十倍,但小于石英的预测范围,反映了分子液体的更复杂动力学。我们生成了一条2.5 ns的轨迹(500,000步)与MD进行比较,并基于VDOS、均方位移(MSD)和径向分布函数(RDF)来验证TrajCast。图4:在具有5-fs预测范围的液态水上对TrajCast进行基准测试。该图像的替代文本可能是使用AI生成的。完整尺寸图像:a、液态水瞬时构型的快照,其中氢原子显示为白色,氧原子显示为红色。b、TrajCast和MD之间元素特定VDOS的比较。c、氧原子的MSD在长达10 ps的相关时间内。扩散系数是根据参考文献55中概述的程序,在1到10 ps范围内对斜率进行拟合计算得出的。阴影区域代表围绕平均值的三倍标准偏差,是在四个区块上计算得出的。d、基于RDF中化学元素的成对组合来验证分子液体结构。VDOS(图4b)在整个频率范围内对于氧和氢都显示出近乎完美的一致性,重叠得分约为0.99。这强烈表明TrajCast准确地捕捉了从高频分子内弯曲和拉伸到低频分子间平移和摇摆的不同模式的分子运动。补充这一点的是,MSD(图4c)在弹道区域(τ ? 0.5 ps)内吻合得很好,而在更长的时间尺度上略有偏差,这可能是由于误差累积造成的。使用TrajCast和MD分别得到的扩散系数分别为2.18 ± 0.19和1.84 ± 0.03 × 10?9 m2 s?1,证实了液体动力学的可靠预测。除了动力学之外,RDF(图4d)在所有成对元素组合上都显示出极好的一致性,只有O–O RDF略有欠结构化,这与略微更高的扩散系数一致。这些基准测试表明,我们的方法能够高效地捕捉室温下液态体的动力学和结构特性。即使Δt = 5.0 fs,TrajCast也为一个包含超过5,000个原子的3 × 3 × 3超胞每天生成超过1 ns的轨迹(补充章节B.3)。
先前的实验表明,TrajCast能够准确再现其训练过的系统的性质。然而,许多问题需要模拟来探索相空间的未见区域,例如过冷和玻璃态的形成,这对生成模型来说是一个挑战,因为它们需要超出其训练分布进行泛化。为了测试这一点,我们使用仅在常温条件下训练的水模型进行了零-shot评估,以预测冷却过程中非晶化和超冷玻璃态(HGW)的形成。HGW具有复杂的势能景观,不同的冷却协议会导致不同的结构特性,这使得这是一个特别具有挑战性的测试。我们对一个包含216个水分子的系统进行了四次独立的NVT展开,以恒定速率q = 10 K?ns?1从300 K冷却到180 K,这与最近的一项MLIP研究一致,每次运行的最终时间为12 ns和240万自回归步长。值得注意的是,尽管冷却过程远远超出了训练期间的温度范围,但所有四条轨迹都保持稳定。图5比较了水的动力学和结构与参考MD模拟的结果(详细结果见补充章节C.2)。扩散系数(图a)在整个温度范围内与MD非常吻合,只有在T ≈ 210 K时有一个小偏差,这与系统进入玻璃态时动态停止的开始时间相吻合。在选定的温度下,TrajCAST和MD的氧-氧RDF几乎无法区分。冷却过程中,第一个和第二个RDF峰变得更加尖锐,而峰间区域逐渐失去了水分子,这与文献中关于HGW的报道一致。图5:液态水非晶化的零-shot预测。该图像的替代文本可能是使用AI生成的。完整尺寸图像:a、从300 K冷却到180 K时扩散系数的演变,这是通过MD和TrajCAST NVT轨迹计算得出的。点是四次独立运行的平均值,误差条表示标准偏差。线作为视觉引导。b、通过MD和TrajCAST在不同温度下选择的氧-氧RDF捕捉到的冷却过程中水结构的变化,显示出几乎相同的行为。每个RDF根据其相应温度进行着色。c、冷却过程中平移(τ)和取向(Q)序参数之间的关系。MD和TrajCAST遵循相同的结构演变,最初在平衡时是线性的,在几乎相同的点偏离这一趋势。虚线标记了295 K到265 K之间MD数据的线性平衡拟合。标记根据相应的温度进行着色。所有属性都是在1 ns的段上平均得出的,对应于10 K的温度间隔,结果值被分配给每个段的中点温度。根据参考文献65的分析,我们使用序参数τ和Q来评估结构动力学,它们分别量化了长程平移和短程取向序。所得到的结构图显示,MD和TrajCAST占据了τ–Q平面的相同区域,在几乎相同的点偏离平衡,证实了TrajCAST准确捕捉到了MD中观察到的结构演变。尽管仅在常温条件下的液态水上进行了训练,TrajCAST仍然再现了玻璃转变,并且与HGW的实验观察结果相匹配,外推到了其训练范围之外的未见配置和速度。最近的研究表明,MLIPs也可以在没有显式训练非晶结构的情况下再现玻璃态水;然而,它们的训练集需要包含晶体冰的配置。相比之下,TrajCAST在远小且多样性较低的训练集下实现了可比的准确性,突显了其数据效率和泛化能力。
到目前为止,我们展示了单一预测范围和固定训练集大小的结果。为了探索它们的影响,我们改变了所有三个系统的这些参数(图6),每个设置下训练了三种具有不同初始权重的模型。为了便于比较,我们将预测范围表示为MD时间步长的倍数(MTM),并关注相对速度MAE。图6:预测范围和训练集大小对TrajCAST性能的影响。该图像的替代文本可能是使用AI生成的。完整尺寸图像:a、比较了具有0.5 fs和15 fs预测范围的TrajCAST模型预测速度与参考速度的对比图。b、相对MAE速度对MTM的依赖性。条形图高度表示具有不同初始权重的三个模型的平均值,由标记表示。相对速度误差是速度MAE与平均绝对速度c的比率。幂律拟合到学习曲线上的指数,用于量化不同化学系统和MTM中模型准确性与训练集大小之间的关系。插图显示这些指数对应于MAE与训练集大小的对数-对数图上的线性拟合的斜率s。s的绝对值越大,使用额外数据时模型对泛化误差的改进就越大。虚线作为视觉引导。
我们首先改变Δt,并保持训练样本的数量与前面的部分相同。图6a显示了在MTM为1和30时水的等值图,相对速度误差分别为约0.03%和约4.64%。尽管在视觉上表现良好,但MTM-30模型在没有几万个步骤后无法产生稳定的轨迹。虽然MLIPs可以容忍高达30%的相对力误差,但TrajCast需要更小的误差才能实现稳定的展开。图6b显示了所有系统在MTM为1、2、10、20和30时的相对速度MAE,其中水显示了最陡峭的增加。最大可接受的误差取决于系统:石英在MTM为30时保持3.96%的相对误差稳定,而水模型在MTM为20且相对速度MAE为1.62%时可能已经产生不稳定性。其他MTM的MAE以及位移MAE的缩放在补充部分A.1和A.2中显示,后者遵循类似的趋势,尽管相对误差始终小约40%。
一个直观的解决方案是使用更大的数据集来训练大型MTM模型。为了评估数据效率,我们在原始数据集大小的10%和50%上训练模型。得到的学习曲线遵循幂律,其中指数s决定了随着数据增加性能改善的速度。图6c显示了所有系统的s作为MTM的函数,示意图插图说明s对应于对数-对数图中直线的斜率(完整的 learning curves,请参见补充部分A.2)。扑热息痛始终显示出最大的|s|,其次是水和石英,这反映了从孤立的分子内动力学到相关的分子动力学再到晶格耦合振动的原子运动的限制逐渐增加。值得注意的是,这些缩放指数比类似系统的MLIPs报告的指数大四倍,这表明结合速度从每个配置中提取了更多信息。这使得只需几百皮秒的轨迹数据就可以训练出准确的TrajCast模型,而其他方法则需要几百纳秒44,45,47,50。这对于跨多个系统扩展到从头算质量的数据集以及构建基础模型至关重要。
我们介绍了TrajCast,这是一种基于自回归等变MPNN的方法,用于加速生成准确的分子动力学(MD)轨迹。我们的框架不预测力用于数值积分,而是直接更新速度和位置,从而绕过了对小积分步骤的需求。我们在从小型分子到平衡凝聚态相(如晶体材料和大块液体)以及非平衡和动力学停滞动力学等各种化学系统上对我们的方法进行了基准测试。在所有情况下,TrajCast都能可靠地再现结构、动力学和能量属性,同时使得时间步长比传统的原子级MD模拟大10到30倍。我们还证明了它可以探索训练数据中不存在的相空间区域,生成跨越亚稳态的物理上有意义的集合,并逃离局部自由能最小值。重要的是,TrajCast具有可转移性,并且能够很好地扩展到更大的系统,每天可以为1,728个水分子生成超过1纳秒的轨迹数据,对于一个有超过4,300个原子的石英超胞则可以生成超过15纳秒的数据。相比之下,当前的MACE MLIP架构每天只能为1,000个原子进行大约1纳秒的MD模拟36。值得注意的是,我们的模型仅使用几百皮秒的轨迹数据进行训练,这是使用从头算MD可以实现的。尽管在大小和热力学条件上限制了训练集,TrajCast仍然展示了令人印象深刻的零样本泛化能力,仅使用在环境条件下训练的液态水模型就准确再现了水在冷却到180K时的非晶化过程。远远超出了其训练分布范围,它捕捉到了与玻璃转变相关的结构和动力学变化,并且与MD结果定量一致。
TrajCast当前版本的操作具有固定的预测范围,但未来的工作将探索多时间步长训练,这可能会提高在更长时间尺度上的泛化能力和准确性,正如最近用于天气预报的自回归GNN所展示的那样71。TrajCast当前的无力方法阻止了压力和其他力相关属性的计算,因此预测仅限于微正则(NVE)和正则(NVT)集合。然而,将该方法扩展到等压-等温(NpT,其中p是压力)集合将是未来工作的一个有趣方向,可以通过将TrajCast与经典或机器学习力场结合来进行压力控制,正如最近的研究所建议的72。此外,尽管我们在各种系统上对我们的方法进行了基准测试,但探索同时在多种化学多样性的材料或分子上训练时的性能将是很有趣的。类似于最近的通用MLIPs,尽管在无机晶体上训练,它们对氢燃烧和纳米受限水的预测仍然合理36,这可能标志着朝着能够跨化学空间插值的MD基础模型迈出的重要一步。虽然本工作中所有参考数据都是使用经典力场生成的,但TrajCast原则上可以在第一性原理多体势能表面的轨迹上训练。重要的是,这不一定需要更大的数据集,因为已经显示MLIPs可以在不需要比密度泛函理论更多数据的情况下达到CCSD(T)-级别的精度26。此外,最近关于元学习的工作表明,可以使用更便宜或近似的数据来预训练模型,从而减少所需的昂贵参考数据量73。
虽然TrajCast有潜力加速原子模拟和材料发现,但我们对超淬火玻璃水的零样本实验突显了它在探索低温下缓慢物理现象方面的特殊前景。在这些系统中,由于 relaxation 时间长,需要长时间的模拟运行,正如最近关于过冷水的研究所示,这需要几年的时间才能达到微秒级别,并且会引起更高的相关性,从而可能允许利用更长的预测范围。因此,TrajCast可以大大加速这一过程,使大规模模拟更高效。通过解决访问长模拟时间的长期挑战,我们的工作可以帮助弥合当前许多科学学科中不连续的长度尺度。
**方法**
**等变消息传递神经网络用于原子系统**
MPNNs是GNNs的一个子类,它们从分子图学习到目标属性(如MLIPs中的势能)的映射。在这些图中,节点代表原子,通过边连接,这些边通常通过距离标准确定。每个节点i具有属性,如其原子类型Zi和在三维(3D)欧几里得空间中的位置ri。根据任务的不同,可能还包括速度vi或力fi。边的属性通常由连接两个节点i和j的欧几里得向量rij组成。每个节点的局部状态被编码在潜在特征\({{\bf{h}}}_{i}^{t}\)中,这些特征在T个消息传递层中迭代更新。在每一层t中,节点通过消息\({{\bf{m}}}_{ij}^{t}\)交换信息,这些消息 aggregated 来自所有邻居,并用于更新节点的潜在状态。形式上,这表示为
$$
{{\bf{m}}}_{i}^{t}=\mathop{\sum }\limits_{j\in {\mathcal{N}}(i)}{{\bf{m}}}_{ij}^{t}=\mathop{\sum }\limits_{j\in {\mathcal{N}}(i)}{M}^{t}({{\bf{h}}}_{i}^{t},{{\bf{h}}}_{j}^{t},{{\bf{e}}}_{ij})
$$
$${{\bf{h}}}_{i}^{t+1}={U}^{t}({{\bf{h}}}_{i}^{t},{{\bf{m}}}_{i}^{t})
$$
其中\({\mathcal{N}}(i)\)代表连接到节点i的节点集,Mt和Ut是层t的任意消息和更新函数。虽然原始公式在更新中省略了节点属性,但先进的MLIPs(如BOTNet27或MACE28)和其他MPNN架构(如SEGNNs77)将它们纳入其中,以防止信息在层间丢失。经过T个消息传递步骤后,最终特征可以被汇总用于全局属性预测,或者直接通过读出函数用于节点属性。
潜在特征\({{\bf{h}}}_{i}^{t}\)可以包含各种类型的几何对象,如标量、向量或更高阶的张量,每个都唯一地转换欧几里得群E(3)的操作,包括平移、旋转和反演。然而,在实践中,只需关注正交群O(3)(旋转和反射)就足够了,因为平移不变性是通过使用原子间向量而不是绝对位置来确保的。O(3)下的变换由不可约表示(irreps)描述,它们的旋转顺序l = 0, 1, 2, …和奇偶性p ∈ (1, ?1)标记。标量(l = 0, p = 1)在旋转下保持不变,而向量(l = 1, p = ?1)与几何形状一致地变换(等变)。如果特征仅依赖于原子位置,那么特征向量中的每个元素\({{\bf{h}}}_{i,L}^{t}\)在任一旋转g = R ∈ O(3)下是等变的,如果
$$
{{\bf{h}}}_{i,L}^{t}(R\cdot ({{\bf{r}}}_{1},\ldots ,{{\bf{r}}}_{N}))={D}_{L}(g){{\bf{h}}}_{i,L}^{t}({{\bf{r}}}_{1},\ldots ,{{\bf{r}}}_{N})\,\forall g\in O(3)
$$
其中R是由g参数化的3D旋转矩阵,DL(g)是表示特征空间中等效变换的Wigner D矩阵。这些对称性原则上可以从包含旋转配置的增强数据集中学习。或者,可以通过使用等变消息和更新函数明确地将它们纳入MPNNs中,确保网络在构建上尊重旋转对称性。后者在最新的MLIPs中已成为常见做法26,27,28,29,其中利用更高阶特征已被证明可以提高准确性。
**集合和热机**
通过数值积分运动方程,MD模拟产生一个遵循微正则(NVE)集合分布的轨迹,该集合具有恒定的粒子数N、体积V和总能量E。在这个集合中,总线性动量P和角动量L都得到保守。然而,由于实验通常在恒定温度而不是能量下进行,MD模拟通过热机(thermostat)与正则(NVT)集合耦合,其中温度T在期望值附近波动。在微尺度上,N粒子系统的温度T由下式定义
$$
T=2\frac{K}{{N}_{{\rm{f}}}{k}_{{\rm{B}}}\,\,\mathrm{with}\,\,K=\frac{1}{2}\mathop{\sum }\limits_{i=1}^{N}{m}_{i}| {{\bf{v}}}_{i}{| }^{2}
$$
其中K是动能,mi是粒子i的质量,kB是玻尔兹曼常数,Nf对应于自由度,对于3D周期性系统通常为3N ? 3。
速度重新缩放是最简单的将系统调整到目标温度的方法,其中原子速度以预定义的频率\(\alpha =\sqrt{\widehat{K}/K}\)进行缩放,\(\widehat{K}\)代表目标动能。然而,这种方法有几个缺点,包括无法从正则集合中采样、产生不连续性以及违反均匀分布78。CSVR热机51通过从正则平衡分布中采样\(\widehat{K}\)并在每次积分步骤后重新缩放速度来克服这些限制。耦合强度由相对于积分时间的松弛时间τ定义,必须适当选择以保持目标温度而不显著改变系统的动力学。
**TrajCast方法**
与MLIPs相比,我们的模型除了输入位置r(t)和原子类型Z外,还输入原子速度v(t)。在嵌入层(图1b)中,编码节点和边的属性以产生初始节点特征\({{\bf{h}}}_{i}^{0}\),并将边和速度向量表示为径向和球谐基。对于化学元素Zi和边向量rij的幅度,我们遵循MLIPs NequiP26和MACE28的方法,使用one-hot编码和可学习的贝塞尔函数,乘以在DimeNet79中首次引入的多项式截断。由于原子速度取决于粒子质量,我们使用高斯基组来编码其幅度vi,其中每个高斯根据节点i的化学元素进行加权。因此,编码的μth元素由下式给出
$$
{\R}_{\mu }({v}_{i})=\mathop{\sum }\limits_{m=1}^{M}{W}_{{Z}_{i},m}{\phi }_{m}({v}_{i})
$$
其中?m是第m个高斯,\({W}_{{Z}_{i},m}\)是依赖于原子物种Zi的可学习权重。潜在特征通过在消息传递层中的系列卷积进行更新,如图1a中的白色框所示。节点j向节点i在第k层发送的消息,在图1e中以示意图形式展示,其构造方式与NequIP26中的类似,表示为
$$
{m}_{ij}^{k} = {{\bf{h}}}_{j}^{k} \otimes_{\mathrm{CG}}^{\mathrm{MLP}}_{e}^{k}(R({r}_{ij})) {\bf{Y}}({\widehat{{\bf{r}}}_{ij})
$$
(6)
这里,$\otimes_{\mathrm{CG}}^{\mathrm{MLP}}_{e}^{k}(R({r}_{ij}))$表示Clebsch–Gordan张量积,它生成了节点特征的所有等变表示(irreps)以及边缘向量在单位球面上的球谐嵌入${\widehat{{\bf{r}}}_{ij}$的所有等变组合。然后,这些项通过一个多层感知器(MLP)进行加权,该MLP以边缘向量的径向基嵌入rij作为输入。关于推导的详细信息,读者可以参考表示论概述的教科书以及参考文献77、80或27,这些文献还讨论了将其应用于GNNs和原子建模的方法。构建的成对消息mij仅包含关于邻域${\mathcal{N}}(i)$的拓扑信息。为了在特征更新中纳入速度信息(图1d),我们采用了Brandstetter等人77提出的方法。在对成对消息mij进行平均池化之后,我们计算了聚合消息mi与速度向量在单位球面上的球谐嵌入${\widehat{{\bf{v}}}_{i}$之间的Clebsch–Gordan张量积,结果为
$$
{\widetilde{{\bf{m}}}_{i}^{k} = {{\bf{m}}}_{i}^{k} \otimes_{\mathrm{CG}}^{\mathrm{MLP}}_{v}^{k}(R({v}_{i},{Z}_{i})) {\bf{Y}}({\widehat{{\bf{v}}}_{i})
$$
(7)
与第一个张量积类似,相应的路径是根据速度大小的物种依赖性嵌入R(vi, Zi)进行加权的,这些嵌入通过MLP处理。通过对平均池化步骤之后应用线性自互动,我们限制了${\widetilde{{\bf{m}}}_{i}^{k}$的维度。新的节点特征${{\bf{h}}}_{i}^{k+1}$然后通过类似ResNet的方法计算:条件消息${\widetilde{{\bf{m}}}_{i}^{k}$通过一个非线性门81,并与上一层的变换后的节点特征相加,这些特征使用MACE28,76中提出的元素依赖性线性自互动层进行处理。经过K层消息传递后,最终潜在特征${{\bf{h}}}_{i}^{K}$的向量分量(l = 1, p = ?1)通过两个线性层处理,以生成位移向量$\Delta {{\bf{r}}}_{i}^{{\prime} }\$和新速度${{\bf{v}}}_{i}^{{\prime} }\$的初始估计。预测相对位移而不是绝对位置使得模型预测不依赖于模拟盒的尺寸,并保持平移不变性。虽然这些预测可能已经接近参考动力学,但与微正则系综的一致性要求总线动量和角动量得到保守。我们通过在$\Delta {{\bf{r}}}_{i}^{{\prime} }\$和${{\bf{v}}}_{i}^{{\prime} }\$中移除任何质心运动$\DeltaDCOM$和额外动量$\DeltaP$和$\DeltaL$来直接在架构中实现这一点,如图1d所示。重要的是,这种优化在训练和推出过程中都得到应用,因此模型权重是在这些约束条件下优化的。新的位置是通过将调整后的位移加到当前原子位置上得到的。
尽管TrajCast原则上可以通过使用每个输出作为下一步的输入来在NVE系综中迭代生成准确的轨迹,但长时间的自回归推出往往会逐渐累积小的预测误差。随着时间的推移,这些误差可能导致位置和速度的漂移,可能引起不稳定和非物理行为。为了解决这个问题并生成与正则系综一致的轨迹,我们在每一步之后应用CSVR恒温器51,根据目标温度通过一个随机因子重新缩放MPNN预测的速度。之前已经有研究表明,噪声注入有助于减轻湍流建模中的误差累积82。CSVR恒温器还通过在长时间推出过程中保持原子速度的物理一致性分布来提供额外的稳定性。此外,得到的位置${{\bf{r}}}_{{\Delta }_{t}}$和速度${{\bf{v}}}_{{\Delta }_{t}}$遵循玻尔兹曼分布,从而可以与恒定温度下的实验进行比较。在这篇手稿的第一个版本在线发布后,Bigi等人72引入了FlashMD,它基于与TrajCast类似的思想,但采用了不同的架构和实现。虽然FlashMD能够对各种系统进行长时间步预测,但与其不同的是,它依赖于局部恒温器以及对动力学的扰动,这主要限制了验证仅限于平衡属性。
我们在NVE系综中通过使用常见的时间步长0.5–1.0?fs在MD运行期间生成的配置上来训练我们的等变MPNN。然后,在更大的时间间隔Δt内计算相对位移和新速度。位移是当前配置和下一个配置之间的差异,同时考虑了周期性边界条件,而新速度对应于t + Δt时的值。在训练期间,模型权重被调整以最小化真实位移和速度向量之间的残差。重要的是,这种训练程序不依赖于任何恒温器,确保MPNN学习到确定的NVE动力学。在推理过程中,可以通过CSVR恒温器将预测提升到正则系综。由于当前版本的TrajCast直接从数据中推断预测范围,因此训练集需要在固定的Δt下预先计算。与传统的MD模拟类似,选择Δt涉及权衡:较小的值本质上会导致更高的准确性,因为系统随时间变得越来越不相关,但效率较低,需要更多的前向传递来产生所需的轨迹。通过基于潜在特征中编码的局部环境来预测原子位移和速度,我们的方法确保了可扩展性,可以处理比训练期间遇到的系统大得多的系统。与MLIP驱动的MD不同,TrajCast以无力的方式运行,不依赖于计算相对于位置的梯度来推进系统随时间的进展。我们的框架基于e3nn83和cuEquivariance Python库,这些库确保了在深度学习框架内有效的等变变换和几何对象传播。
**参考数据集**
所有用于训练和验证的数据都是使用LAMMPS84、85软件包通过经典MD模拟生成的。训练轨迹是在NVE系综中生成的,而用于评估模型架构推出性能的数据则来自NVT运行。NVE样本标记有t + Δt时到下一个状态的原子位移以及相应的速度,这些速度作为MPNN的训练目标。为了确保NVE轨迹处于所需温度,我们首先在NVT系综中平衡系统。在平衡期间,对总能量进行采样,然后选择总能量接近分布平均值的配置。NVE运行从这个子集中均匀采样的五个配置开始,确保选定的快照之间至少相隔1?ps。每个系统的具体模拟设置如下。
**对乙酰氨基酚**
在真空中模拟了一个孤立的对乙酰氨基酚分子,使用的是用Moltemplate88实现的OPLS全原子力场86、87。由于存在氢原子,我们使用了0.5?fs的时间步长。系统首先在NVT系综中平衡25?ps(50,000步),使用Nosé–Hoover链恒温器89,有十个链,阻尼因子为5?fs,目标温度为300?K。这种平衡协议在NVE和NVT系综中的后续生产运行中统一应用。NVE生产运行是从总能量与分布平均值相差0.001的配置开始的。对于NVT生产运行,我们使用了与TrajCast设置一致的CSVR恒温器51,松弛时间为50?fs。温度是基于3N ? 6个自由度计算的。在NVT模拟的每个时间步长都会移除净角动量,而在NVE系综中,这个量是自然保持不变的,初始值为0。生产模拟在NVE系综中进行100?ps(200,000步),以生成训练数据,在NVT系综中进行10?ns(20,000,000步)以进行验证。
**石英**
模拟了含有162个原子的块状α-石英,使用van Beest–Kramer–Santen势90和截断的库仑相互作用91,时间步长为1?fs。系统分两个阶段平衡到300?K:首先在常压下的NpT系综中使用Berendsen压强计92平衡10?ps(10,000步),松弛时间为0.1?ps;然后在NVT系综中平衡50?ps(50,000步),使用Nosé–Hoover链恒温器89,有三个链,松弛时间为0.1?ps。NVE生产运行是从从平衡的NVT轨迹中随机采样的五个配置开始的,选择的配置在目标温度的±10?K范围内。选定配置之间的最小时间间隔设置为0.1?ps。用于与TrajCast预测进行比较的NVT模拟使用CSVR恒温器51进行,松弛时间为100?fs,持续15?ns(15,000,000步)。
**液态水**
使用一个由64个水分子组成的系统在固定长度为12.4172??的立方模拟盒中进行模拟。水的分子内和分子间相互作用由灵活的简单点电荷相互作用势93、94、95描述。所有MD模拟都使用0.5?fs的时间步长进行。系统在NVT系综中平衡10?ps(20,000步),使用Nosé–Hoover恒温器89,松弛时间为0.5?ps,目标温度为300?K。生产运行在NVE系综中进行100?ps(200,000步),以生成训练数据,在NVT系综中进行10?ns(20,000,000步)以进行验证。
**超冷却玻璃态水**
对于超冷却水的零样本实验,我们将系统大小从64个水分子增加到216个水分子。密度保持与液态水模拟中的相同,势能表面也由灵活的简单点电荷模型93、94、95描述。在300?K下进行短暂平衡后,我们使用CSVR恒温器51以q = 10?K?ns?1的冷却速率逐渐降低温度,这与最近的一项MLIP研究68中使用的冷却速率相同。时间步长设置为0.5?fs,恒温器的松弛时间为50?fs。总共进行了四次独立的运行,每次从不同的初始种子开始,每个运行的总长度为12?ns。用于量化系统长程平移序的平移序参数τ定义为
$$
\tau = \frac{1}{{\zeta }_{{\rm{c}}}{\int }_{0}^{{\zeta }_{{\rm{c}}}{| {g}_{{\rm{O}}-{\rm{O}}}(\zeta )-1| {\rm{d}}\zeta}
$$
(8)
其中$\zeta = r{\rho }_{{\rm{n}}}^{1/3}$是水分子对中氧原子之间的距离,按平均最近邻间距ρn ≡ N/V进行缩放。此外,gO?O(r)是氧-氧RDF,其积分截止到ζc = 2.577,对应于8??(参考文献65)。另一方面,四面体序参数Q用于测量短程取向结构,表示为
$$
Q = 1 - \frac{3}{8} \sum_{j=1}^{3} \sum_{k=j+1}^{4}(\cos {\psi }_{jk} + \frac{1}{3})^{2}
$$
(9)
其中ψjk是由给定分子的氧原子与其最近邻居j和k的氧原子形成的角度(≤4)。根据参考文献65,我们仅考虑最接近给定氧原子的四个氧原子。
**模型大小和超参数**
本工作中所有等变MPNN都使用了偶数(p = 1)和奇数(p = ?1)的奇偶性特征,直到旋转阶数\({l}_{\max }=2\),创建了一个由标量、向量和更高阶张量组成的特征向量。我们每个对象使用64个通道, resulting in一个特征向量,表示为不可约表示的直和,在e3nn83符号中表示为64 x 0o + 64 x 0e + 64 x 1o + 64 x 1e + 64 x 2o + 64 x 2e,其中每个项指定了复数(第一个数字)、旋转阶数l和奇偶性p(‘o’表示奇数,‘e’表示偶数)。对于所有实验,我们使用四个消息传递层,并在非线性门81中分别使用Sigmoid Linear Unit和tanh作为激活函数,用于处理偶数和奇数不变量。
TrajCast MPNN包含大约220万个可学习的权重,其中大部分位于处理边缘和速度大小的径向嵌入的MLP中。每个多层感知器(MLP)包含3个隐藏层,每层有64个神经元,并使用Sigmoid线性单元作为激活函数。与NequIP26相同,对于边长的径向嵌入,我们使用了8个可学习的贝塞尔函数和一个多项式截断,其中p=6(参考文献79)。同样,也使用了8个高斯基函数来生成原子速度幅度的编码。方程式(5)中得到的特定元素速度编码与每个节点的化学物种嵌入连接起来,形成传递给第一个 message-passing 层的初始特征。定义节点之间边的截断半径因系统而异,分别设置为4.0 ?、4.5 ?和6.0 ?,对应于对乙酰氨基酚、石英和液态水。速度径向嵌入的上限由最轻的元素 \({Z}_{\min }\) 决定(对于水和对乙酰氨基酚是氢,但对于石英是氧),这决定了最大速度。对于这个元素,我们根据麦克斯韦-玻尔兹曼分布计算了均方根速度 \({v}_{{\rm{RMS}},{Z}_{\min }}^{{\rm{MB}}}\) 的理论期望值。在多个温度下进行训练时,我们建议计算最高温度下的均方根速度。我们发现,当截断上限设置在 \(3.5\times {v}_{{\rm{RMS}},{Z}_{\min }}^{{\rm{MB}}}\) 和 \(5\times {v}_{{\rm{RMS}},{Z}_{\min }}^{{\rm{MB}}}\) 之间时效果最佳。
在所有模型中,我们都会对读出速度进行精细调整,以消除任何多余的总线性动量。虽然对于像对乙酰氨基酚这样的孤立分子,角动量可以很容易地被消除,但对于周期性系统(如块状石英或液态水),则需要适当处理,因为粒子在边界之间的移动以及与周期性图像的相互作用可能会引入不连续性和扭矩。一种常见的方法是将模拟盒子视为开放系统,正如Kuzkin98所建议的。然而,对于这里研究的块状系统,由于它们的各向同性和对称力,角动量守恒通常不是主要问题。实际上,我们发现所有MPNNs即使没有额外的约束也能表现良好,在展开过程中没有产生显著的多余角动量。
所有模型都是基于以下损失函数进行训练的:
$${\mathcal{L}}=\frac{1}{3{\sum }_{{\rm{b}}=1}^{{N}_{{\rm{b}}}}{N}_{a}}\mathop{\sum }\limits_{b=1}^{{N}_{{\rm{b}}}}\mathop{\sum }\limits_{i=1}^{{N}_{{\rm{a}}}}{\lambda }_{{\rm{d}}}{\left({\widehat{\Delta r}}_{i,\nu }-\Delta {r}_{i,\nu }\right)}^{2}+{\lambda }_{{\rm{v}}}{\left({\widehat{v}}_{i,\nu }-{v}_{i,\nu }\right)}^{2}$$
(10)
其中Nb表示批量大小,Na表示批次内每个配置的原子数量,\({\widehat{\Delta r}}_{i,\nu }\) 和 \({\widehat{\Delta v}}_{i,\nu }\) 分别代表原子i的预测位移和速度的ν分量,λd和λv控制位移和速度均方误差(MSE)的相对权重。对于所有实验,无论模型选择的预测范围如何,我们都会赋予相同的权重 λd = λv = 0.5。目标向量通过在整个训练集上计算的均方根值进行归一化,模型的预测结果也会重新缩放以匹配正确的幅度。
权重使用Adam优化器99和AMSGrad100进行优化,默认的β1和β2值分别为0.9和0.999。训练样本的数量因实验而异,对于对乙酰氨基酚的模型,分别训练了1,000、5,000和10,000个配置;对于石英和液态水,则分别训练了500、2,500和5,000个快照。除非另有说明,否则实验中报告的结果是基于最大样本量训练的模型。所有训练配置都是从每个系统的三个独立NVE轨迹中随机抽取的。验证集包含训练集大小的四分之一,一个固定的1,000个配置的保留测试集用于计算最终的准确性指标。验证集和测试集都是从独立轨迹中抽取的,确保不与训练集重叠。
无论训练集的大小如何,分子的批量大小为10,凝聚态系统的批量大小为2。初始学习率为0.01,通过一个平台稳定器进行调整,如果20个周期内验证损失没有改善,则将学习率降低80%。训练最多进行1,500个周期,如果在100个周期内没有观察到验证损失减少,则提前停止训练。优化器的超参数、学习率和批量大小是为了在最大训练集和预测范围内最佳平衡训练时间和模型性能而优化的。所有实验都使用双精度进行。模型和训练程序都是使用PyTorch库101实现的。所有模型都在单个NVIDIA V100-SXM2-32GB图形处理单元上训练,对乙酰氨基酚、石英和水的训练时间分别长达5天、10天和11天,许多实验由于提前停止而提前完成。
所有轨迹都是使用TrajCast自回归生成的,通过在每一步之后使用CSVR恒温器51重新缩放速度来产生的。与传统的分子动力学(MD)模拟一样,恒温器的松弛时间τ起着关键作用,必须仔细选择。在补充部分B.1中,我们探讨了TrajCast在不同τ值和变化Δt下的表现。我们发现,对于更长的预测范围,与典型的MD值相比,需要更低的松弛时间来维持目标温度和波动。这可能是因为TrajCast在重新缩放之前隐式地执行了多个时间步,而在MD中,速度是在每一步之后重新缩放的。在报告的实验中,我们将τ设置为对乙酰氨基酚的10 × Δt(70 fs),α-石英的2.5 × Δt(75 fs),以及液态水的10 × Δt(50 fs),这些都是在恒定温度和冷却条件下的设置。所有系统的目标温度都是300 K,分别基于对乙酰氨基酚和凝聚态系统的3N ? 6和3N ? 3个自由度来定义。在液态水非晶化的零样本实验中,目标温度以恒定速率q = 10 K ns?1线性降低。初始速度是从300 K的高斯分布中抽取的,净线性和角动量为零。对于对乙酰氨基酚,每100次前向传递后净角动量被归零,以纠正CSVR恒温器引入的多余角动量。对于对乙酰氨基酚,我们生成了一条7 ns(1,000,000次前向传递)的轨迹;而对于水和石英,折叠过程分别进行了500,000次迭代,相当于2 ns和15 ns。这些系统在前向传递总数中的10%时间内达到平衡。液态水冷却成超淬火玻璃态的水是在12 ns内完成的,相当于2,400,000个自回归步骤,这是我们最长的折叠时间。除了PyTorch101、e3nn83和cuEquivariance之外,我们还使用ASE102Python包来高效生成和保存轨迹。