面向预训练通用机器学习势函数的抗遗忘高效微调框架reEWC

《npj Computational Materials》：An efficient forgetting-aware fine-tuning framework for pretrained universal machine-learning interatomic potentials

本研究针对预训练通用机器学习势函数(MLIPs)在微调过程中出现的灾难性遗忘问题，提出了一种结合经验回放(Replay)和弹性权重巩固(EWC)的混合微调策略reEWC。以Li6PS5Cl(LPSC)为微调目标，研究证明reEWC不仅能显著提升目标体系的势能面(PES)和锂离子扩散预测精度，还能有效保持模型在各类硫化物、氧化物、氮化物和卤化物电解质等化学异构体系中的泛化能力，为大规模高通量材料模拟提供了可靠工具。

　　

在计算材料科学领域，机器学习势函数(Machine-Learning Interatomic Potentials, MLIPs)的出现彻底改变了传统模拟范式。这些经过海量数据预训练的模型，能够以接近密度泛函理论(Density Functional Theory, DFT)的精度、却仅需其万分之一的计算成本，实现大规模原子尺度的模拟，因而被誉为材料研究的“游戏规则改变者”。特别是近年来，基于图神经网络架构的预训练通用MLIPs，如SevenNet、MACE等，通过吸收Materials Project等大型数据库中的晶体结构信息，展现出令人瞩目的跨体系泛化能力。

然而，这些“万能”模型并非完美。当研究人员试图将其应用于特定材料体系或物理性质（如离子迁移、缺陷形成等）的精确模拟时，一个问题凸显出来：预训练模型对于高能构型（即远离平衡态的结构）的势能面(Potential Energy Surface, PES)预测存在系统性“软化”现象。具体表现为低估DFT计算得到的能量和力，导致其模拟的锂离子扩散系数等动力学性质被显著高估。这主要是因为预训练数据多集中于平衡结构，缺乏对反应路径、过渡态等高能区域的充分采样。

为了解决这一精度瓶颈，对预训练MLIP进行微调(Fine-tuning)成为一种直接且高效的策略。只需为目标体系（例如某种高性能锂固体电解质）生成少量DFT数据，对模型进行再训练，即可期望获得该体系内更高的预测精度。但这一过程却引发了机器学习中的一个经典难题——灾难性遗忘(Catastrophic Forgetting)。模型在努力学习新知识的同时，会迅速遗忘此前在庞大预训练数据中学到的通用规律，导致其丧失宝贵的泛化能力，仿佛一个学生为了备考一门新课而忘掉了所有基础学科。这不仅违背了使用通用模型的初衷，也限制了其在大型材料数据库中进行高通量筛选的实用性。因此，开发一种能够平衡“学习新知识”和“记住旧知识”的高效微调框架，成为推动MLIPs在实际研究中更广泛应用的关键。

正是在此背景下，由韩国首尔大学、韩国科学技术研究院等机构研究人员组成团队，在《npj Computational Materials》上发表了他们的研究成果。他们直面灾难性遗忘的挑战，创新性地提出了名为reEWC的微调框架。该框架巧妙融合了两种主流的抗遗忘技术：弹性权重巩固(Elastic Weight Consolidation, EWC)和经验回放(Experience Replay, Replay)，旨在实现稳定性（保持旧知识）与塑性（学习新知识）之间的最佳平衡。

为了验证reEWC的有效性，研究团队选择硫化物的典型代表Li₆PS₅Cl(LPSC)作为微调的目标体系。LPSC是一种颇具应用前景的argyrodite型锂固体电解质，但其在预训练SevenNet-0模型下的PES软化问题尤为明显。研究人员从LPSC在600K和1000K下的从头算分子动力学(AIMD)轨迹中采样1000个结构构成微调数据集。他们系统地对比了四种微调策略：无抗遗忘措施的原始方法(Vanilla)、单独使用EWC、单独使用Replay，以及他们新提出的reEWC混合方法。

主要技术方法概述

本研究的关键技术方法包括：1) 使用基于AIMD采样构建的LPSC微调数据集；2) 采用弹性权重巩固(EWC)技术，通过费舍尔信息矩阵(Fisher Information Matrix, FIM)量化参数重要性并施加约束；3) 结合经验回放(Replay)策略，在微调过程中周期性回放预训练数据集子集；4) 利用分子动力学(MD)模拟广泛评估微调后模型对锂离子扩散系数、结构稳定性（准熔化行为）等动态性质的预测能力；5) 通过主成分分析(PCA)追踪微调过程中模型参数的演化轨迹，阐释reEWC的协同机制。

微调MLIPs在LPSC数据集上的表现

研究首先考察了不同微调方法的学习与遗忘曲线。结果显示，Vanilla方法虽然能快速降低在LPSC微调集上的损失，但在代表预训练知识保持度的sMPtrj测试集上损失急剧上升，表明发生了严重的灾难性遗忘。与之形成鲜明对比的是，reEWC方法在高效学习LPSC数据的同时，成功将sMPtrj上的损失维持在接近预训练模型的低水平，展现出卓越的抗遗忘能力。EWC和Replay也表现出一定的抗遗忘效果，但均不如reEWC全面。参数平均绝对距离(MAD)分析进一步揭示，Vanilla和Replay引起了最大的参数偏移，而EWC和reEWC则通过正则化将参数变化约束在合理范围内，这是其有效防止遗忘的结构性原因。

锂固体电解质的PES评估

研究人员构建了包含126种argyrodite型材料和9种非argyrodite型材料（如LLZO, LATP, LGPS, Li₃N等）的测试集，以全面评估微调后模型的预测精度和知识迁移能力。结果表明，预训练SevenNet-0模型在所有测试材料上均表现出明显的PES软化（能量和力的软化尺度小于1）。Vanilla微调模型在argyrodite材料上精度有所提升，但在其他材料上误差急剧增大，再次印证了其灾难性遗忘。而reEWC、EWC和Replay则显著降低了能量和力的平均绝对误差(MAE)，并将软化尺度校正至接近1的理想值。更重要的是，这些抗遗忘方法展现出了显著的知识迁移效应：即使只使用LPSC数据进行微调，模型对其他含有PS₄结构单元的材料（如LGPS、LPS）的预测精度也获得了提升。其中，reEWC的表现最为均衡和稳健。

动力学性质

对锂离子扩散系数的评估是检验PES修正效果的关键。预训练模型由于PES软化，系统性高估了所有测试材料的锂离子扩散系数。经过微调后，所有方法在argyrodite材料上的预测误差均显著减小。然而，在非argyrodite材料上，不同方法的优劣立判：Vanilla方法因遗忘而导致误差巨大；Replay方法基本保持了预训练模型的水平；EWC方法则进一步降低了误差；而reEWC取得了最低的平均绝对百分比误差(MAPE)，表现最佳。

除了离子迁移，材料在高温度下的结构框架稳定性（通过非锂离子的位移来表征）也是MLIP需要准确描述的重要性质。研究人员引入了“准熔化比率”来量化结构崩塌的趋势。研究发现，Vanilla微调模型由于过度拟合稳定的LPSC结构，导致了PES“硬化”，倾向于抑制本应发生的准熔化行为。而reEWC和EWC微调模型则能最准确地复现DFT模拟中观察到的结构稳定性变化。

讨论与结论

本研究通过系统的对比分析，清晰地展示了不同微调策略的优缺点。Vanilla方法虽学习目标体系快，但遗忘严重，不可取。Replay方法通过回放数据有效缓解遗忘，但其效果依赖于回放集的代表性，且可能因参数自由度过大而导致在部分化学空间（如Li₃N中产生不合理的Li-Li短键）出现模拟失稳。EWC方法通过参数正则化很好地保持了泛化能力，但其学习效率有时受限。而reEWC作为二者的杂交体，产生了“1+1>2”的协同效应：它既利用了Replay引导参数向更优方向演化，又借助EWC约束重要参数避免过度偏离，从而在遗忘防止、目标学习、泛化保持和模拟稳定性方面均达到了最佳平衡。

研究的深远意义在于，reEWC作为一种不依赖特定模型架构的通用策略，为预训练MLIPs的持续学习(Continual Learning)铺平了道路。这意味着研究人员可以像给通用大模型注入领域知识一样，不断用新的特定数据集来增强和定制MLIPs，使其在保持“通才”本领的同时，成为特定领域的“专家”。这项工作不仅为解决MLIPs应用中的关键瓶颈提供了切实可行的方案，其关于抗遗忘微调机制的深入剖析也为机器学习在科学计算领域更广泛的应用提供了重要参考。最终，这种能够持续进化、精准可靠的模拟工具，将极大地加速新材料的发现与设计进程。