《Neural Networks》：Architecture-Agnostic Knowledge Distillation for Machine-Learning Interatomic Potentials
编辑推荐：
专业术语翻译的论文摘要
原子基础模型能够达到接近从头算的精度并在分子与材料系统中具备强迁移性，但其庞大的参数量导致推理延迟高、内存成本大，限制了长时间尺度分子动力学模拟及资源受限场景下的部署。在许多实际研究中，仅需处理狭窄的化学子领域，这促使研究人员开发紧凑的
专业术语翻译的论文摘要
原子基础模型能够达到接近从头算的精度并在分子与材料系统中具备强迁移性，但其庞大的参数量导致推理延迟高、内存成本大，限制了长时间尺度分子动力学模拟及资源受限场景下的部署。在许多实际研究中，仅需处理狭窄的化学子领域，这促使研究人员开发紧凑的学生模型以保留教师模型的物理先验。现有针对机器学习原子间势（Machine-Learning Interatomic Potentials, MLIPs）的知识蒸馏仍受限于架构不匹配或不完整的几何监督。研究人员提出了一种架构无关框架——联合原子能量–能量Hessian蒸馏（Joint Atomic Energy–Energy Hessian Distillation）。该方法无需架构特定的特征投影，而是结合了原子能量对齐（传递局部分解先验）与Hessian矩阵对齐（传递势能面的局部曲率）。这两个信号互为补充，共同正则化解构一致性与几何稳定性。在匹配的训练设置下，该方法相较于强Hessian蒸馏基线持续提升了能量精度（SPICE数据集平均提升48.3%，MPtrj数据集平均提升6.7%），同时保持了力精度。在教师–学生模型对中，该方法将参数量减少了79%–98%，从而实现了面向特定化学子领域的快速且易于部署的专业化MLIPs。
论文解读文章
研究背景与现存问题
在计算材料科学领域，基础模型（Foundation Models, FMs）凭借其卓越的精度和泛化能力已成为强大工具，广泛应用于性质预测和材料发现。这些优势源于基于大量异质量子力学数据的训练，涵盖分子与材料体系，并结合了消息传递与强物理归纳偏置（如不变性和等变性）的架构。然而，基础模型复杂的架构和庞大的参数量限制了其在百万步分子动力学模拟和大规模结构弛豫中的实用性。相比之下，专业化的机器学习原子间势（MLIPs）如DeePMD、PaiNN和GemNet等推理速度更快，甚至能在顶级超算上实现纳秒/天的十亿原子模拟。在许多研究中，研究人员聚焦于特定化学子领域，如特定元素、空间群或生物分子家族，此时紧凑快速的模型已足够。因此，将基础模型的能力迁移至小型专业化模型成为迫切需求。
知识蒸馏（Knowledge Distillation, KD）是改善速度-精度权衡的成熟方法，通过从大型教师模型向小型学生模型传递信息实现。然而，现有的特征匹配方法在教师与学生模型具有不同归纳偏置和内部特征参数化时表现脆弱。另一种互补方法是直接从能量表面蒸馏架构无关且具有物理意义的信息。近期，Amin等人提出了Hessian蒸馏方法，传递局部曲率信息，且对内部特征选择保持无关性。尽管如此，在MLIPs领域中，架构无关的蒸馏方法仍探索不足，关键在于需要精心整合领域知识以确定应蒸馏哪些物理信息。
研究方法与技术路线
为填补上述空白，研究人员提出了一种架构无关的蒸馏方法：联合原子能量–能量Hessian蒸馏（Joint Atomic Energy–Energy Hessian Distillation）。该方法仅需兼容的逐原子能量输出和坐标导数，对教师和学生模型的隐藏表示、特征维度、消息传递模块以及等变性实现均保持无关性。具体而言，该方法联合优化两个目标：一是原子能量蒸馏，传递局部分解先验；二是能量Hessian蒸馏，传递势能面（Potential Energy Surface, PES）的局部曲率信息。理论证明，最小化原子能量和Hessian差异可分别导出总能量和力差异的显式上界，为联合监督提供了形式化依据。实验方面，研究在SPICE（分子数据集）和MPtrj（材料数据集）两个子领域上，测试了多种教师–学生模型对。
研究结果
- •
方法贡献： 研究人员引入了一个联合架构无关目标函数，结合原子能量蒸馏和能量Hessian蒸馏，从教师模型向学生模型传递互补的局部分解先验和几何曲率信息。
- •
理论贡献： 研究人员证明了最小化原子能量差异和Hessian差异可分别给出总能量差异和力差异的显式上界，为提出的联合监督提供了形式化理论基础。
- •
实证结果： 在多个教师–学生模型对及子领域（SPICE和MPtrj）上，该方法相较于强Hessian蒸馏基线，持续提升了能量精度（SPICE数据集平均提升48.3%，MPtrj数据集平均提升6.7%），同时保持了力的精度。
- •
效率优势： 该方法增加了极小的训练开销（测量中迭代时间增加小于0.5%），并使学生模型参数量减少79%–98%，提升了实际部署效率。
讨论与结论
该研究的讨论部分指出，与仅使用Hessian蒸馏的方法相比，所提出的联合方法专注于在同一训练框架下结合原子能量和Hessian监督。研究结论强调，这种联合架构无关的目标函数能够有效传递互补的物理信息，即局部分解先验和几何曲率，从而在保持力精度的前提下显著提升能量预测精度。该方法不仅适用于多种教师–学生架构组合，还通过大幅降低参数量实现了高效的部署友好型专业化MLIPs，为针对特定化学子领域的快速分子动力学模拟和资源受限场景应用提供了可行方案。
