《Computational Materials Science》:ECNet: Spin-aware electronic-configuration encoding for composition-based prediction of the thermodynamic stability of inorganic compounds
编辑推荐:
•基于自旋感知的三元编码能够捕捉电子自旋状态,从而用于稳定性预测。•紧凑的序列表示法可替代稀疏张量,从而实现轻量级的1D-CNN模型。•在MP、OQMD和JARVIS等基准测试中均展现出优异的整体性能。•与稀疏基线模型相比,训练时间缩短五倍,GPU内存使用量减少九倍以上。引言设计
• 基于自旋感知的三元编码能够捕捉电子自旋状态,从而用于稳定性预测。
• 紧凑的序列表示法可替代稀疏张量,从而实现轻量级的1D-CNN模型。
• 在MP、OQMD和JARVIS等基准测试中均展现出优异的整体性能。
• 与稀疏基线模型相比,训练时间缩短五倍,GPU内存使用量减少九倍以上。
引言 设计具有特定功能的新材料是推动能源、信息及可持续技术发展的核心动力[1]、[2]、[3]。然而,庞大的化学空间使得传统的实验探索方式效率低下。基于密度泛函理论的第一性原理计算虽能准确评估热力学稳定性,但其高昂的计算成本严重限制了大规模高通量筛选的应用[4]。尽管存在这一局限,密度泛函理论的系统应用仍助力构建了诸如材料项目(MP)[5]、开放量子材料数据库(OQMD)[6]以及多种集成模拟联合自动存储库(JARVIS)[7]等全面的材料数据库。这些数据库为机器学习模型提供了大规模训练数据,推动了材料科学领域的数据驱动研究范式。在这种范式中,首先利用成分、结构或物理化学描述符对材料进行编码,然后在精心筛选的数据集上训练并验证预测模型,最终将所得模型应用于性质预测、高通量筛选以及材料设计等方面[8]、[9]、[10]、[11]、[12]。
材料机器学习模型的可靠性不仅取决于学习算法,还与数据的收集、筛选、标注及划分方式密切相关[13]、[14]、[15]。在热力学稳定性预测中,不同的公共密度泛函理论数据库在工作流程细节、校正方案、磁学设置、数据库版本以及凸包参考标准等方面存在差异。这些差异表明,材料相关的密度泛函理论数据集本质上具有异质性,不同来源之间的数据并未实现完全统一。因此,在构建基准测试时,需要明确说明数据来源、标签定义、预处理操作以及训练/验证/测试数据的分割方式。数据稀缺、样本特征不平衡、标签噪声以及数据质量管控同样重要,因为它们会直接影响材料发现过程中机器学习模型的可重复性和可解释性[16]。上述因素凸显出,在使用多个公共密度泛函理论数据库进行热力学稳定性预测时,有必要构建考虑数据来源特性的基准测试。
基于这些数据资源,人们开发出了多种用于稳定性预测的深度学习模型,这类模型大致可分为两类:基于晶体结构的模型和基于化学成分的模型。由于能够纳入几何和拓扑信息,基于结构的模型能够清晰体现结构与性质之间的关系,往往具有出色的预测性能。不过,由于结构数据获取难度较大,这类模型的应用受到限制。对于大多数候选化合物而言,其晶体结构尚不清楚。通过实验或密度泛函理论模拟来确定晶体结构成本高昂,这为高通量筛选带来了巨大障碍。相反,基于化学成分的模型仅需化学式,而化学式通常在确定晶体结构之前就已获得。尽管这类模型使用的物理信息相对较少,但其在形成能和带隙等性质的预测方面,性能可与基于结构的模型相媲美。更重要的是,这类模型能够覆盖更广泛的化学空间,因此非常适合用于高通量探索[17]。
基于化学成分的模型面临的一个问题是,原始的化学式仅能体现元素种类和化学计量比,信息较为有限,难以实现良好的泛化能力。这类有限的描述符往往无法涵盖决定热力学稳定性的微观量子力学特征。因此,纯数据驱动的模型可能在面对与训练数据分布不同的化学空间时难以实现良好泛化[18]。为解决这些问题,融入物理信息特征的表示方法逐渐成为一种常见策略。典型的方法包括Roost[19],它将材料视为图结构,通过消息传递的方式整合元素信息;还有CrabNet[20],它利用注意力机制将元素嵌入信息与化学计量比相结合。
然而,当前的基于化学成分的模型往往未能充分体现电子构型信息。亚壳层中自旋向上态与自旋向下态的不对称性会影响交换-相关相互作用。这些量子自由度会影响到形成能、相对相位稳定性以及磁基态的确定[21]、[22]。虽然Zou等人[23]提出了ECCNN模型,利用亚壳层占据情况来进行稳定性预测,但该模型并未明确考虑自旋方向,且依赖于固定维度的稀疏3D张量。这种稀疏表示方式可能会带来不必要的计算开销,进而限制大规模高通量筛选的可行性。
为克服上述局限,我们提出了ECNet,这是一种具备自旋感知能力的电子构型编码框架。与以往方法不同,ECNet引入了一种自旋感知的三元编码方案,能够区分每个亚壳层中的自旋向上电子和自旋向下电子。这种编码方式在保留与自旋相关的信息的同时,降低了特征的维度。此外,我们还开发了一种多模态序列表示方法,将8位二进制原子计数编码与元素身份信息相结合,取代了以往模型中使用的稀疏3D张量。该序列会经过轻量级的1D-CNN架构处理,随后通过考虑掩码的全局池化操作,使模型能够处理长度不一的化学式,且不会受到填充噪声的影响。
在MP、OQMD[24]以及JARVIS数据集上,ECNet在AUC和AUPR指标上的表现均优于ECCNN及其他基线模型。在效率方面,与ECCNN基线模型相比,该框架的训练时间缩短了五倍,所需的GPU内存还不到后者的九分之一。此外,ECNet的收敛速度更快,即使在小样本情况下也能保持出色的性能。通过引入与自旋相关的描述符以及采用紧凑的架构,ECNet为材料发现中的无结构筛选提供了一种高效的方法。除了模型本身的性能之外,近期研究还指出,材料设计正逐渐向模块化、工作流驱动型的生态系统发展。例如,He等人提出了一种多角色协作式共建材料设计生态系统,通过合理的任务分工、定制化的工作流基础设施以及解耦的控制与数据流,实现了对不同类型资源的灵活整合[25]。在更广阔的背景下,ECNet可被视为一种用于早期化学成分筛选的轻量级成分级稳定性预测模块。由于它仅需化学式作为输入,且不依赖预先确定的晶体结构,因此未来可在多阶段工作中与考虑结构信息的模型、密度泛函理论计算结果或实验评估方法相结合,而本研究则主要聚焦于该成分级预测模块本身。
章节节选 结果 尽管ECCNN率先将电子构型用于稳定性预测,但其架构仍存在表示瓶颈,这可能限制其预测性能和计算效率。具体而言,ECCNN会构建一个固定的3D稀疏张量(8 × 118 × 168),其中包含二进制原子计数、周期表中的118种元素信息,以及用于表示亚壳层占据情况的168维向量。然而,即便目标化合物仅包含少数几种元素,该模型
讨论 在高通量材料发现过程中,仅依据化学成分就能准确且高效地预测热力学稳定性,依然是一项重要挑战。ECNet通过共同设计输入表示方式和模型架构来解决这一问题。它没有采用稀疏的高维张量,而是将每种化合物表示为一种密集的多模态序列,这种序列融合了元素身份、化学计量信息以及具备自旋感知能力的电子构型描述符。这样
方法 与传统依赖经验性元素性质或晶体结构的稳定性预测模型不同,ECNet以原子级别的电子构型作为核心输入特征。根据量子力学原理,原子中的电子会按照能量由低到高的顺序分布在离散的量子化轨道上。这些轨道是根据主量子数n 进行分组,进一步细分为由
CRediT作者贡献说明 金磊: 撰写——初稿撰写、可视化、软件开发、方法设计、正式分析。王建新: 撰写——审阅与编辑、模型验证、项目监督、项目管理、资金获取、概念构思。
利益冲突声明 作者声明,他们不存在任何可能影响本文研究结果的已知财务利益关系或个人关系。
致谢 本项工作部分得到了中国湘江实验室项目 (编号:25XJ02001)以及中国粉末冶金国家重点实验室支持的项目 的资助。
金磊|王建新