《Journal of Magnetism and Magnetic Materials》:A new workflow for materials discovery bridging the gap between experimental databases and Graph Neural Networks
编辑推荐:
将NEMAD实验数据库与ICSD的CIF晶体结构文件对齐,整合完整原子坐标信息,构建支持先进图神经网络(GNN)的材料预测数据库。实验表明,对齐后的数据库使CGCNN模型预测磁性材料 ordering temperatures MAE降低34.7%,magnetic ground states CCR提升至92.3%,显著优于传统随机森林等简单模型。
Brandon Schoener|Yuting Hu|Pasit Wanlapha|Akshay Rengarajan|Ian Moog|Michael Wang|Peihong Zhang|Jinjun Xiong|Hao Zeng
美国纽约州立大学布法罗分校物理系,布法罗,美国
摘要
将机器学习(ML)纳入材料属性预测已成为加速材料发现的关键步骤。一个主要挑战是训练数据的严重缺乏,因为许多属性过于复杂,无法通过高通量第一性原理技术进行计算。为了解决这个问题,最近的研究从科学文献中提取信息创建了实验数据库。然而,大多数现有的实验数据库没有提供完整的原子坐标信息,这阻碍了它们支持图神经网络(GNN)等先进的ML架构。在这项工作中,我们提出通过实验数据库与无机晶体结构数据库(ICSD)中的晶体学信息文件(CIF)之间的对齐过程来填补这一空白。我们的方法能够创建一个可以利用最先进模型架构进行材料属性预测的数据库。它还为利用迁移学习提高预测准确性打开了大门。为了验证我们的方法,我们将NEMAD与ICSD对齐,并将在此数据库上训练的模型与最初在NEMAD上训练的模型进行比较。我们展示了在预测磁性材料的有序温度和磁基态方面,平均绝对误差(MAE)和正确分类率(CCR)都有显著提高。
引言
将机器学习(ML)技术应用于材料发现变得越来越重要,这是由于需要加速属性预测、优化材料设计以及揭示传统方法无法发现的隐藏的结构-属性关系 [1], [2], [3], [4], [5], [6], [7], [8], [9], [10], [11], [12]。虽然第一性原理技术(如密度泛函理论(DFT)在材料预测方面非常强大,但它们通常在效率和准确性之间存在权衡 [13], [14]。这就是ML具有巨大潜力的地方,因为计算成本主要来自训练。这意味着使用训练有素的ML模型进行材料预测可以在快得多的速度下实现与DFT相当的水平准确性,并且成本显著降低 [6], [15]。然而,在实践中,这往往受到高质量训练数据可用性的限制。
人们已经尝试通过使用高通量第一性原理计算来生成计算数据库 [16], [17], [18], [19], [20], [21]。诸如Materials Project(MP)或Computational 2D Materials Database这样的资源利用这些技术高效地计算了大量理论材料的某些属性 [16], [21]。这导致了包含成千上万条记录的数据库,这些记录涉及形成能、带隙和磁有序等属性。虽然这些数量足以训练ML模型 [22], [23], [24],但计算出的属性列表及其可靠性有限,特别是对于磁性材料而言。高通量DFT方法无法可靠地计算磁晶各向异性和有序温度等属性 [25], [26], [27], [28]。实际上,MP在其文档中指出,计算出的磁有序不应被视为真实基态的预测 [16]。相反,这些属性要么是通过拟合经验数据的模型计算得出的 [29],要么是使用平均场理论从DFT导出的交换参数估算的 [30],要么是通过随机相位近似 [31] 或蒙特卡洛模拟 [32] 得出的。这意味着这样的计算数据库在训练ML模型以直接预测形成能等属性之外的广泛属性方面用途有限。相反,来自实验结果的较小数据库已被成功用于训练磁性属性的ML模型 [33], [34], [35], [36], [37], [38], [39], [40], [41],但这种技术的应用受到此类数据库规模和多样性的限制。另一种方法是利用ML模型预测形成能以寻找稳定相,而磁性属性仍然使用第一性原理进行计算 [8]。
另一方面,关于各种不同材料的实验数据大量存在,主要存储在数以万计的研究文章、专利和技术报告中。最近,人们开发了使用大型语言模型(LLMs) [42], [43], [44], [45], [46] 提取这些信息的方法。东北磁性材料数据库(NEMAD)是通过将文章中的文本传递给LLMs构建的,然后LLMs以结构化格式输出材料属性 [42]。虽然这种方法很有前景,但该数据库缺乏用于训练先进ML模型的准确晶体结构信息。在基于ML的材料预测中,模型的准确性在很大程度上取决于材料晶体结构的表示程度。由于原子配置直接决定了最终的物理和化学属性,因此该领域的领先模型依赖于不仅编码组成材料的单个原子的独特属性,还编码它们在晶体晶格中的空间排列方式的输入。对于实验数据库,细节水平可能有所不同,大多数现有数据库仅提供化学组成和有限的结构信息,如空间群和晶格类型。这限制了使用更先进的ML模型(如由晶体图卷积神经网络(CGCNN) [15] 表示的模型)的能力,其中输入是由材料的精确原子坐标构建的图。因此,NEMAD数据库 [42] 主要用于训练相对简单的ML模型,如随机森林(RF)、极端梯度提升(XGBoost)和集成神经网络(ENN),这些模型依赖于从化学组成派生的元素比例向量和one-hot编码的晶体系统类别作为输入特征,用于分类非磁性、铁磁性和反铁磁性材料,以及预测居里温度和奈尔温度。由于这些模型仅基于结构信息的一般描述进行训练,因此由于磁性属性对材料晶体结构的敏感性,其预测准确性受到固有限制 [47]。
为了解决这一限制,本文提出了一种新的工作流程,通过将现有数据库与无机晶体结构数据库(ICSD) [48] 中的晶体学信息文件(CIF)对齐来构建实验材料数据库。CIF是一个包含定义材料所需全部信息的文件 [49]。特别是,它提供了表示系统对称性的空间群,以及描述在所有方向上重复的平行六面体的单位晶胞参数 ( a , b , c , α , β , γ
ICSD是由X射线或中子衍射等测量生成的CIF集合,因此代表了物理上可实现的材料 [48]。在我们的对齐数据库中,这些CIF将根据其与NEMAD条目中的完整结构信息之间的匹配映射到特定的磁性属性。利用对齐后的数据库,我们从零开始训练CGCNN来预测磁性材料的有序温度和磁有序。我们的结果显示,在平均绝对误差(MAE)和正确分类率(CCR)方面,与使用传统ML模型在NEMAD上训练的模型相比有显著提高。这强调了利用能够处理完整材料结构信息的高级模型架构进行准确材料属性预测的迫切需求。此外,我们还通过迁移学习进一步提高了预测准确性,其中预训练模型使用我们的对齐数据库进行了微调 [50], [51], [52], [53], [54], [55]。为了验证我们模型的质量,我们使用了手工策划的磁性材料数据库MagNData作为基准 [56]。我们的结果表明,一种高效的预测磁性属性的策略是将通过我们的对齐过程获得的具有完整结构信息的实验策划数据库与先进的ML模型(如CGCNN)集成起来。
数据库策划
我们创建对齐数据库的工作流程如图1所示。为了策划数据库,我们首先使用所选实验材料数据库(本例中为NEMAD)中报告的化学组成,从ICSD检索晶体结构信息(以CIF格式)。然后处理每个ICSD CIF以提取简化的化学公式和空间群国际表格(IT)编号。接着,我们通过匹配简化后的化学组成将ICSD结构与NEMAD的磁性属性条目对齐。
实验结果
我们在表1中报告了使用不同对齐标准构建的数据库进行k -倍验证计算的模型预测准确性。具体来说,我们比较了从零开始训练的模型和使用以下方法微调的模型的预测性能:(i) 未对齐的原始NEMAD数据库,(ii) 按化学组成对齐的数据库,以及 (iii) 按化学组成和空间群对齐的数据库。评估时,我们使用了平均绝对误差(MAE)和R
结论
在本文中,我们首次使用实验数据库训练了如CGCNN之类的ML模型来预测磁性属性。这是通过一种新颖的对齐策略实现的,该策略将策划的实验数据库与ICSD中的CIF文件匹配,以获得精确的晶体结构信息。我们的结果表明,将高质量实验数据与先进ML架构集成显著提高了预测准确性,特别是对于复杂材料而言。
CRediT作者贡献声明
Brandon Schoener: 撰写 – 审稿与编辑,撰写 – 原稿,可视化,验证,软件,方法论,调查,数据策划,概念化。Yuting Hu: 撰写 – 审稿与编辑,可视化,软件,方法论,调查,数据策划。Pasit Wanlapha: 可视化,软件,方法论,调查,形式分析,数据策划。Akshay Rengarajan: 软件,方法论,调查,形式分析。Ian Moog: 软件,数据策划。
利益冲突声明
作者声明他们没有已知的可能会影响本文报告工作的竞争财务利益或个人关系。
致谢
本工作得到了布法罗大学人工智能与数据科学研究所 和NSF DMR-2242796 的支持。HZ感谢Moti Lal Rustgi教授职位 的支持。