利用机器学习生成的电子指纹导航材料空间

《PRX IntelligenceNEW》：Navigating the Materials Space with Machine-Learning-Generated Electronic Fingerprints

　　在特定应用中识别性能优异的材料，特别是当这种性能的来源不明确或难以计算时，仍是材料科学中的核心挑战。由于材料空间的巨大规模，试错法探索的成本高得令人望而却步。更为实际的策略是在已知具有目标性能的化合物邻近区域寻找新材料。这需要定义一种有意义的表示方法来评估材料相似性。结构指纹常被使用，但结构相似性往往无法转化为性能相似性。电子指纹，如态密度或能带结构，曾被提出作为更好的替代方案，但计算超过100，000种材料的这些属性对于快速筛选而言仍然成本过高。在此，我们提出ProDosNet，一种基于原子和轨道分辨投影态密度（PDOS）数据训练的图卷积网络，能够以极低的计算成本预测电子结构。利用该模型，我们为Materials Project数据库中的所有化合物生成了PDOS指纹，并按轨道分辨的PDOS相似性进行了聚类。我们证明，这些电子指纹能够找到具有相似电子性质但结构截然不同的材料，应用于光伏、催化和电池领域。I. 引言全球向可再生能源的转型需要光伏（PV）器件和电池技术的进步，以满足对清洁能源发电和存储日益增长的需求。现代光伏器件和电池的性能主要受限于其生产所用材料的性质。此外，最先进的材料通常含有昂贵且有毒的元素，这推高了器件价格并使其处置复杂化，限制了清洁能源技术的可及性和应用[1,2]。因此，发现新材料，特别是成本更低且不含重金属元素的材料，对于促进从化石燃料的成功转型是必要的。对无机材料进行特定应用筛选的复杂性在于材料空间中可能结构的数量，估计在 量级[3]。高效探索如此广阔的空间需要超越随机采样和启发式方法。通过创建一个结构化材料空间，将具有相似性质的化合物聚类在一起，可以显著提高找到有前景材料的概率。如果能够实现这样的结构化材料空间，就可以从已知最先进结构的周围区域采样新材料，从而提高成功发现的可能性。在有机化学领域，分子指纹已被广泛用于识别相似分子并进行化学空间的虚拟筛选[4–6]。分子指纹是编码分子结构信息的固定长度向量。为数据集中的所有分子生成指纹后，可以通过使用如Tanimoto系数等度量比较其指纹来找到相似结构[7]。指纹法的主要缺点在于它仅依赖材料的结构来生成指纹，而这往往无法转化为性质的相似性[8]。利用态密度（DOS）和能带结构等性质的电子结构指纹被提出作为晶体结构指纹的替代方案[9–11]。将DOS和能带结构信息纳入指纹向量，能够通过电子和化学性质实现材料空间的结构化。然而，DOS指纹方法依赖于已有的电子结构计算来生成指纹。最大的公开可用的计算材料性质数据库之一——Materials Project——包含约154，000种材料的信息；然而，其中只有60%的材料计算了态密度，这严重限制了电子结构指纹方法的应用[12,13]。使用密度泛函理论（DFT）等经典方法为超过60，000种材料计算DOS将过于缓慢，而将此方法应用于更大的化合物空间则更为昂贵。机器学习（ML）模型在预测形成能、带隙等材料性质方面表现出了显著成果。一旦训练完成，机器学习模型可以以极低的计算成本生成预测。此前的研究表明，机器学习模型能够以相当的精度预测无机材料的DOS[14–19]。然而，这些研究并未尝试预测对评估材料电子相似性至关重要的轨道分辨态密度，也未尝试将此方法用于材料筛选。在这项工作中，我们提出利用已有的投影态密度（PDOS）数据训练一个能够预测轨道分辨DOS的机器学习模型，并利用这些预测为材料空间中的所有化合物生成电子指纹。II. 方法 A. 图神经网络图卷积网络（GCNs）是机器学习算法的一个子类，专为处理数据的图表示而设计。由于材料结构的图表示方便且其在性质预测任务中表现优异，GCNs在计算化学和材料科学领域被广泛使用。在这项工作中，我们开发了ProDosNet–GCN，用于训练预测无机材料的PDOS。我们使用了晶体图材料表示的修改版本，该表示最初随CGCNN模型一同引入[20]。在晶体图表示中，材料由一组节点和边描述。节点代表晶胞中的原子，包含原子描述符；边代表化学键，提供原子间距离和晶体几何信息。除了原始晶体图原子描述符外，我们还利用 、 和 原子轨道能量以及范德华、离子和共价半径作为每种元素的输入特征。原子间距离作为键特征提供，使模型能够准确捕捉晶体几何结构。该模型接收晶体结构的图表示作为输入，并为图的每个节点生成输出（图1）。节点级预测对应于材料晶胞中每个原子的轨道PDOS，从而消除了池化（一种将来自所有原子的信息聚合为单个输出值的步骤）的必要。这种方法使我们能够预测并训练轨道态密度——DOS最基础的组成部分。使用轨道分辨数据使每种材料的训练样例数增加了因子 ，其中 是每个原子的轨道数， 是晶胞中的原子数。数据集中的平均因子 为227，与在总DOS上训练相比，使用轨道分辨数据时训练信息增加了两个数量级以上。图1. ProDosNet模型架构的示意表示。第一阶段包含图卷积层，负责节点之间的信息交换并生成包含原子局部环境信息的更新原子嵌入向量。图卷积层之后，使用前馈层从更新原子嵌入向量中获得单轨道态密度。模型的最终输出是结构中每个原子的九个轨道态密度。B. 模型训练为了训练模型，我们从Materials Project中整理了一个包含23，140种材料的数据集，将非自旋极化的轨道投影态密度预处理到标准化的256点能量网格上（数据整理细节见补充材料[21]，其中包含参考文献[22–32]）。训练模型预测态密度时面临的主要挑战之一是选择衡量模型性能的度量。尖锐密度峰值的轻微错位可能导致高损失，即使整体DOS预测是准确的。此外，标准损失函数如均方根误差（RMSE）或平均绝对误差（MAE）在目标密度和预测密度开始重叠之前无法捕捉PDOS预测的改进（即梯度），这使得对更尖锐的密度峰值的模型训练变得复杂。为解决这些问题，我们使用Wasserstein距离（也称为推土机距离）作为衡量PDOS相似性及PDOS预测精度的度量。两个分布之间的Wasserstein距离可定义为它们累积分布函数（CDFs）之间的面积[式(1)]。与RMSE不同，Wasserstein度量考虑了密度峰值的能量偏移，从而在峰值未对齐时避免了梯度消失问题。训练后的模型达到了平均训练损失 ，验证损失 ，测试损失 （见补充材料[21]中的图S4）。 (1)在本研究中，使用因子 。C. PDOS指纹态密度提供了对材料电子和化学性质的充分（可以说完整）洞察，可作为衡量材料相似性及由此进行材料筛选的指纹。此外，将 、 和 轨道态密度显式包含在指纹向量中，使得它们能够用于轨道特异性投影可能发挥关键作用的应用。例如，在光电应用中，跃迁偶极矩取决于参与波函数的宇称，且仅允许不同轨道之间的光学跃迁，这不仅需要总DOS的知识，还需要PDOS。在催化剂中，常用于预测催化活性的 -带中心近似依赖于过渡金属的投影 态，因此也需要轨道分辨的PDOS。为构建每种材料的指纹向量，我们首先预测其 、 和 轨道态密度。每个轨道态密度表示为256元素能量网格上的振幅，该网格由ProDosNet模型架构定义。通过连接 、 和 轨道态密度向量，获得总长为768元素的PDOS指纹向量。为适应原子数目不同的材料，将轨道分辨的PDOS向量在晶胞中所有原子上求和。最后，将所得的PDOS指纹向量按晶胞中原子数归一化。为衡量PDOS向量的相似性，我们再次使用Wasserstein距离。较小的Wasserstein距离表示PDOS更相似，因此材料的电子和化学性质也更相似。III. 结果 A. 预测投影态密度ProDosNet架构旨在实现对材料中每个原子的每个轨道的PDOS预测。代表性预测展示了模型预测DOS各种投影的能力，包括元素特异性和轨道特异性组分（图2）。图2. 测试集上的中位数预测。(a)总DOS预测的CDF表示，(b)总DOS预测，(c)元素投影PDOS预测，以及(d)轨道投影PDOS预测。使用Wasserstein距离作为度量进行训练，相比RMSE或MAE提高了预测精度（模型使用不同精度度量的性能详细比较见补充材料[21]）。在测试集预测中最常遇到的视觉特征之一是模型对尖锐密度峰值的过度展宽。然而，这种误差在Wasserstein距离中不会产生任何有意义的偏差，并且可以说这是训练的有意且更好的结果。换言之，从相同的DOS出发并对其施加不同的展宽值，会产生显著不同的RMSE，但Wasserstein损失几乎相同。尽管模型总体表现良好，但在分子晶体（如HCN）等环境中表现不佳，且容易出现振幅归一化误差，详见补充材料[21]中图S11–S13所示的最差预测示例。B. 探索结构化材料空间使用训练好的ProDosNet模型，对Materials Project数据库中的所有材料进行了PDOS预测，排除了含有放射性元素的化合物，总计147，472个预测。利用预测的态密度生成了PDOS指纹。为评估基于相似性搜索加速材料筛选的适用性，我们评估了四种不同的应用：析氧催化、光电子学、固态离子导体和锂离子电池正极，每类都以已知的最先进材料为起点： 、GaAs、 和 分别对应上述应用。邻居从预测PDOS最相似的25种最稳定材料列表中选择（图3）。图3. 模型利用PDOS指纹发现的相似材料。每列显示一个目标材料及模型根据PDOS相似性建议的三个邻居。邻居按最相似（第一个）到最不相似（最后一个）排序。 是酸性环境中析氧反应最知名的催化剂之一[33]。在先进的DFT方法被开发用于测量每个质子-电子转移步骤的热力学能垒以及表面Pourbaix图计算之前，d带中心曾被用作催化剂活性的经验度量指标，这支持了电子结构指纹，特别是区分p、d和f轨道的指纹，可能不仅是催化活性的综合描述符，也是材料在酸中稳定性的综合描述符这一观点[34]。基于PDOS相似性确定的最近邻为RuO?、IrO?和PtO?[图3(a)]。另一个附加要求是仅选择金属材料（即零带隙）以确保更好的电导率。由于使用表面描述符对析氧反应（OER）催化剂进行计算验证仍然不可靠，我们转而通过检查预测PDOS空间中RuO?的邻域来评估我们的方法[35]。我们发现该邻域富含经实验验证的高性能OER催化剂，同时也包含先前未探索的化合物。

最近邻列表中超过三分之一的材料已被实验研究并显示出有前景的OER活性，包括RuO?、IrO?、PtO?、MnO?、Co?O?、NiO、Fe?O?、SnO?、PbO?、Nb?O?、Ta?O?和WO?（完整的邻域列表见补充材料图S15[21]）[36–47]。重要的是，大多数被鉴定为与RuO?具有相似PDOS的材料具有不同的晶体结构和化学组成。这凸显了基于电子结构的描述符（如PDOS指纹）在导航材料空间和识别目标应用候选材料方面的价值。

砷化镓是一种研究充分的半导体材料，常用于生产光伏器件、发光二极管和光电探测器。主要关注的光学带隙和跃迁偶极矩可以通过PDOS很好地捕获。此外，区分p、d和f轨道非常重要，因为价带和导带应具有不同的轨道对称性，以实现允许角动量变化的光学允许电子跃迁。根据预测的PDOS，GaAs的一些最近邻是InP、GaP、InAs及其合金，它们也是具有类似性质的技术上流行的半导体。另外两个近邻是ZnS和CdTe，两者均为实验已知材料。虽然在简单性或成本方面不一定是理想的组成，但它们展示了使用显著不同的晶体结构和组成来实现相同电子结构的可能性。更长的邻居列表见补充材料[21]。

固态无机电解质促进了包括固态电池和固体氧化物燃料电池在内的新技术的出现[48,49]。虽然离子电导率似乎纯粹由晶体对称性决定，例如空位位点的可用性和Li-阴离子键长，但我们假设并论证PDOS可能间接捕获这些性质。具体而言，锂离子的配位数及其与阴离子晶格的耦合强度将不可避免地影响原始Li轨道的展宽，这可以通过PDOS捕获。为了验证这一点，我们探索了Li?La?Zr?O??（LLZO）——一种具有报道的最高锂离子电导率的电解质——的邻域[50]。我们从Materials Project数据库中鉴定出25种具有最高预测PDOS相似性的稳定材料，构建了最近邻候选列表。从该列表中，我们手动选择了Li?OCl（一种众所周知的良好导电电解质）、Li?PS?Cl和Li?SiO?[50,51]。为了估计这些材料的离子电导率，我们进行了基于DFT的分子动力学模拟并计算了每种化合物的锂离子扩散率。虽然需要进一步研究来全面评估所提出的材料，但所有化合物都表现出高离子电导率。这些结果凸显了机器学习生成的PDOS指纹方法作为筛选有前景固态无机电解质的工具的潜力。更有趣的是，将上述所有化合物合金化可以提供宽广的成分空间，有机会微调固体电解质的电导率。关于分子动力学模拟和扩散率分析的更多细节见补充材料[21]。

锂离子电池（LIBs）在消费电子市场中占主导地位，并开始为交通运输领域的电气化提供动力，但其价格和性能需要进一步改进才能与内燃机竞争并超越它们[52]。LIB正极的化学稳定性通常通过PDOS表示，其中金属和氧轨道决定了在析氧发生前可实现的最大电压。因此，PDOS可以作为评估材料作为正极适用性的代理指标。作为起始结构，我们使用LiFePO?（LFP）——一种广泛使用的低成本正极材料，具有良好的稳定性但电子电导率较差。在LFP的PDOS相似性最近邻中包括LiMnPO?、LiCoPO?和LiNiPO?，所有这些材料都被积极研究作为有前景的LIB正极材料[53–55]。这表明利用PDOS指纹导致有前景正极材料的聚类，并成功创建了一个潜在有效化合物的子空间，这些化合物也可以被合金化以进行进一步探索。

耐缺陷材料对包括太阳能电池在内的许多应用非常重要。尽管发现新型耐缺陷材料是一项重大挑战，但在这项工作中我们想展示PDOS指纹对该任务的潜在有用性。先前的研究表明，价带最大（VBM）轨道的反键特性通常是高耐缺陷材料的标志。虽然VBM轨道的成键或反键特性不能直接从预测的PDOS中确定，但相似的电子结构也可能导致邻近材料中VBM轨道的相似特性。我们选择了一种以耐缺陷性著称的CsPbI?钙钛矿材料的最近PDOS邻域，并进行了它们的电子结构的DFT计算，随后进行了晶体轨道Hamilton布居（COHP）分析以确定VBM轨道的特性。我们的结果表明，与CsPbI?类似，其邻近化合物CsPbBr?、CsSnI?和CsSnBr?也具有VBM轨道的反键特性，表明高耐缺陷性。该分析的详细信息见补充材料[21]。虽然需要进一步研究来可靠验证所建议材料的耐缺陷性，但这个例子展示了机器学习生成的PDOS指纹方法的另一个可能应用。

IV. 讨论

我们使用训练好的ProDosNet模型预测了Materials Project中147,472种材料的轨道分辨PDOS，这涵盖了数据库的95%以上，仅排除了含有原子序数大于83元素的材料。然后使用预测的电子密度计算PDOS指纹，并创建按电子密度相似性组织的材料空间图。我们使用均匀流形近似和投影（UMAP）算法在二维中可视化该空间（图4）[56]。我们突出了特定应用的先进材料，如光伏、固体电解质、电池正极和催化剂。最后，我们将基于PDOS的UMAP与使用标准无机描述符生成的UMAP进行了比较，包括CrystalNN指纹（图4），以及经典力场启发描述符（CFIDs）和Magpie描述符（见补充材料图S14[21]）[57–59]。

图4. 使用机器学习生成的PDOS指纹和CrystalNN指纹获得的材料空间UMAP。第一列显示根据Materials Project数据库获得的带隙能量着色的材料。选定的光伏材料以红色突出显示。第二列显示含锂（黄色）和不含锂（蓝色）材料的分布。选定的固体电解质材料以橙色突出显示，电池正极材料以蓝色突出显示。第三列展示氧化物（红色）和非氧化物（黑色）材料的分布。选定的催化剂以蓝色突出显示。顶行显示使用ProDosNet预测的PDOS指纹获得的UMAP投影，而底行显示基于CrystalNN指纹的投影。

虽然未在特定元素（如锂或氧）存在下进行显式训练和评估，但这些图仍将含氧和含锂材料分组在一起。类似地，具有相似带隙的材料也分组在一起。这凸显了PDOS指纹的预测能力。这些图还显示，虽然一些针对相同应用的材料很好地分组在一起，突出其电子相似性，但其他相同应用的材料可能相距甚远。事实上，例如，铅卤化物钙钛矿具有与III–V材料非常不同的电子结构，这种差异是钙钛矿耐缺陷性的原因，而III–V材料不具备这种特性。电池材料和催化剂也形成不同的子组。我们还可以看到它们的相似性并非纯粹由成分决定；例如，氧化物空间明显比催化剂空间更广阔。此外，我们证明机器学习生成的PDOS指纹在测量特定应用的材料相似性方面比CrystalNN指纹、CFIDs和Magpie描述符更具通用性和准确性（更多细节见补充材料[21]）。

所提出方法的一个局限性是依赖弛豫的材料几何结构来准确预测PDOS并生成可靠的电子指纹。虽然使用DFT的几何优化提供了高质量的结构，但对于大规模材料筛选来说仍然过于昂贵。相比之下，最近的机器学习力场（MLFFs），如通用原子模型（UMA）和消息传递原子簇展开（MACE），以计算成本的一小部分实现了相当的结构精度，使其非常适合高通量虚拟筛选应用[60,61]。这些MLFF可以预测总能量和原子力，实现材料的高效结构弛豫。然而，与DFT不同，它们不提供对弛豫结构电子性质的直接访问。因此，我们认为将基于MLFF的结构弛豫与所提出的PDOS指纹方法相结合，为以远低于传统DFT工作流程的计算成本预筛选大型材料空间提供了有前景的策略。

V. 结论

我们证明了机器学习生成的PDOS指纹可用于创建结构化的材料空间，其中具有相似电子性质（而不仅仅是结构或成分特征）的化合物聚集在一起。所呈现的例子说明了机器学习生成的PDOS指纹方法在广泛应用中的通用性。这些应用包括但不限于加速筛选新型催化剂、电池正极材料、固体电解质和光伏材料。我们还展示了PDOS指纹在鉴定耐缺陷材料方面的潜在应用。此外，所提出的方法可以以较低的计算成本扩展到更大的材料空间。PDOS指纹方法有潜力成为高通量材料探索的有价值工具，通过提供应用特定的有前景材料池，以使用更昂贵的计算或实验技术进行验证。