描述符工程和模型选择对基于回归的二维材料杂质形成能预测的影响

《Computational Materials Science》：Impact of descriptor engineering and model selection on regression-based prediction of impurity formation energies in 2D materials

　　

摘要

本任务的目标是系统地评估机器学习（ML）或其工作流程组成部分对二维（2D）材料缺陷能量预测性能的影响，重点研究描述符工程和模型选择对训练稳定性、泛化行为以及杂质形成能量预测准确性的综合影响。为此，我们开发了一个基于回归的ML框架来测试统计学习模型和人工神经网络（ANN）架构。我们使用了一个精心策划的数据库，其中包含2D材料中的间隙和吸附杂质配置，以生成两个子数据集，用于在不同缺陷环境下进行比较。描述符的工程设计是通过原子和结构特征的向量化矩阵表示来完成的，模型的性能则使用基于树的集成回归器和ANN模型进行评估。我们发现，描述符的转换显著提高了所有模型的预测性能，统计学习方法的训练误差分别低于1.4 eV（间隙数据集）和1.1 eV（吸附数据集），而人工神经网络（ANN）模型的误差分别为2.1 eV和1.3 eV。在未观察到的数据上测试时，使用工程化的描述符显示出更好的泛化能力，从而降低了两种模型类别的预测误差。然而，间隙数据集上的残余过拟合现象仍然比吸附系统更为明显，这表明ML性能对缺陷数据集的复杂性和异质性很敏感。本研究系统地对材料属性预测的ML过程进行了基准测试，并为基于回归的材料信息学提供了数据工程和模型选择的指导。

引言

本研究的主要目标是系统地探讨机器学习（ML）过程的不同部分对二维（2D）材料缺陷能量预测性能的影响，特别关注杂质形成能量的预测。我们希望评估描述符工程、数据集特征和模型选择对训练稳定性、泛化行为和预测准确性的影响[1]。为此，我们提出了一个基于控制的回归ML框架，能够在一致的数据集和特征表示之间公平地比较统计学习模型和人工神经网络（ANNs）[2]。此外，本研究还旨在识别数据准备程序和模型设计之间的相互作用对模型过拟合倾向及模型整体鲁棒性的影响[3]。

2004年，A. Geim和K. Novoselov发现石墨烯是一种稳定的、原子级薄的碳形态，这标志着凝聚态物理学和材料研究的一个新时代的开始，因为二维（2D）材料已成为研究最为密集的材料类别之一[3]。这一发现创建了低维系统的新范式，在这些系统中，量子限制和表面效应主导了物理和化学性质。继石墨烯之后，出现了一系列丰富的2D材料，包括磷烯、六方氮化硼和过渡金属硫族化合物（TMDs），这些材料已经得到了物理上的实现和理论上的预测[4]。其中，TMDs因其可调的电子特性而引起了极大的兴趣，它们的单层版本通常表现出直接的带隙，而不是块状的间接类似物。这一特殊性质使它们成为光电子学、柔性电子学、能量转换系统和新兴量子技术的有趣应用候选者[5]。

掺杂和缺陷工程对于根据具体应用定制2D材料的物理性质至关重要。例如，用氮、硼、硫或硅等杂原子替代石墨烯会破坏sp²杂化碳网络，改变电子结构并实现带隙开启或费米能级的调节。同样，对于TMDs，可控的掺杂可以调节载流子浓度，从而实现n型和p型行为，这是构建平面和垂直异质结设备的关键步骤[6]。此外，向TMDs引入过渡金属掺杂已被证明可以在室温下产生长期铁磁有序，使这些系统在自旋电子学和谷电子学应用中具有很高的兴趣。此外，掺杂的TMDs在氢演化反应中表现出了更高的催化性能，其中改进的电荷转移动力学和增加的活性位点密度可以显著提高反应效率[7]。

杂质的形成能量是一个关键的热力学参数，它控制着掺杂剂在2D晶格中的稳定性和可行性。要了解一个掺杂剂是否在能量上是有利的并且可以在实验中实现，就需要准确预测其形成能量[7]。密度泛函理论（DFT）传统上是分析缺陷能量的主导计算方法，因为它在准确性和理论严谨性之间取得了良好的平衡。尽管DFT非常可靠，但它计算要求较高，尤其是在大规模筛选掺杂剂和缺陷配置或进行高通量材料发现时[8]。因此，基于DFT的技术的可扩展性仍然有限，这促使人们寻找更高效的预测方法。

近年来，机器学习（ML）作为一种强大的替代和补充技术，在材料研究中得到了发展。在从DFT计算或实验中收集的高质量数据集上训练的ML模型可以以更低的计算成本快速预测材料性质[9]。ML在材料信息学中的应用包括预测带隙、分类相稳定性以及识别用于能源和量子技术的新化合物。在某些情况下，ML模型的速度比传统的DFT计算快了好几个数量级，同时保持了相当高的准确性[10]。尽管取得了这些进展，但大多数现有研究都集中在提高预测准确性上，通常忽略了ML过程的潜在结构，例如特征工程策略、模型选择和数据集的异质性。

在基于ML的材料建模过程中，描述符工程和模型选择是两个对预测性能有关键影响的基本组成部分。特征工程将原始的原子或结构信息转换为ML系统可以处理的有意义的数值表示[11]。同时，模型选择决定了这些表示转化为所需质量的有效性。之前的研究分别考察了描述符设计和模型优化的特点，但很少有研究以综合的方式考察它们的联合影响。特别是，数据集属性、描述符变化和各种类型回归模型之间的关系尚未得到完全理解[12]。为了填补这一空白，我们开发了一种受控的ML方法，用于在一致的实验和计算条件下预测2D材料中的杂质形成能量。

本研究中使用的2D材料中的杂质（IMP2D）标准数据库基于密度泛函理论计算，并分为两个物理上独立的子集，分别对应于间隙和吸附缺陷拓扑结构[13]。我们基于向量化的原子属性矩阵、经验函数和欧几里得距离特征构建了一组工程描述符，以捕捉结构和化学信息。我们研究了两种类型的ML模型：基于树的统计学习算法和人工神经网络（ANNs），这使我们能够比较和检查线性和非线性学习行为[14]。我们的研究表明，描述符工程显著提高了所有模型的预测性能，并揭示了数据集在泛化和过拟合行为上的差异。间隙缺陷数据集对模型复杂性和特征表示更加敏感，表明结构异质性的影响更大。此外，尽管两类模型都从改进的特征表示中受益，但残余过拟合仍然存在，这突显了设计良好的数据集和严格特征选择的必要性。

总之，这项工作为材料信息学领域做出了三项重大贡献。首先，它提供了一种系统性的基准测试方法，用于评估描述符工程、数据集结构和模型架构对缺陷能量预测性能的相互作用。其次，它展示了数据集异质性在决定模型泛化行为中的重要性，特别是在间隙缺陷系统与吸附缺陷系统的背景下。第三，它为构建强大的2D材料研究ML流程提供了实际建议，表明仅通过模型选择无法实现最佳性能，而需要特征、数据集和学习算法的协调设计。这些结果为更准确和可解释的ML辅助材料发现方法奠定了基础。

章节摘录

方法

所提出的机器学习（ML）框架包括四个相互关联的步骤：数据准备、描述符构建、模型开发和模型评估。每个步骤对于提高预测性能、减少不确定性以及增强创建设计的物理解释都至关重要[15]。本研究的目标是开发一个可靠的基于回归的ML模型，用于预测2D材料中的缺陷形成能量。因此，重点在于描述符工程。

用于工程设计的统计训练模型描述

在这部分，我们展示了描述符选择对基于机器学习的树模型预测有效性的影响。这一分析分别在间隙（INT）和吸附（ADS）缺陷数据集上进行了测试。为了提高模型的性能，使用了带有交叉验证的网格搜索来调整超参数。所述发现是基于提供最佳验证性能的优化设置得出的[29]。

结论

我们系统地探讨了使用计算机训练建模或描述设计对二维材料中缺陷发展能量预测的影响。比较了不同学习技术的性能，比较了具有不同特征的数据集（包括间隙（int）和吸附（ads）缺陷）的统计机器学习方法和基于ANN的模型。

研究结果表明，基于向量化属性矩阵的描述符工程可能是一种

CRediT作者贡献声明

Lin Kong: 验证、方法学、资金获取、数据管理。

利益冲突声明

作者声明他们没有已知的可能会影响本文报道工作的竞争性财务利益或个人关系。