化学元素的语义嵌入技术，用于提升材料推理与发现的能力

《Materials Genome Engineering Advances》：Semantic Embeddings of Chemical Elements for Enhanced Materials Inference and Discovery

　　摘要

我们提出了一个框架，用于生成化学元素的语义嵌入，以推进合金的推理和发现。该框架利用了ElementBERT，这是一个基于BERT的领域特定自然语言处理模型，该模型在129万篇与合金相关的科学出版物的摘要上进行训练，以捕获特定于合金的潜在知识。这些语义嵌入作为强大的元素描述符，在包括预测机械和转变性能、分类相结构以及通过贝叶斯优化优化材料性能在内的多个下游任务中，始终优于传统的经验描述符。应用于钛合金、高熵合金和形状记忆合金的应用表明，预测准确性提高了多达23%。值得注意的是，基于语义嵌入的机器学习模型在新发布的、未包含在训练语料库中的合金数据上表现出更好的性能，这表明它们对新兴合金组合具有有希望的泛化能力。我们的结果表明，ElementBERT通过编码专门的合金知识，超越了通用BERT变体。通过将科学文献中的上下文洞察与定量推理相结合，我们的框架加速了先进合金的发现和优化，并有可能扩展到其他材料类别。

1 引言

化学元素是所有材料的基本构建块[1]。然而，这些元素的组合性质和相互作用导致了一个庞大而复杂的组成空间需要探索[2-4]。这种广阔性对传统的材料发现方法提出了重大挑战，这些方法通常依赖于试错实验或受限于先验领域专家知识的计算模拟[5]。尽管数据驱动的方法作为加速这一空间探索的有希望的工具已经出现[3, 4, 6-10]，但它们通常依赖于结构化的数值输入，如实验测量的属性或计算得出的参数。这些方法的成功往往取决于有效的特征工程，因为构建有意义的描述符对于捕捉控制材料行为的物理和化学原理至关重要[11-13]。尽管有效，但它们往往忽视了嵌入在非结构化文本数据中的丰富但未充分利用的知识来源，即科学文献。这些文本经过数十年的积累，包含了关于材料行为、合成方法和性能特性的细微洞察，这些内容难以量化，也很少在传统的数值数据库中被捕获[14-16]。为了弥合这一差距，自然语言处理（NLP）模型已被用来从科学文本中提取和编码语义信息[15, 17-22]。像Skip-gram和大型语言模型（LLMs）这样的模型将文本数据压缩成数值向量嵌入，捕捉上下文含义（例如，“合金”的概念），用于下游的机器学习任务[23-26]。在这项工作中，我们将语义嵌入定义为从大规模科学文献中通过NLP模型学习到的化学元素的高维数值表示。与传统的经验描述符（例如，原子半径或电负性）不同，后者依赖于固定的、表格化的物理属性，语义嵌入编码了材料概念在科学讨论中的上下文使用和潜在关联。例如，一个嵌入可能隐含地反映了某个特定元素经常与“延展性”或“高温稳定性”等理想属性相关联，从而数字化了社区积累的直觉和领域知识。自2019年引入材料科学以来，NLP模型在自动化数据提取[27-31]、预测材料属性[30, 32-36]和揭示潜在的科学知识[37, 38]方面显示出了巨大的潜力。然而，现有的方法通常专注于编码特定的材料加工路线或材料配方，限制了它们在材料类别间的泛化能力。一种更基本的方法涉及提取材料构建块的语义嵌入，例如无机材料的合金微观结构特征[39, 40]或有机分子的功能基团[18, 33]。这些嵌入作为可泛化的表示，可以增强对广泛材料系统的预测建模。在此基础上，我们的工作通过开发一个全面且可重用的特征库的语义嵌入而脱颖而出。通过将这种源自文献的知识库整合到机器学习框架中，我们实现了从元素组成到材料性能的更准确和细致的映射。这种方法克服了传统固定物理化学描述符的局限性，提供了一个更丰富、数据驱动的替代方案。我们关注化学元素作为合金设计的基本单元，使得这些语义嵌入能够作为适用于各种材料信息学任务的通用输入。如图1a所示，我们介绍了ElementBERT，这是一个基于BERT的模型，它在超过129万篇与合金相关的文献摘要上进行训练。ElementBERT这个名字反映了我们专注于学习单个元素级别的语义表示，而不是传统的全材料或合金的序列级别描述。我们特别选择摘要作为训练数据，因为它们简洁地捕获了提出的合金组成以及关键属性信息、机制洞察和研究人员确定为决定性能的因素，同时它们在所有期刊出版商中都是普遍可访问的，以便进行可复制的模型开发。ElementBERT为化学元素提取语义嵌入，每个嵌入包含384个维度。这些特定于元素的描述符通过与组成数据的各种功能形式（如摩尔平均）相结合，为下游的机器学习任务（包括回归、分类和贝叶斯优化（BO）构建了改进的输入特征。

2 结果

2.1 ElementBERT训练和嵌入提取

为了有效地表示化学元素以用于材料发现，ElementBERT被设计为一个领域特定的语言模型，它捕捉与合金相关文献中元素之间的上下文关系。通过利用结构化的训练和嵌入提取工作流程，ElementBERT生成了高质量的语义嵌入，作为通用的元素描述符。如图1b所示，ElementBERT在来自与合金相关的科学文献的超过129万篇摘要上进行训练。该过程从（i）收集和预处理摘要以形成适合AI的语料库开始。接下来，使用遵循BERT训练工作流程的预训练分词器将文本分解成更小的单元，如单词或子词（ii）。训练过程（ii）采用BERT的掩码语言建模（MLM）程序，其中15%的标记被随机选择进行掩码。分词后的输入在通过N=12个变压器编码器层进行处理之前，被增强了标记和位置编码。每个编码器层由n=6个自注意力头、残差连接、层归一化和遵循DeBERTa-v3_xsmall配置的前馈网络组成（详见方法部分[43]）。模型学习预测原始标记，损失计算为预测标记和真实标记之间的交叉熵，从而指导参数更新。一旦ElementBERT编码器（iii）预训练完成，它就便于进行编码任务以提取化学元素嵌入。在分词个别化学元素符号（iv）之后，例如“Ti”。通过使用预训练的ElementBERT模型对分词后的元素进行编码来构建元素的语义嵌入，具体是通过提取“[CLS]”标记的384维隐藏状态（BERT模型在每个输入序列前插入的一个特殊标记，用作聚合表示）来实现的。结果生成的ElementBERT嵌入在各种合金系统和机器学习任务中显示出比传统经验描述符显著改进的性能。此外，除了提高现有合金家族的预测准确性外，这些语义嵌入对于原始训练语料库之外的新兴组合也显示出特别的前景，表明它们在指导新型合金化学的发现方面具有潜在的实用性。领域特定的训练方法至关重要，因为ElementBERT在捕捉与合金相关的语义关系方面始终优于通用语言模型。ElementBERT嵌入弥合了定性文本知识和定量推理之间的差距，使材料科学家能够利用有限可用数据的上下文和经验谱系来加速材料创新和发现，其应用潜力扩展到合金以外的其他材料类别。

2.2 材料推理

2.2.1 分类和回归

我们首先使用ElementBERT派生的嵌入评估了回归和分类模型在形状记忆合金（SMA）、钛合金（Ti合金）和高熵合金（HEA）的各种属性上的预测性能，与化学元素的经验描述符进行了比较（支持信息S1：表S1和S8）。这一评估展示了ElementBERT嵌入在捕捉合金组成与其属性之间的内在关系方面的实用性。实验数据集来自文献和实验室实验，包括295个SMA样本、603个Ti合金样本和501个HEA样本。每个数据集都包含有关组成、工艺参数和相应属性的详细信息，所有这些信息都在我们之前的工作中公开提供[44]。为了确保评估的稳健性，从每个数据集中随机选择了100个实验数据点，然后使用遗传算法进行特征选择。这个过程分别应用于传统的元素描述符和ElementBERT嵌入，以识别最小化10折交叉验证平均绝对误差（MAE）的最佳特征子集。评估过程重复多次以生成MAE分布。图2展示了使用ElementBERT的语义嵌入的回归和分类模型的性能提升。图2a比较了使用ElementBERT的语义嵌入的10折交叉验证MAE：SMA的相变温度（）和转变焓（）；Ti合金的屈服强度（）、极限抗拉强度（）和维氏硬度（VH）；以及HEA的、和伸长率（EL）。每个点代表在不同特征数量下八次并行测试的平均值。传统的元素描述符（例如，电负性、原子半径）用蓝线表示，而红线代表ElementBERT派生的特征。阴影区域代表并行测试的标准偏差。在回归模型的几乎所有属性和特征数量中，ElementBERT嵌入始终实现了更低的预测误差。

使用ElementBERT派生特征与经验特征进行模型性能比较，用于（a）预测和（b）材料属性的分类。SMA、Ti合金和HEA的10折MAE图显示了作为所选特征数量（1–8）函数的性能。蓝线表示使用传统经验特征（例如，电负性、原子半径）的模型性能，而红线代表ElementBERT派生的材料特征。检查的属性包括相变温度（）、转变焓（）、屈服强度（）、极限抗拉强度（）、维氏硬度（VH）和伸长率（EL）。分类任务包括固溶体（SS）与非固溶体（NSS）的二元分类、相形式的三元分类（面心立方[FCC]、体心立方[BCC]和FCC-BCC混合）以及SMA相的四方分类（B19′-B2、B19′-B19-B2、B19-B2和R-B2）。ElementBERT派生的特征在几乎所有属性和特征数量上始终实现了更低的预测误差，突显了它们捕捉合金组成与属性之间内在关系的优越能力。阴影区域代表并行测试的标准偏差。例如，在SMA的马氏体相变温度（）的情况下，当只选择少数特征时，ElementBERT嵌入与传统元素描述符之间的MAE降低很小。然而，随着特征数量的增加，差距扩大，在选择八个特征时达到最大值（超过23%；见图2a中的相应面板）。随着特征数量的增加，输入信息的量也增加，从而改善了模型。我们观察到ElementBERT的嵌入有更明显的下降趋势。这种更明显的下降趋势表明，这些语义嵌入可能包含经验元素描述符中未出现的信息。在Ti合金和HEA中也观察到了类似的趋势，当使用八个特征时，屈服强度和硬度的MAE减少了大约20%。这些发现表明，ElementBERT嵌入更适合合金组成设计，因为这些嵌入可能包含隐藏在上下文描述中的合金组成与其属性之间的复杂关系。图2b探讨了不同复杂性的材料相识别分类任务。具体来说，我们进行了一个二元分类任务，以区分HEAs中的固溶体（SS）和非固溶体（NSS）相。随着所选特征数量的增加，F1分数提高，在特征数量为八时达到了接近0.9。这一结果突显了ElementBERT派生嵌入在增强模型区分SS和NSS相的能力方面的有效性。尽管在使用传统特征（蓝线）和ElementBERT派生嵌入（红线）的模型中，当只选择一两个特征时，预测性能相对接近，但随着特征数量的增加，ElementBERT嵌入的优势变得越来越明显。这进一步凸显了BERT嵌入在处理复杂材料分类任务中的潜力。我们还进行了一个三元分类任务，以区分三种相结构：面心立方（FCC）、体心立方（BCC）和混合FCC-BCC结构。对于SMA材料，我们将分析扩展到一个四元分类任务，以区分五种相结构：B19′-B2、B19′-B19-B2、B19′-R-B2、B19-B2和R-B2。在HEA和SMA分类任务中，ElementBERT嵌入始终优于传统描述符，证明了它们在编码与相相关的信息以及提高分类准确性方面的优越能力。

2.2.2 贝叶斯优化
基于ElementBERT派生嵌入所展示的预测能力，我们现在探讨将这些嵌入整合到贝叶斯优化（BO）框架中是否可以更有效地引导搜索到材料属性空间的最优区域。由于BO已被证明是高效探索合金开发中复杂设计空间的强大工具，我们通过将ElementBERT派生嵌入与不同合金系统中的传统经验元素描述符进行比较，评估了它们在基于BO的材料优化中的有效性（详见方法部分）。对于每个系统，我们定义了一个优值函数（FOM），将多个目标属性整合到一个优化目标中。例如，在HEA系统中，FOM是屈服强度、极限抗拉强度和延伸率的标准化加权和。一个利用实验数据训练的神经网络作为预测FOM值的真实值。我们使用高斯过程回归（GPR）来建模成分-FOM关系，并采用预期改进（EI）作为获取函数来迭代建议新的成分。为了确保比较的可靠性，我们使用了多个具有不同随机种子的并行BO轨迹（详见方法部分）。图3a–c分别展示了SMA、Ti合金和HEA在BO迭代过程中最佳FOM的演变。在图3a中，红色实线代表使用ElementBERT派生嵌入的并行BO运行中最佳FOM值的平均值，而蓝色实线表示使用经验描述符的结果。阴影区域代表并行测试的标准差。插图小提琴图显示了所有迭代后最终FOM值的分布，每个点对应于一个独立的BO运行。在SMA优化环境中，使用ElementBERT嵌入获得的BO曲线在FOM方面显示出显著改进（p < 0.05，非配对t检验）。同样，HEA和Ti合金的结果表明，ElementBERT派生特征在HEA系统中比经验描述符有统计学上的显著提升（p < 0.05，图3b），而在Ti合金系统中表现相当（p = 0.799，图3c）。值得注意的是，在HEA的情况下，BO的性能差距更为明显，因为使用经验描述符在后期BO迭代中趋于饱和，而使用ElementBERT嵌入的BO则继续显示出改进。

2.2.3 前瞻性验证揭示了新型Ti合金
为了评估ElementBERT嵌入在训练语料库之外的泛化能力，我们使用2025年新报告的钛合金数据进行了系统评估。这些出版物在2024年之前未被纳入ElementBERT语料库，其相关数据也未用于机器学习模型的训练或评估。实验工作流程包括围绕新报告的成分进行随机采样，如图4a所示。从之前的回归任务中派生的特征子集被用来训练机器学习模型，之后我们收集了最近报告的钛合金成分及其通过实验方法合成的屈服强度，确保这些成分完全不存在于训练语料库和之前的实验数据集中。然后使用训练好的模型来预测这些新报告成分的屈服强度。通过t-SNE可视化成分分布，图4b展示了由ElementBERT嵌入（i）和经验描述符（ii）定义的空间之间的比较。为了清晰起见，图中排除了预测屈服强度低于1100 MPa的采样点。使用ElementBERT嵌入训练的RF模型识别出了比基于经验描述符的模型更多的高性能成分（蓝点），这表明ElementBERT嵌入在捕捉成分-属性关系方面的优越能力，并突显了它们在未探索的化学空间中加速合金设计的潜力。

3 讨论
BERT模型利用基于变压器的架构[55]从文本数据中提取洞察，该架构以双向方式处理文本，从而通过专门的自我监督目标全面捕捉上下文细微差别。具体来说，在我们的研究中，我们采用了掩码语言建模（MLM）技术，其中每个输入序列中的一部分标记被随机遮挡（“掩码”）。随后训练模型通过利用它们的上下文线索来准确预测原始标记。这种在广泛的科学文献语料库中正确识别掩码标记的迭代过程迫使模型发展出复杂的上下文嵌入。这些嵌入封装了文本内的内在关系，从而使模型能够揭示语义科学知识，从而通过提供更丰富、更具信息量的描述符来提高下游机器学习任务的预测准确性。在展示了语义嵌入在预测建模和优化中的有效性之后，我们进一步通过定量评估语义嵌入和经验描述符之间的相似性和差异性来分析它们的优势。图5a展示了一个热图，说明了广泛使用的SMA、Ti合金和HEA的经验元素描述符与ElementBERT嵌入之间的皮尔逊相关系数。热图的横轴根据它们在ElementBERT嵌入中的相似性对前90个描述符进行了分类，而纵轴列出了30个经验元素描述符。红色的强度对应于较高的皮尔逊相关值，有效地可视化了这些关系。左侧深红色的密集相关区域表明ElementBERT有效地捕捉了经验物理信息，而右侧较为稀疏相关的区域表明ElementBERT嵌入编码了额外的语义维度。这种“正交”信息捕捉了高维的关系知识，例如关于相稳定性和协同元素效应的集体实验共识，这是静态物理描述符固有地缺失的。通过有效地“数字化”这些复杂的科学叙述，模型提供了一个更全面和上下文意识的特征空间。

3 讨论
BERT模型利用基于变压器的架构[55]从文本数据中提取洞察，该架构以双向方式处理文本，从而通过专门的自我监督目标全面捕捉上下文细微差别。在我们的研究中，我们采用了掩码语言建模（MLM）技术，其中每个输入序列中的一部分标记被随机遮挡。随后训练模型利用它们的上下文线索来准确预测原始标记。这种在广泛的科学文献语料库中正确识别掩码标记的迭代过程迫使模型发展出复杂的上下文嵌入。这些嵌入封装了文本内的内在关系，从而使模型能够揭示语义科学知识，从而在下游机器学习任务中提供更丰富、更具信息量的描述符，提高预测准确性。在展示了语义嵌入在预测建模和优化中的有效性之后，我们进一步通过定量评估语义嵌入和经验描述符之间的相似性和差异性来分析它们的优势。图5a展示了一个热图，说明了SMA、Ti合金和HEA的广泛使用的经验元素描述符与ElementBERT嵌入之间的皮尔逊相关系数。热图的横轴根据它们在ElementBERT嵌入中的相似性对前90个描述符进行了分类，而纵轴列出了30个经验元素描述符。红色的强度对应于较高的皮尔逊相关值，有效地可视化了这些关系。左侧深红色的密集相关区域表明ElementBERT有效地捕捉了经验物理信息，而右侧较为稀疏相关的区域表明ElementBERT嵌入编码了额外的语义维度。这种“正交”信息捕捉了高维的关系知识，例如关于相稳定性和协同元素效应的集体实验共识，这是静态物理描述符固有地缺失的。通过有效地“数字化”这些复杂的科学叙述，模型提供了一个更全面和上下文意识的特征空间。

分析经验描述符和ElementBERT派生元素嵌入。（a）SMA、Ti基合金和HEA中最常选特征之间的皮尔逊相关系数热图，突出了经验描述符和ElementBERT嵌入之间的关系。（b–d）HEA（b）、SMA（c）和Ti合金（d）的相关性热图显示，ElementBERT嵌入不仅捕捉了与经验描述符相似的信息，还捕捉了额外的、弱相关的知识，有助于提高模型性能。（e）多维缩放（MDS）投影比较了经验和ElementBERT派生特征之间的余弦相似性分布。ElementBERT嵌入的更广泛分布反映了更多样化和信息丰富的元素表示。（f）使用ElementBERT嵌入（i）和经验描述符（ii）通过BO优化的元素组成的t-SNE可视化。结果表明，ElementBERT嵌入促进了更广泛的成分空间探索，通过有效捕捉隐藏的化学关系，从而实现了更优的优化结果。图5b–d分别为SMA、Ti合金和HEA提供了详细的相关性分析，揭示了ElementBERT嵌入与经验描述符之间的关系。以图5b为例，横轴代表了基于出现频率选择的Top 10个ElementBERT嵌入，而纵轴展示了出现频率最高的10个经验描述符。这种可视化显示，语义嵌入有效地捕捉了关键的经验信息，增强了它们在特定任务中的适用性。例如，语义嵌入No. 83与高频经验描述符的皮尔逊相关系数较低，表明它捕捉了经验数据中不存在的独特信息。这种额外的知识有助于提高模型性能。在Ti合金和SMA中也观察到了类似的模式（图5c,d）。由于语义嵌入编码了更丰富的信息，它们更有效地区分了元素。因此，元素在降维可视化中的分布更为广泛，与经验描述符中的规则周期性不同。图5e使用多维缩放（MDS）将余弦相似性测量投影到两个维度中[56]，进一步展示了这些结果。这些投影表明，经验特征分布往往更为线性，表现出较少的变异性，限制了它们有效区分元素的能力。相比之下，ElementBERT嵌入更为分散，提供了更广泛和多样化的元素信息表示。这种分散突显了ElementBERT在捕捉细微关系方面的优越能力。为了进一步评估ElementBERT派生嵌入在优化任务中的有效性，我们将其性能与传统的经验描述符在BO中的性能进行了比较。如图5f所示，在相同的随机探索条件下，使用ElementBERT嵌入的BO实现了更高效的搜索，扩展了超出随机采样指定区域的探索范围。此外，该图中的颜色变化表明，使用ElementBERT嵌入获得的成分性能优于使用经验描述符获得的性能。这些结果强调了ElementBERT嵌入在加速材料发现方面的潜力，为探索以前无法访问的成分空间奠定了基础。x轴表示10折交叉验证的平均绝对误差（MAE），p值小于0.01，表明存在统计学上的显著相关性。在所有测试的算法中，ElementBERT始终优于传统的经验描述符，证明了其在捕捉复杂的材料-属性关系方面的适应性和有效性。图6在图查看器或PowerPoint中打开。

各种机器学习模型和BERT架构在材料属性预测方面的性能比较。(a) 不同基础模型的10折交叉验证MAE分布，包括高斯过程回归（GPR）、多层感知器（MLP）、随机森林（RF）、支持向量回归（SVR）和极端梯度提升（XGB）。箱形图显示，ElementBERT嵌入在所有模型中都一致优于传统的经验描述符，证明了其在捕捉复杂的材料-属性关系方面的适应性和有效性。(b) 不同BERT架构对使用RF模型进行预测性能的影响。该图展示了各种输入表示的10折交叉验证MAE分布，包括原始组成、基于经验描述符的特征以及来自不同BERT变体（DeBERTa-v3_xsmall、BERT-base、SciBERT和ElementBERT）的嵌入。水平虚线表示使用经验描述符时获得的基线MAE（24.68 K）。作为最具体的领域模型，ElementBERT在需要更少计算资源的情况下，始终优于通用和其他特定领域的BERT模型。小提琴图和箱形图系统地展示了改进情况，插图总结了广泛评估中的平均MAE值，突出了ElementBERT的卓越预测能力。我们的发现强调了开发特定领域BERT模型的重要性，以定制生成的语义嵌入，而不仅仅是依赖于通用的大型语言模型。图6b系统地评估了在不同参数保持不变的情况下，不同BERT模型对预测性能的影响。从左到右按领域特异性递增的顺序，展示了基于原始组成、经验特征以及来自多个BERT变体（DeBERTa-v3_xsmall [43]、BERT-base [42]、SciBERT [57] 和 ElementBERT）的嵌入的材料属性预测的10折交叉验证MAE分布。图6b中的水平虚线标记了使用经验描述符时获得的基线MAE（24.68 K）。作为最具体的领域模型，ElementBERT在需要更少计算资源的情况下，始终优于通用和其他特定领域的BERT模型，实现了更高的预测准确性。这一优势在小提琴图和箱形图中得到了进一步体现。图6b中的插图总结了广泛评估中的平均MAE值，进一步强调了ElementBERT相对于通用和领域适应性BERT模型的优越预测能力。

3.1 观点

本研究介绍了ElementBERT，这是一种针对合金相关文献训练的特定领域BERT模型，用于生成化学元素的语义嵌入。这些嵌入捕捉了科学文本中的上下文和关系知识，从而在预测建模、优化和材料发现方面取得了显著进展。ElementBERT始终优于传统的经验描述符和通用BERT变体，同时还需要更少的计算资源和更少的计算时间。它为回归、分类和贝叶斯优化提供了强大且多功能的特点，适用于多种合金系统，包括形状记忆合金、Ti合金和高熵合金。总体而言，ElementBERT将文献派生的语言知识与定量推理相结合，提高了材料属性预测和组成探索的准确性和效率。相同的框架可以扩展到生成其他材料构建块的语义嵌入，例如合金的微观结构特征和非金属无机材料的晶体结构。特别是，这种方法非常适合捕捉有效药物靶点、活性位点和功能团的语义嵌入，这些在药物发现、催化和分子设计中起着关键作用。由于该框架是动态的，其嵌入将随着更大、更多样化文本语料的整合而不断进化，从而产生逐步精细化的表示。对于特定任务的应用，如催化剂设计或光伏，可以使用更针对性的、特定领域的语料来微调大型语言模型，提高它们在专门领域的适用性。鉴于ElementBERT嵌入的有效性，我们建议建立一个开放的基准中心，研究人员可以在其中贡献和比较来自各种BERT模型的材料构建块的语义嵌入，从而有助于识别针对机械性能、有机功能团、量子产率和其他材料相关特性的任务优化嵌入。尽管结果令人鼓舞，但本研究仍存在一些需要考虑的局限性。预训练语料库仅限于截至2024年的英文摘要。尽管摘要通常提供了关于元素-属性关系的精炼共识，但它们通常省略了在全文文章中更常见的具体处理路径和复杂微观结构演变的详细信息。因此，当前的嵌入对组成模式的响应更为敏感，而对处理敏感或结构依赖的变化响应较弱。此外，评估框架侧重于回归和传统分类任务，外部验证仅限于最近报道的钛合金。需要对贝叶斯优化结果进行广泛的实验验证，以证明其更广泛的适用性。ElementBERT嵌入的可靠性本质上与元素在文献中出现的频率有关。尽管该模型涵盖了119种元素，但提及的分布极不平衡。常用的合金元素如Fe、Ni、Al和Ti的出现频率远高于稀有或放射性元素。这种不平衡不是技术上的限制；相反，它反映了材料研究的实际状况。为了保持这种现实世界的分布，我们在预训练过程中有意避免了人工语料库平衡。我们的目标是捕捉该领域的“潜在共识”，这反映了通过数十年的科学讨论赋予每个元素的隐含优先级和上下文重要性。因此，用户可以期待对于广泛研究的元素具有更高的语义保真度。相比之下，由于在语料库中的表示有限，不常被提及的元素的嵌入在下游应用中可能表现出较低的鲁棒性。总的来说，这些局限性指出了未来研究的明确方向。扩大语料库以包括全文、专利和多语言来源，并结合严格的实验验证，将增强特定领域语义嵌入的鲁棒性和通用性。此外，认识到模型表示受到训练内容的影响，未来的研究应探讨如何平衡领域直觉（反映了继承的研究偏见）与客观物理原理。战略性地选择语料库并在专门的数据集上进行逐步微调，对于减轻这些偏见并针对特定领域应用定制嵌入至关重要。这样的努力将巩固它们作为加速和更可靠的材料发现的基础。

4 方法

4.1 ElementBERT的开发

4.1.1 文本数据收集和预处理

为了开发一个关于合金相关主题的全面数据集进行预训练，我们使用了广泛认可的科学搜索引擎Web of Science。我们的搜索特别配置了“alloy”作为主题，获得了超过1,290,000篇相关出版物。使用批量导出元数据功能，我们系统地以每批1,000篇的速度下载了这些摘要，并将它们存储在Excel电子表格中。随后，使用Python脚本从这些摘要中提取了英文文本，并将它们合并到一个Markdown文件中。这个过程是在2024年完成的，因此数据集本质上仅包括截至那时可用的出版物。

4.1.2 ElementBERT的架构

ElementBERT是一个基于Transformer的编码模型，它结合了BERT的编码架构和Microsoft的DeBERTa增强版的“xsmall”版本。最初，输入被分词并进行了标记和位置编码的丰富处理。然后，这些输入通过N=12个Transformer编码器层进行处理，每个编码器层配备了n=6个自注意力头和384的隐藏大小。这种配置与标准BERT模型不同，标准BERT模型通常具有12个Transformer编码器层、12个自注意力头和768的隐藏大小。尽管注意力头的数量减少且隐藏大小较小，ElementBERT仍然有效地使用了双向注意力机制，能够从单词的两侧捕获上下文信息，从而增强文本理解。DeBERTa的分解注意力机制和动态位置编码的整合显著增强了ElementBERT区分复杂语义关系和单词位置重要性的能力。精简的注意力头和减少的隐藏大小有助于ElementBERT的操作效率，使其特别适合在计算资源受限的环境中部署，同时仍能捕获分析语义数据所需的大量关键信息。

4.1.3 ElementBERT的训练

ElementBERT的预训练使用单个Nvidia A100 40G GPU进行了大约255小时。训练共涉及130,000步，有效批量大小为576（通过每个设备8个样本和72个梯度累积步骤实现）。模型使用了AdamW优化器（torch实现），学习率为1e?4，进行了10,000步的线性热身，以及1e?2的权重衰减。训练利用了混合精度（fp16）来提高计算效率。

4.2 基准环境

4.2.1 特征子集选择

本研究使用的数据集来自多个来源：SMA数据来自我们实验室的长期实验和文献；HEA数据来自[60]；Ti合金数据主要通过文献收集（详见参考文献[44]）。数据集包含了关于组成和处理参数的全面信息，具体包括SMA的10种元素、HEA的10种元素和Ti合金的11种元素。对于特征子集选择，我们使用了遗传算法（GA）从ElementBERT嵌入和经验描述符中识别出最佳特征组合。GA的超参数经过仔细调整：种群大小设置为192，交叉率设置为0.8，变异率设置为0.1，最大代数设置为100。尽管经验特征和ElementBERT嵌入的搜索空间维度不同（30 vs. 384维），但优化预算保持一致。为了确保评估的稳健性，我们随机选择了100个实验数据点，并进行了特征选择，以获得最小化10折交叉验证MAE的子集（通过四轮并行计算得出平均值）。特征选择过程针对每个目标属性和合金系统独立进行，以确保特定任务的描述符优化。评估的基础模型是RF。给定一个初始特征池，找到每个GA优化的特征子集随后进行了64次10折交叉验证，使用不同的随机种子。这个评估过程从最初随机选择的100个实验数据点开始，至少重复了8次（8个特征子集）。重要的是，每次运行中选择的特征子集在随后的交叉验证和评估阶段是固定的，以防止数据泄露并确保公平比较。该过程生成了包含特征的特征子集（其中范围从1到8），对应于我们评估图中的各个性能点。我们还观察到，尽管ElementBERT嵌入的搜索空间明显更大，但它们始终表现出更优越的性能。

4.2.2 贝叶斯优化

为了建立一个全面的评估框架，我们开发了三个不同的测试环境（详见参考文献[44]），每个环境都使用了在SMA、Ti和HEA数据集上训练的神经网络作为生成伪实验预测的真实值模拟器。这些环境针对三个具有特定优化目标的合金家族：对于形状记忆合金（SMAs），我们关注热管理属性，将焓变（ΔH）、热滞后（ΔH*）和工作温度（Tm）结合起来，形成一个优值函数（FOM）。其中，ΔH、ΔH*和Tm分别表示马氏体和奥氏体转变温度的平均值，α和κ是归一化因子，ΔT表示与目标工作温度的偏差。钛合金和高熵合金（HEA）环境关注机械属性，它们的FOM分别定义为σ、σ*和ε。这里，σ、σ*和ν分别代表Ti合金的屈服强度、抗拉强度和维氏硬度，而HEA环境用延伸率（ε）代替硬度，以平衡强度和延展性。所有归一化因子（α、β、γ和δ）都是经过仔细选择的，以确保不同属性之间的可比性。这些集成的FOM创建了复杂的多目标优化景观，反映了实际的材料开发优先级，为评估我们的组成优化方法提供了严格的基准。BO过程遵循以下工作流程：首先，从组成空间中采样40个随机组合，以建立一个多样化的起点。然后使用GA从30个经验描述符或384个ElementBERT嵌入向量池中选择最佳描述符，通过最小化10折交叉验证的平均绝对误差来识别特征子集。选定的特征子集在BO循环的所有后续迭代中保持不变，以防止数据泄露并确保公平比较。该过程生成的特征子集包含特征（其中n的范围从1到8），对应于我们评估图中显示的各个性能点。我们还观察到，尽管ElementBERT嵌入的搜索空间显著更大，但它们始终表现出更优越的性能。

为了建立一个全面的评估框架，我们开发了三个不同的测试环境（详见参考文献[44]），每个环境都使用了在SMA、Ti和HEA数据集上训练的神经网络作为生成伪实验预测的真实值模拟器。这些环境针对三个具有特定优化目标的合金家族：对于形状记忆合金（SMAs），我们关注热管理属性，将焓变（ΔH）、热滞后（ΔH*）和工作温度（Tm）结合起来，形成一个优值函数（FOM）。其中，ΔH、ΔH*和Tm分别表示马氏体和奥氏体转变温度的平均值，α和κ是归一化因子，ΔT表示与目标工作温度的偏差。钛合金和高熵合金（HEA）环境关注机械属性，它们的FOM分别定义为σ、σ*和ε。这里，σ、σ*和ν分别代表Ti合金的屈服强度、抗拉强度和维氏硬度，而HEA环境用延伸率（ε）代替硬度，以平衡强度和延展性。所有归一化因子（α、β、γ和δ）都是经过仔细选择的，以确保不同属性之间的可比性。这些集成的FOM创建了复杂的多目标优化景观，反映了实际的材料开发优先级，为评估我们的组成优化方法提供了严格的基准。BO过程遵循以下工作流程：首先，从组成空间中采样40个随机组合，以建立一个多样化的起点。然后使用GA从30个经验描述符或384个ElementBERT嵌入向量池中选择最佳描述符，通过最小化10折交叉验证的平均绝对误差来识别特征子集。选定的特征子集在BO循环的所有后续迭代中保持不变。基于这些选定的特征，我们构建了一个从组成到材料特征的映射函数（详见参考文献[44]），然后使用材料特征和属性数据训练一个GPR模型（方程1）。这创建了一个从成分到目标属性的完整预测流程。

(1) 其中 表示在输入点处对均值函数的评估， 而 是使用协方差函数或核在这些点之间计算出的协方差矩阵。获取函数的计算过程包括几个步骤：从成分到材料特性，然后到属性预测，最后到获取函数值。我们采用EI（方程2）作为获取函数，利用基于梯度的优化来识别在受限成分设计空间内最大化获取函数值的成分：其中c代表一个成分，C是成分设计空间。

(2) 其中 是成分c处的预测均值。 是成分c处的预测标准差。 是迄今为止观察到的最高函数值。 和 分别是正态分布的累积分布函数（CDF）和概率密度函数（PDF）。这个过程为每次迭代建议最有希望的成分，总共进行60代迭代以确保对设计空间的彻底探索。为了进一步确保统计稳健性，使用了96条平行的BO轨迹，每个轨迹都从随机选择的初始成分开始。这种全面的设置允许计算出所有迭代中最佳FOM值的均值和标准差。

4.2.3 下游任务：回归和分类模型
机器学习实现使用了scikit-learn框架来评估五种不同的算法：RF、SVR、GPR、XGB和MLP。对于定量性能评估，我们关注两个关键指标：回归任务的MAE，它提供了预测准确性的直接度量；以及分类任务的F1分数（方程3和4）。这些任务提供了精确度和召回率的调和平均值。这种双指标方法能够全面评估ElementBERT派生嵌入在不同类型材料属性预测任务中的性能。所有模型都是使用标准的scikit-learn [61] 实现，并采用一致的交叉验证程序来确保性能比较的稳健性。

(3) 其中， 和 。真正例（TP）是正确预测为正例的情况，假正例（FP）是错误地预测为正例的情况，假负例（FN）是正例被错误地预测为负例的情况。多类F1分数（方程4）是通过加权F1分数计算得出的：

(4) 其中N是类别的总数， 代表第i类的样本数量。在机器学习阶段，有几个关键点值得提及。特别是，超参数调整是使用Bayesian-optimization库[62]中的贝叶斯优化函数与scikit-learn模型结合进行的，利用经验描述符来确保最佳性能。有关进一步的实施细节，请参阅补充材料。尽管付出了这些努力，但使用语义嵌入作为输入的算法始终优于仅依赖经验特征的算法。这突显了语义嵌入在提高算法性能方面的优越性。

4.3 在最新文献上的外部验证

4.3.1 新报告的数据集收集
为了严格评估ElementBERT嵌入在完全未见数据上的泛化能力，我们使用了2025年新发表文献中报告的钛合金成分和属性进行了外部验证。为了确保数据的质量和相关性，我们应用了以下纳入标准：(1) 通过实验方法合成的钛合金；(2) 主要关注成分开发和合金设计的论文；(3) 经过同行评审的出版物。这些成分代表了科学界认可的尖端合金开发，为ElementBERT嵌入的泛化能力提供了严格的测试，超出了训练数据的时间界限。

4.3.2 机器学习模型组合
我们评估了22个回归模型，涵盖了所有主要的材料属性预测机器学习方法。这些模型被分类为不同的算法家族，以确保对回归领域的全面覆盖。完整的名称和描述显示在支持信息S1：表S1中。

4.3.3 成分采样
为了系统地探索成分，我们使用均匀网格对连续的成分空间进行了离散化，步长为（1 at.%）。这种离散化将成分空间转换成整数单位，其中 是代表元素 数量的整数， 和 。实施了一种局部采样策略来探索候选合金周围的成分邻域。从每个外部候选成分开始，算法在受限半径（）内进行离散随机游走，如算法1所示：
算法1. 局部离散成分采样。需要：：候选成分矩阵
确保：：生成的样本成分
1: 初始化 ， ，
2: 对于每个 ，执行
3:
4:
5: 调整 以满足单纯形约束
6: 对于 到1000执行
7:
8:
9: 对于 到 执行
10:
11: 如果 和 ，则
12:
13:
14: 如果 ，则
15:
16:
17:
18: 结束if
19: 结束if
20: 对于 结束
21:
22: 结束
23: 结束
24: 从 中移除重复项
25: 返回

作者贡献
贾云泽：概念化、方法论、数据管理、写作——原始草稿、写作——审阅和编辑。冼月辉：概念化、方法论、数据管理、可视化、写作——原始草稿、写作——审阅和编辑。徐阳阳：验证、写作——原始草稿、数据管理。党鹏飞：监督、数据管理。丁向东：资金筹集。孙军：资金筹集。周玉梅：监督、写作——审阅和编辑、项目管理、资金筹集。薛德珍：概念化、监督、写作——审阅和编辑、项目管理、资金筹集。

致谢
作者衷心感谢中国国家重点研发计划（2021YFB3802100）、国家自然科学基金（项目编号52173228、52271190和524B2165）以及国家先进稀有金属材料技术创新中心项目（项目编号2024ZG-GCZX-01(1)-06）的支持。在准备这项工作期间，作者使用了ChatGPT-4和Claude AI来改进语法并精炼语言表达。使用这些工具后，作者根据需要审查和编辑了内容，并对发表文章的内容负全责。

利益冲突
作者声明没有利益冲突。

数据可用性声明
所有代码、数据集和训练模型都可以在Zenodo（https://doi.org/10.5281/zenodo.17402885）和GitHub（https://github.com/diegoxue/ElementBERT）上公开获取。代码根据MIT许可证发布；数据集根据CC0 1.0通用公共领域奉献许可发布。该仓库包括：(1) ElementBERT预训练和下游任务的完整源代码；(2) 来自2025年出版物的训练和测试数据集；(3) 语义嵌入和实验属性数据；(4) 可复现性的全面文档。预训练模型也可以在HuggingFace上找到：https://huggingface.co/Neuquar/ElementBERT。训练语料库的元数据来源于Web of Science Core Collection（Clarivate），并适当标注了来源。有关分类数据集的详细信息，请参考Zhang等人的研究[63]，其中提供了相应的源数据。