基于三模态机器学习的高效催化剂发现技术，为实现高性能能源存储提供了有力支持

《Energy Storage Materials》：Tri-modal Machine Learning Powers Efficient Catalyst Discovery for High-performance Energy Storage

　　致文·闵 | 天宇·陈 | 雅欣·程 | 国栋·傅 | 义威·尤 | 新宇·叶 | 亭·王 | 博南·辉 | 元淼·孙 | 慧明·程
中国科学院深圳先进技术研究院碳中和技术研究所，中国深圳518055

**摘要**
克服多硫化物穿梭效应是开发高性能钾硫（K-S）电池的关键挑战。虽然设计催化剂材料是一条有前景的途径，但庞大的组成空间使得传统的筛选方法不切实际。机器学习（ML）提供了一种加速这一过程的方法，但其挑战在于创建全面的特征表示以及缺乏可解释性。为了解决这两个问题，我们提出了一个三模态机器学习框架，该框架交互式地整合了图、文本和元素信息。该框架采用基于多头交叉注意力的复杂融合策略，创建了一个丰富、具有上下文意识且协同作用的嵌入，作为强大的特征表示。此外，它通过注意力分数分析来验证文本特征的质量，从而实现可解释性。利用这个框架，对超过75,000种配置进行了高通量筛选，确定了掺镍和氮化锌/钛共掺杂的硫化铜（CuS）作为有前景的候选材料。实验验证了它们的优异电化学性能。进一步的原位和体外表征提供了关于加速硫转化动力学的机制见解。此外，该框架在多样化的外部数据集上得到了验证，这些数据集涵盖了化学和结构上不同的材料系统及其相关的体相和表面性质。这项工作建立了一个经过验证的三模态ML框架，可以提供快速、可靠且可解释的途径来加速发现各种高性能能源材料。

**引言**
开发高性能钾硫（K-S）电池是下一代储能的一个有前景的方向，但由于钾多硫化物（KPS）中间体的穿梭效应，它们的实际应用受到了严重阻碍[1,2]。减轻这一问题的一种有效策略是合理设计和修改硫阴极的催化剂材料，以改善其与多硫化物的相互作用并增强其限制作用[[3],[4],[5]]。硫化铜（CuS）具有低成本和高电导率，是一种有吸引力的催化剂[[6],[7],[8],[9]]。通过阳离子掺杂，特别是双元素掺杂，可以改善其性能，从而创造协同活性位点[[10],[11],[12],[13],[14],[15]]。然而，这面临一个重大挑战：可能的掺杂对组合空间庞大，使得纯实验或传统的第一性原理筛选方法不切实际。

机器学习（ML）提供了一种有吸引力的替代方案，能够将筛选速度提高几个数量级[[16],[17],[18]]。然而，传统的ML模型通常受限于其对手工制作特征的依赖。这些特征从简单的元素性质（例如电负性、原子半径）到旨在表示局部原子环境的复杂结构描述符不等[[19],[20],[21]]。这种特征工程方法存在固有的局限性。主要困难在于设计一套通用的特征，能够在各种材料组成和结构中表现出良好的性能。此外，原子结构中原子数量的不同和复杂的几何形状与传统的ML模型（如卷积神经网络（CNN）不兼容，因为CNN需要固定大小的输入。图神经网络（GNN）可以通过将原子结构表示为图来解决这个问题，使它们能够直接处理任何大小的系统并自动学习特征，因此更适合材料建模[22,23]。尽管GNN通过消息传递框架有效捕获局部原子环境[24,25]，但它们对局部信息的关注是一个主要限制。即使像晶体图卷积神经网络（CGCNN）[26]、材料图网络（MEGNet）[27]、定向消息传递神经网络（DimeNet）[28]和原子线图神经网络（ALIGNN）[29]这样的复杂架构也难以捕获全局和半全局结构信息，包括晶格参数、晶体对称性和多面体连通性。在催化领域，这一限制尤为重要，因为长程结构特征会影响活性位点的电子性质，从而影响预测的准确性[[30],[31],[32]]。

一种补充缺失信息的有前景策略是用自然语言描述来增强GNN[33],[34],[35]]。然而，要将这种语言增强方法应用于催化剂筛选等复杂设计任务，必须解决两个关键挑战。第一个挑战是在捕获它们相互作用的同时整合异构数据。图、文本和元素向量各有不同的底层格式：图由节点和边的拓扑定义，文本遵循顺序语言模式，元素向量是固定长度的数值数组。因此，简单的融合方法（如连接[36,37]）往往无法在它们之间建立稳健的连接，导致特征表示不平衡或稀释。这需要建立一个先进的融合架构，能够从异构数据中创建丰富和协同的表示。然而，随着融合策略变得更加复杂以处理不同类型的数据，一个新的挑战出现了，即如何确保内部表示在科学上是有效的。当结合像GNN和语言模型这样强大但通常难以解释的组件时，很难确定它们的特征是基于真实的化学原理，还是仅仅反映了训练数据中的统计模式。事后方法（如SHapley加性解释（SHAP）[38]可以突出并排序重要的输入特征，但它们对每个组件生成的中间表示的有效性提供的洞察有限。为了解决这一限制，需要一种更透明且内置的验证策略，以提供组件级别的证据，证明关键的学习表示在科学上是有意义的。

在这项工作中，我们开发了一个三模态框架，可以通过独特地整合三种关键模态来直接解决这两个挑战：基于图表示的结构模态用于局部原子拓扑，基于自然语言描述的文本模态用于全局和半全局上下文，以及基于指纹的元素模态用于内在掺杂性质。该框架的核心是一种多阶段融合策略，其中心是多头交叉注意力。这种策略超越了简单的连接，使图表示能够主动查询并动态整合来自文本和元素表示的最相关特征，创建了一个丰富、具有上下文意识且协同作用的嵌入。此外，通过分析文本编码器的注意力分数，我们在融合阶段之前对文本模态进行了组件级别的验证，评估了文本表示的质量和化学智能。这为我们的框架的文本组件提供了透明度，并确认用于融合的文本表示在科学上是有意义的。这使得文本模态成为一个关键组成部分，因为它不仅提高了预测准确性，还提供了直接检查文本编码器如何逐步捕获化学上有意义模式的途径。

我们将先进的三模态模型应用于对超过75,000种双掺杂CuS配置的大规模高通量筛选。这次筛选是在基于超过8,000个密度泛函理论（DFT）计算的多样化数据集上训练的模型指导下进行的，确定了掺镍和氮化锌/钛共掺杂的CuS作为表现最佳的候选材料。然后通过实验合成和电化学测试验证了这些预测，结果证实了预测催化剂的优异性能。进一步的原位和体外表征提供了关于它们性能提升的机制见解。此外，在外部数据集上的基准测试表明，我们的框架可以在化学和结构上不同的材料系统之间进行泛化，包括固态电解质和催化表面，以及体相（离子导电性）和表面（吸附能）性质。这项工作展示了一种从理论到先进ML再到实验验证的全面集成方法，可以显著加速复杂和高性能能源材料的合理设计。

**数据集生成和处理**
我们工作流程的第一步是评估掺杂CuS系统的热力学稳定性，以确保其可合成性。我们使用了Materials Project数据库[39]中的参考数据，计算了来自3d、4d和5d块（不包括镧系元素和Cu本身）的28种过渡金属掺杂体的形成能和凸包以上能量（Ehull）。较低的形成能和Ehull通常表明实验合成的可能性更高。

**结论**
在这项研究中，我们开发并验证了一个完整的从理论到实验的流程，以加速高性能K-S电池催化剂的发现。这项工作在多模态ML框架方面提出了两项关键创新。第一是一项动态融合策略，我们证明了多头交叉注意力机制对于将图、文本和元素特征协同整合成高度预测性表示至关重要。第二是...

**DFT计算细节**
所有自旋极化的DFT计算都是使用维也纳从头算模拟包（VASP）[76]进行的。投影增强波（PAW）方法用于描述离子-电子相互作用[77]。交换相关能量由广义梯度近似（GGA）和Perdew-Burke-Ernzerhof（PBE）泛函[78]描述。平面波截止能量设置为520 eV。为了防止周期性图像之间的相互作用，添加了10 ?的真空层厚度。