SCOPE+：CLOUD模型的物理增强型晶体表示方法

《Computational Materials Science》：SCOPE+: Physically enriched crystal representations for the CLOUD model

　　王冰|秦厚英|詹书•提出SCOPE+，这是一种基于物理原理对原始SCOPE表示方法的扩展：通过归一化和离散化，将晶格参数（常数和角度）以及Wyckoff自由度以结构化标记的形式明确编码，从而为晶体表示增添了原始SCOPE所缺失的关键物理信息。•在不修改核心CLOUD Transformer架构的情况下实现轻量级集成：SCOPE+在标记嵌入之外引入了结构感知的注意力偏差机制，无需对Transformer编码器本身进行任何改动。它仍能与预训练权重兼容，并支持高效的微调。•在MatBench基准测试中带来显著的性能提升：在钙钛矿任务上，与原始CLOUD模型相比，SCOPE+将平均绝对误差降低了59.5%。在其他对结构敏感的任务中，如gvrh，误差也减少了6%–9%，显示出更高的准确率和泛化能力。

引言
晶体材料是电子信息、能量存储和催化转化等战略领域的基石。定量预测结构与性质之间的关系，是实现功能材料的有针对性设计及高效发现的关键前提。[1], [2], [3]传统上，材料性质评估依赖于实验表征或密度泛函理论（DFT）计算。然而，前者耗时且劳动强度大，后者则计算成本高昂，严重限制了对庞大化学空间的高通量筛选。[4], [5], [6], [7]近年来，机器学习技术为克服这一瓶颈提供了新途径，其强大的数据驱动建模能力备受重视。通过在大规模无标签数据上预训练，基础模型获得了通用的表示能力，在跨任务迁移和泛化方面展现出独特优势，已成为材料科学领域的研究热点。[8], [9]CLOUD（用于统一且可微分材料建模的晶体语言模型）是一种基于物理原理的晶体表示学习基础模型。通过创新的对称一致有序参数编码（SCOPE）方法，CLOUD将晶体的空间群对称性、Wyckoff等效位点以及元素组成编码为一种紧凑的、无需坐标的字符串表示形式。[10], [11]这有效解决了传统模型的关键问题：基于组成的表示无法区分结构多态体，而基于原子坐标的图神经网络则需要昂贵的结构松弛数据，且难以捕捉长程相互作用。借助Transformer架构以及在超过630万种晶体结构上的预训练，CLOUD在预测形成能、带隙和弹性模量等各种材料性质方面表现出色，为数据驱动的材料发现提供了强大工具。然而，CLOUD的原始作者在讨论中明确指出，当前的SCOPE表示仍有改进空间，因为它没有编码晶格参数或Wyckoff位置自由度——这两个与晶体结构和材料性质密切相关的核心物理量。[10], [12]晶格参数，包括晶格常数（a/b/c）和晶格角（α/β/γ），直接决定了单位晶胞的空间尺度，进而影响原子间距离、键长和堆积密度。这些因素对于那些依赖于原子间相互作用的性质，如弹性模量、声子频率和热导率，起着决定性作用。例如，晶格常数的减小通常意味着原子间结合更强，这会直接导致剪切模量的增加。[13], [14], [15]Wyckoff自由度描述了对称等效位点内原子的连续位置变化。即便对于具有相同空间群和成分的晶体，这些参数的微小变化也可能引发结构畸变，比如缺陷晶体或固溶体中的原子重排，从而导致材料性质的显著变化。[16], [17]由于缺乏这些参数，SCOPE表示无法捕捉细微的结构差异，这也降低了CLOUD在预测对结构敏感的性质时的准确性。为解决上述问题，本研究提出了一种改进的晶体结构表示方法SCOPE+，它在原始SCOPE框架中加入了物理参数增强模块，实现对晶格参数和Wyckoff自由度的结构化编码。其核心思想是在保留CLOUD模型Transformer编码器架构及预训练权重兼容性的同时，为输入表示增添关键的物理信息。[18], [19]此外，该方法还引入了结构感知的注意力偏差机制，使模型不仅能纳入新引入的物理标记，还能在编码过程中明确建模原子间的几何接近度和对称关系，进而进一步提升其表示晶体结构信息的能力。在本研究中，我们系统阐述了SCOPE+表示方法的设计，包括晶格参数和Wyckoff自由度的归一化处理、标记化与编码规则以及表示整合策略。将这种改进后的表示方法整合到CLOUD模型后，我们在MatBench基准测试中的六项对结构敏感的任务上对其进行了评估，其中包括剪切模量（gvrh）以及理想五原子钙钛矿ABO?单元晶胞的形成能。实验结果表明，与原始CLOUD相比，SCOPE+在各项任务上均带来了稳定但程度不同的性能提升。在那些原始SCOPE表示已经表现优异的任务中，提升幅度较为有限；而在更受晶格几何结构和局部Wyckoff坐标变化影响的钙钛矿任务中，则观察到了更大的提升。我们的主要贡献如下：1）提出SCOPE+，这是一种基于物理原理的SCOPE模型扩展版本，其中晶格参数和Wyckoff自由坐标被明确编码为离散标记。2）设计了一种轻量级的参数提取和离散化方案，并引入了结构感知的注意力偏差机制，无需修改Transformer核心架构。3）在MatBench数据集上证明了该方法能带来稳定的性能提升并增强模型的泛化能力。

章节节选
晶体结构表示学习方法
有效地表示晶体结构是数据驱动材料性质预测中的核心挑战。早期的研究主要依赖于手工设计的结构描述符，比如从局部原子环境统计特征中得出的描述符（如径向分布函数和配位数），或是基于经验原子间势能构建的物理启发式描述符。[4], [20]虽然这些方法在特定体系中能保持稳定性能，但它们的表达能力有限。

SCOPE+改进的序列表示方法
为解决原始SCOPE表示在捕捉连续几何信息方面的局限性，本研究提出了SCOPE+，这是一种增加了物理参数的晶体序列表示方法。该方法并非重新设计新的预测核心网络，而是从输入表示层入手。在保留原始序列建模框架优势的同时，它补充了与性质预测密切相关的晶体关键信息。

实验设置
所有实验均在Ubuntu 22.04操作系统上使用Python 3.12和PyTorch 2.7.0完成。计算资源包括一块拥有24GB内存的NVIDIA RTX 4090 GPU，以及一颗16核的Intel Xeon Platinum 8481C CPU。通过CUDA 12.8实现了加速功能。所有实验均基于PyTorch和transformers库实现，输入数据编码则采用BertTokenizer。与原始配置相比，max_position_embeddings和blocksize参数也进行了调整。

结论
本研究的结果表明，在多个对结构几何形状极为敏感的预测任务中，经过晶格参数和Wyckoff自由参数增强的SCOPE+表示方法能够持续提升模型性能。这种性能提升并非源于模型复杂度的增加，而是由于输入表示中编码的物理信息更为完整。首先，晶格参数，包括晶格常数a、b、c以及……

CRediT作者贡献声明
王冰：写作——审稿与编辑，写作——初稿撰写，可视化，验证，项目管理，方法论，形式分析，数据整理，概念构思。秦厚英：资金获取。詹书：监督，资源提供，研究实施。

利益冲突声明
作者声明不存在任何可能影响本文所述工作的已知财务利益或个人关系。同时，我们确认在开始这项工作后的3年内没有任何需要披露的利益，此外在这段时间之外也不存在任何可能被认为会影响所提交工作的利益。

致谢
相关计算是在合肥工业大学的超级计算平台上完成的。