Materium：一种用于材料生成的自回归方法

《Computational Materials Science》：Materium: An autoregressive approach for material generation

　　

Materium是一个具有4300万参数的自回归Transformer（Transformer），用于三维晶体（3D crystals）。直接坐标生成避免了迭代扩散和重建。训练在一台A100 GPU（A100 GPU）上大约需要4小时；GPU生成时间小于1秒。它支持多属性控制，并实现了85.4%的结构匹配率（structure match rate）。

**研究背景与问题**
材料科学对能源、电子、交通和制造等工业领域具有重要影响，发现和设计具有特定性质的材料具有高度实际意义。然而，探索庞大的组合化学空间仍面临重大挑战。传统发现方法依赖耗时且资源密集的实验流程，难以规模化。为应对这一问题，大量研究转向基于物理的计算机模拟方法，如密度泛函理论（Density Functional Theory，DFT），但这些方法每个候选材料的计算成本仍然较高，成为大数据集下的主要瓶颈。近年来，机器学习尤其是深度学习中的生成模型日益流行，包括扩散模型、流匹配（Flow Matching，FM）和自回归语言模型。在块体材料生成方面，已开发出基于扩散的方法如CDVAE、UniMat和MatterGen，以及基于语言模型的方法如LLaMat和CrystaLLM。然而，现有方法存在若干问题：基于CIF格式的语言模型将数值表示为多个字符token（如“0.123”拆分为5个token），导致模型需同时学习晶体化学和浮点数语法，且同一晶体可有不同CIF字符串；基于SLICES表示的方法需要额外的拓扑重建步骤，可能引入不准确性；扩散和流匹配方法需迭代去噪原子位置，训练和生成速度较慢。因此，需要一种更简单、高效且能直接生成三维晶体结构的方法。

**研究内容与意义**
研究人员提出了Materium，一种自回归语言模型方法，受Meshtron启发。其核心思想是保持简单的自回归设置，但避免字符级CIF生成和额外的拓扑重建步骤，而是直接对原子元素、分数坐标和晶格参数进行token化。连续值被量化到1024个离散区间，使每个分数坐标和晶格参数对应一个token。Materium使用约4300万参数的自回归Transformer（基于Llama 2架构），在单块A100 GPU上约4小时完成训练，生成一个材料不到1秒，支持多属性条件生成（如带隙、磁密度、赫芬达尔-赫希曼指数等）。在无条件生成中，Materium（采用Mhigh排序策略）实现了20.2%的稳定性-唯一性-新颖性（S.U.N.）率、72.0%的稳定率、100.0%的唯一率和85.4%的结构匹配率，匹配率高于FlowMM等对比模型。在条件生成中，模型能按目标值偏移生成材料的性质分布，但方差较大，尤其在高值区域数据稀疏时。多条件生成（如空间群结合密度或HHI）显示有效整合多个条件，空间群匹配率超过90%。该研究的意义在于提供了一种更简单、高效的自回归替代方案，统一了晶体结构所有组件的表示，避免了复杂多部分扩散过程，且可应用自然语言处理中的优化技术（如强化学习）进行微调。论文发表在《Computational Materials Science》。

**关键技术与方法**
研究人员主要采用以下关键技术方法：1.晶体结构token化：将晶体结构表示为离散token序列，包含起始符[SOS]、原子部分[ATOMS]（每个原子由元素-氧化态对和三个量化分数坐标token组成）、晶格部分[LATTICE]（六个量化晶格参数token）和结束符[EOS]；连续值（分数坐标和晶格参数）被量化到1024个离散区间，分数坐标范围为[0,1)，晶格参数基于训练集范围归一化。2.自回归Transformer架构：基于Llama 2的decoder-only transformer，12个解码块，16个注意力头，隐藏维度512，前馈网络维度1536，使用RMSNorm归一化、SwiGLU激活函数和旋转位置编码（RoPE），约4300万参数。3.条件生成：通过条件dropout训练，将每个条件（如带隙、磁密度、空间群、化学式、HHI）转换为一个上下文token并前置到材料序列，支持多条件组合；连续属性使用线性投影，离散属性使用查找表，缺失值用NaN嵌入。4.评估方法：使用MatterSim-v1.0.0-5M原子间势模型进行结构弛豫，计算能量高于凸包、稳定率、唯一率、新颖率、S.U.N.率、结构匹配率和均方根偏差（RMSD）；部分条件生成任务使用DFT（Quantum ESPRESSO v.7.4.1，PBE泛函）验证带隙。训练数据集为Alex-MP-20（675,204个材料，来自Materials Project、Alexandria数据库和ICSD，经DFT重算，能量高于凸包<0.1 eV/atom，原胞原子数<20），按90%/10%分为训练集和验证集。

**研究结果**
5.1 对token排序的敏感性和无条件生成
通过比较四种原子排序策略（Mlow：原子序数升序；Mhigh：原子序数降序；Mxyz：按分数坐标排序；Mrand：随机排序），研究人员发现Mxyz模型在生成稳定结构方面表现最优（平均能量高于凸包0.078 eV/atom，稳定率79.2%），但Mhigh在条件生成任务中表现更一致，因此选择Mhigh作为Materium模型。无条件生成中，Mhigh的S.U.N.率为20.2%（主要受限于新颖性46.1%而非重复生成），稳定率72.0%，唯一率100.0%。与MatterGen相比，训练时间从数天缩短至约4小时，生成速度从约1分钟/材料缩短至<1秒（GPU）/1.5秒（CPU）。

5.2 Mhigh的无条件生成
对Mhigh模型进一步分析，计算结构匹配率（使用pymatgen的StructureMatcher）为85.4%（874/1024），高于FlowMM（61.39%）、DiffCSP（51.49%）和CDVAE（45.31%）。在887个可计算RMSD的样本中，698个（78.7%）的RMSD低于0.1 ?，表明大多数生成结构在弛豫后变化很小。

5.3 模型间的单条件生成比较
针对空间群、化学式和密度的单条件生成任务，研究人员比较了Mlow、Mhigh和Mxyz模型。Mhigh在空间群生成中几乎总是获得最高百分比，在化学式生成中表现更一致（但Ba₂Cu₃O₇Y的重复率较低，为18.2%）。Mlow在单元素和双元素组成上表现较差，但在三元素和四元素组成上最佳；Mxyz在单元素和双元素组成上略优，但在多元素组成上显著较差。密度条件生成中三模型表现相似，生成的密度分布紧密跟随目标值。

5.4 Mhigh的单条件生成
对Mhigh模型测试带隙、磁密度和HHI的单条件生成。对于带隙和磁密度，更大的目标值使生成材料的相应性质分布向更大值偏移，但方差较大，尤其在数据稀疏的高值区域（带隙>1.0 eV、磁密度>0.1 ?^-3，仅约6000训练样本）。带隙计算使用PBE泛函（已知低估实验带隙），结果主要作为与PBE目标的一致性检查。对于HHI，目标值从1000到5000，模型在低目标值（1000、2000）时略微高估，目标值3000时段高估显著，目标值4000、5000时预测更接近目标但方差仍大。

5.5 多条件生成
研究人员测试了空间群结合密度或HHI，以及磁密度结合HHI的多条件生成。空间群结合密度时，目标密度从1.0 g/cm³增加到7.5 g/cm³，生成密度均值随之增加，且空间群匹配率超过90%。空间群结合HHI时，HHI随目标值呈弱正相关，但低目标值高估明显。磁密度结合HHI时，磁密度目标与计算值呈正相关，但目标值0.0和0.2时存在系统偏差；HHI分布呈双峰模式（高目标磁密度时，生成材料要么含非常常见元素如铁，要么含非常稀有元素如Gd），表明模型难以精确控制材料稀缺性。

**讨论与结论**
本研究介绍了一种紧凑的自回归方法用于晶体结构生成，通过将每个材料表示为原子、坐标和晶格token的序列，由transformer模型有效学习。在无条件生成和条件生成任务中表现良好，但在生成新颖材料方面不如当前最先进模型，S.U.N.率主要受限于新颖性而非重复生成。反之，方法的主要优势是计算效率：单块A100 GPU训练仅需约4小时，远低于竞争架构。当前模型在Alex-MP-20设置下训练和评估（即原胞或单胞结构，原子数少于20个），更大的晶胞、超胞、缺陷和无序结构不在当前模型范围内，需在后续工作中单独测试。研究人员认为自回归方法是扩散和流模型的一种更简单的替代方案，通过统一所有晶体结构组件为单一序列，避免了复杂多部分扩散过程。自然语言处理领域的新兴优化技术可轻松应用于此模型，因为其使用相同的底层架构和训练流程。此外，强化学习等方法也可用于微调模型以改善生成材料的新颖性或其他指标。