Mat2Vec-*：融合专家描述符与监督学习嵌入的可迁移元素表征

《Communications Chemistry》：Hybridizing expert descriptors and learned embeddings yields transferable Mat2Vec-* element representations

　　

元素表征（element representations）桥接化学身份与用于材料预测的机器学习模型，但手工设计描述符（handcrafted descriptors）、语料库衍生嵌入（corpus-derived embeddings）与监督嵌入（supervised embeddings）通常被视为相互分离的选择。研究人员表明，手工设计与监督表征编码互补的化学信息，并且监督元素几何（supervised element geometry）可被蒸馏为可复用元素表（Mat2Vec-*）。在八项基于结构的 MatBench 回归任务中，受控的 CGCNN（Crystal Graph Convolutional Neural Network，晶体图卷积神经网络）与 MEGNet（MatErials Graph Network，材料图网络）基准覆盖 2,240 个模型，涉及表征混合与潜在维度。表现最佳的模型定义旋转不变余弦距离关系，研究人员据此重建 Mat2Vec-*。在仅成分模型（CrabNet，Compositionally Restricted Attention-Based Network，成分受限注意力网络）中，这些表替代或增强语料库衍生的 Mat2Vec，大多数配置在全部四项 MatBench 成分任务上提升性能。在 Matbench Discovery 的 WBM 基准上，Mat2Vec-* 特征通过轻量残差校正进一步降低若干现代基于结构预测器的误差。综上，这些结果确立 Mat2Vec-* 作为一种紧凑、可迁移的监督化学先验，用于材料预测。

研究背景与问题：材料信息学中，元素表征是连接离散元素身份与连续向量空间的共享计算原语，广泛用于基于结构、基于成分以及反向设计等预测任务。现有实践主要采用三类元素表征：Mat2Vec（语料库衍生元素嵌入表）等文本衍生表征、手工设计元素描述符（handcrafted descriptors）以及端到端学习的元素嵌入（learnable element embeddings）。原文指出，这三类表征通常被视为互斥设计选择，而非互补信息源；语料库嵌入受语料覆盖影响且未必与预测任务对齐，手工描述符需要特征选择，监督嵌入可解释性较弱且跨任务迁移可能不佳。由此，研究人员提出核心问题：领域知识描述符与监督任务训练的元素嵌入是否占据可分离或弱纠缠子空间，其融合是否带来系统增益；若监督性质预测诱导稳定且有意义的元素-元素关系结构，能否跨多个任务和模型族蒸馏为稳健、可复用的元素表征，并在训练域外元素相关任务上获得一致收益。

研究开展、结论与意义：研究人员以 MatBench（材料基准测试集）为系统基准，在八项结构输入回归任务上，以 CGCNN（Crystal Graph Convolutional Neural Network，晶体图卷积神经网络）和 MEGNet（MatErials Graph Network，材料图网络）为受控且互补的测试骨干，系统扫描手工特征单源、学习嵌入单源及二者在共享潜在空间按混合比插值的混合表征，并改变潜在维度。研究将表现最佳模型转化为旋转不变的余弦距离关系，蒸馏出 Mat2Vec-* 家族，包括 Mat2Vec-S、Mat2Vec-H 与 Mat2Vec-L，并在未用于蒸馏的两个迁移场景中评估：仅成分模型 CrabNet（Compositionally Restricted Attention-Based Network，成分受限注意力网络）以及 Matbench Discovery 的 WBM 基准残差校正。结论是：特征主导的混合表征在受控网格中一致具有竞争力，专家描述符与监督嵌入编码部分互补且弱纠缠信息；监督元素-元素关系几何可被蒸馏、复用、与语料库衍生嵌入结合，并用于诊断跨模型类别的残差化学信息。其意义在于将 Mat2Vec-* 确立为紧凑、可迁移的监督化学先验，为材料预测中的元素表征设计提供可复用表与残差诊断思路。

关键技术与方法：方法上，模型均采用官方 MatBench 参考实现；结构输入任务以 CGCNN（三层图卷积）与 MEGNet（三个 MEGNet 块、Set2Set 读出、4.0 ? 截断）为骨干。专家描述符经线性投影到 DIM∈{8,16,32,64}，与端到端学习元素嵌入表在共享潜在空间逐元素相加，混合比 r=log₁₀(Learnable/Handcrafted) 取 H、?4、?2、0、2、4、L 七档。蒸馏时对入选模型 L2 归一化元素向量计算余弦距离，跨模型按元素对平均，再用 MDS（Multidimensional Scaling，多维标度；最大迭代 2000、8 次随机重启、seed=42）重建 32/64 维 Mat2Vec-S/H/L。CrabNet 下游冻结元素表、训练后续层；WBM 残差校正使用 Matbench Discovery 的 WBM 基准与六个基模型预测文件，岭回归（ridge regression，一种带 L2 正则的线性回归）学习 r_i=y_i??_i^base，标准化与超参仅用 WBM 的 5 折训练/验证部分。样本队列来源为 MatBench 的 8 项结构回归任务与 4 项成分任务，以及 Matbench Discovery 的 WBM 基准。

研究结果：

Overview of the Mat2Vec-* construction and transfer evaluation。研究人员通过将手工描述符与可学习嵌入投影至共享潜在空间并按混合比逐元素相加，分析两通道角度关系，再将最佳监督模型转化为旋转不变元素-元素余弦距离矩阵，经归一化、平均和 MDS 重建 Mat2Vec-*；这些表在 CrabNet 替换/拼接与 WBM 残差校正两个未用于蒸馏的场景中评估，建立了构建与迁移评估流程。

Hybrid element representations improve MatBench performance in CGCNN and MEGNet。通过八项 MatBench 结构回归任务、两种骨干、七档混合比和四档维度构成 2,240 个受控模型，研究发现最佳配置很少位于单源端点；中间混合通常较纯专家特征或纯学习嵌入降低 MAE（Mean Absolute Error，平均绝对误差）。CGCNN 的最优集中在 H/?4/?2，其中 ?2 最常被选；MEGNet 的最优集中在 ?2 和 0，H 对部分目标如 phonons 与 dielectric response 更优，而纯嵌入端点 L 未被选为最佳；混合比在胜出统计中占主导，支持两类表征源存在部分互补信号。

Latent dimensionality modulates fusion gains and predictive accuracy。通过四档潜在维度全扫描，研究发现提高维度通常改善绝对预测精度，但幅度依赖模型与混合比；特征主导设置对 DIM 相对稳定，嵌入主导设置在低维时分散更大且常显著退化。DIM=8 很少具竞争力，8 到 16、16 到 32 常有明显改进，扩展到 64 的收益较小且任务依赖；研究人员因此强调 DIM=32 为精度-效率折中，同时保留 DIM=64 用于下游评估与蒸馏。

Complementarity between expert features and learnable embeddings。通过计算每个元素专家投影向量 h_i 与学习嵌入向量 l_i 的余弦角 θ_i，研究发现随机初始化时角度分布中心接近 90°，且维度增大时方差减小；监督训练后平均角度仍较高而非坍缩至小值，但离散度显著增大。该几何特征表明学习通道并未简单退化为手工描述符方向，而是捕获元素依赖的残差关系信息，支持互补性解释。

From best-performing models to an element distance matrix and the Mat2Vec-S table。通过从 2,240 个模型网格中为每个任务、折、骨干和 DIM 选取最佳配置，得到 320 个最佳模型集成；对每个模型学习元素向量计算余弦距离 d_ij=1?cosine，并跨模型聚合为稳健距离矩阵。该矩阵呈与周期表组织一致的带状和块状规律；MDS 重建的 Mat2Vec-S 余弦距离范围为 0.1155–1.7340，对应角度 27.81°–137.22°，而 Mat2Vec 为 0.1024–0.9022 与 26.15°–84.39°，显示 Mat2Vec-S 关系动态范围更宽。区域 10（3d 过渡金属）为例外，Mat2Vec 显示更明显近邻模式；原文将其视为区分语料目标与监督性质学习强调方面的边界案例。

Out-of-domain evaluation of Mat2Vec-* in CrabNet。通过在仅成分 CrabNet 中采用直接替换 Mat2Vec 与拼接后投影到 512 维两种迁移模式，并固定其他架构、训练与数据划分设置，研究发现 Mat2Vec-S 与 Mat2Vec-H 在四项 MatBench 成分任务上均优于原始 Mat2Vec 基线，而 Mat2Vec-L 迁移较不一致。最佳单独替换配置将 steels MAE 从 106.6691 降至 96.2327、expt_gap MAE 从 0.3449 降至 0.3274、expt_is_metal ROC-AUC（Receiver Operating Characteristic Area Under Curve，受试者工作特征曲线下面积）从 0.9641 升至 0.9686、glass ROC-AUC 从 0.9024 升至 0.9210；拼接输入也在四项任务上改善，最佳拼接达 96.8576、0.3229、0.9687 与 0.9173。拼接并非统一支配单独替换：Mat2Vec-H32 在 steels 最佳，Mat2Vec-S64 在 glass 最佳，拼接在 expt_gap 与 expt_is_metal 最佳，故 Mat2Vec-* 被视为可替代或增强 Mat2Vec 的监督元素先验。

Element tables diagnose residual composition-level bias in Matbench Discovery WBM predictions。通过 WBM 残差学习基准，以六个现代结构预测器 CHGNet、M3GNet、SevenNet-l3i5、MatterSim-v1-5m、MACE-mpa-0 与 ORB-v3 的预测定义残差 r_i=y_i??_i^base，并在冻结成分级元素表特征上训练岭回归预测残差，得到修正预测 ?_i^corr=?_i^base+r?_i。以 Mat2Vec-S64 为代表，Mat2Vec+S64 使 CHGNet、M3GNet、SevenNet-l3i5 与 MatterSim-v1-5m 的 MAE 分别降低 11.18%、11.70%、4.06% 与 0.74%，对 MACE-mpa-0 改善可忽略，对 ORB-v3 无改善；Mat2Vec 单独是强残差校正基线，尤其对 CHGNet 与 M3GNet，Mat2Vec 与 Mat2Vec-S64 拼接在代表性比较中取得最佳或近最佳修正 MAE。增益随基模型变强而减小，表明最强模型的剩余误差较少由成分级元素先验主导，而更多来自几何、数据噪声或其他成分级校正器不可及来源。

讨论部分总结与研究结论翻译：讨论部分指出，元素表征是材料预测的持续瓶颈，但常被框定为专家描述符与全学习嵌入的二元选择；受控 CGCNN 与 MEGNet 实验反对该二分法，特征主导混合设置一致具有竞争力且常优于任一单源，更广泛含义不是加性融合本身新颖，而是领域描述符与监督嵌入编码弱纠缠且部分互补的化学信息。监督性质学习诱导稳定元素-元素几何，可经旋转不变余弦距离统计聚合蒸馏为可复用 Mat2Vec-*，恢复周期结构并迁移至仅成分预测；CrabNet 中 Mat2Vec-* 可替代 Mat2Vec，拼接 Mat2Vec+Mat2Vec-* 进一步表明语料共现统计与监督性质衍生关系互补而非严格排序。WBM 残差实验细化其角色：冻结元素表特征可校正 CHGNet、M3GNet、SevenNet-l3i5 与 MatterSim-v1-5m 的系统残差，但对 MACE-mpa-0 与 ORB-v3 增益可忽略或无；这种非均匀性具信息性，随基模型更准确并吸收更多成分依赖化学，成分级线性校正器可用的残差信号自然减弱，故 Mat2Vec-* 不应解释为所有现代预测器的通用校正，而是当残差化学偏置仍存在时的紧凑诊断与校正先验。研究结论部分可译为：总体而言，核心贡献不仅是加性融合操作；主要结果是监督元素-元素关系几何可被蒸馏、复用、与语料库衍生嵌入结合，并用于诊断跨模型类别的残差化学信息。综上，这些结果确立 Mat2Vec-* 作为一种紧凑、可迁移的监督化学先验，用于材料预测。