SR-CGCNN：晶体图神经网络中用于材料性质预测的共享循环卷积

《Computational Materials Science》：SR-CGCNN: Shared recurrent convolution in crystal graph neural networks for materials property prediction

　　

• SR-CGCNN在多个消息传递步骤中重用同一个卷积模块。
• 与标准CGCNN-3相比，卷积参数减少了65.5%。
• 在形成能和带隙预测方面，准确率保持接近。
• JARVIS-DFT在独立数据集上证实了准确性与参数之间的权衡关系。

引言

晶体结构天然地可以用图来表示：原子定义了节点，原子间的邻居关系定义了边。这种表示方式使得图神经网络特别适合材料性质预测，这类模型已成为直接从原子几何结构中学习结构-性质关系的核心工具[1], [2]。在晶体图卷积神经网络（CGCNN）[3]中，晶体被编码为一个图，其中每个原子携带一个初始特征向量，每对相邻原子携带一个键距离表示。反复的图卷积操作通过局部晶体环境传播信息，之后通过池化操作产生晶体级别的嵌入，用于预测形成能、带隙、弹性模量或磁矩等标量目标[4], [5], [6]。CGCNN建立了一个简单而有影响力的晶体性质学习基线，因为它表明有用的材料表示可以直接从结构中学习，而无需手工设计的描述符。

对于材料应用而言，图神经网络的深度在局部化学和结构信息传播的空间范围方面具有直接的物理解释。单个消息传递步骤主要通过其近邻配位环境来更新原子表示，而重复的消息传递则允许更远处配位壳层的信息影响最终的晶体表示。这对于形成能和带隙等性质非常重要，因为它们不仅取决于局部组成，还取决于键合拓扑、配位几何和中程结构连接性。因此，改变消息传递深度不仅仅是一个数值架构选择；它也改变了模型能够整合晶体化学信息的尺度范围。

然而，在传统的堆叠CGCNN模型中，空间传播深度和独立可训练变换的数量是共同增加的。这种耦合使得很难确定预测准确率的提高是源于更大的有效结构感受野，还是仅仅源于更多独立参数。这种区分在材料信息学中尤为重要，因为许多目标性质仅在中等规模的数据集中可用，并且紧凑模型对于跨化学体系的稳健比较是可取的。相关努力也试图通过预训练的晶体表示、基于自编码器的模型和特征选择来改进晶体材料性质预测中的数据效率和可解释性，如CrysXPP所示例[7]。互补的基于自然语言处理的材料信息学工具，如MatSciRE，从材料科学文献中提取实体-关系三元组以支持知识库构建[8]。

在同一时期及之后，开发了多种基于图的原子尺度架构，通过丰富局部环境的表示方式来扩展这些模型的表现力。SchNet为原子体系引入了连续滤波器卷积，使得相互作用核可以平滑地依赖于原子间距离，而不是依赖于固定的离散边编码[9]。MEGNet将图网络更新推广到分子和晶体，并纳入了全局状态变量，从而允许原子、键和系统级别的信息被联合更新[10]。ALIGNN进一步通过将有向图耦合到其线图来引入角度信息，使得成对关系和键角关系都能明确地参与消息传递[11]。这些进展共同表明，更具表现力的消息传递架构可以改善材料建模。与此同时，它们也突显了一个互补性的问题：在设计更丰富的局部描述符之外，堆叠图模型的性能提升中有多少仅仅是由于应用更多次的消息传递？

这个问题对于深度的标准堆叠消息传递观点尤为相关。在传统CGCNN风格的架构中，增加卷积层的数量通常会同时增加两件事：信息可以传播的感受野范围，以及用于处理该信息的独立可训练变换的数量。这些效果常常相互纠缠。更深的网络可能表现更好，是因为它访问了更大的结构邻域，因为它拥有更多独立参数，或者因为两者同时发生变化。对于中等规模的材料数据集，这种耦合也影响了模型效率和潜在的泛化能力。本工作的动机是尽可能清晰地将这两种角色分离开来：我们希望在保留消息传递深度的同时，减少独立卷积参数集的数量。

这种分离也有一个自然的物理动机。材料科学中的许多计算模型都是围绕局部更新规则的重复应用而构建的，例如自洽场循环、迭代结构弛豫、局部场校正和电荷平衡程序。图神经网络的更新并不在物理上等价于其中任何一种操作，我们也不将其解释为特定电子结构算法的替代物。然而，循环图卷积在精神上类似于这些迭代过程：同样的局部变换被反复应用，使得信息可以在逐步更大的邻域中传播，并且表示可以被逐步细化。这种观点表明，共享的更新规则可能为晶体图提供有用的归纳偏置，尤其是在寻求紧凑模型而非日益增长的独立参数化层堆叠时。

同时，循环和权重共享的图神经网络在图机器学习领域并非新颖的想法。早期的图神经网络公式化已将节点表示视为循环局部更新的结果[12]，后来循环消息传递模型同样强调了在多步推理中重复应用共享的关系更新规则[13]。近期工作也重新审视了循环图架构并分析了它们与消息传递的逻辑和动力学视角的联系[14], [15]。因此，我们的贡献并非一般的循环GNN；而是一个用于晶体图的循环CGCNN，并与标准堆叠CGCNN架构进行了受控的参数效率比较。

在本工作中，我们引入了SR-CGCNN，这是CGCNN的一个权重共享循环深度变体，其中主要的晶体图卷积变换在多个消息传递步骤中被重用。我们的目标是在受控训练条件下检验，是否可以在大幅减少独立可训练卷积参数数量的同时保留有用的消息传递深度，而不是建立完整的数据库准确率基准。

SR-CGCNN的一个重要动机在于检验多步晶体图网络的结构感受野能否在深度增加时保留，而不增加独立参数化的卷积变换的数量。这个问题在材料信息学中尤为相关，因为许多科学上重要的性质数据集仍然保持中等规模，因为对应的标签需要昂贵的第一性原理计算或实验。在这样的条件下，通过堆叠独立参数化的层来增加消息传递深度，会同时增大感受野和模型复杂度，使得这两种效果难以分离。SR-CGCNN则在循环消息传递步骤中重用相同的主体卷积变换，从而在大幅减少独立可训练参数数量的同时保留多步信息传播。

在Materials Project数据[16]上，我们比较了CGCNN-1、CGCNN-3、CGCNN-5、SR-CGCNN-3和SR-CGCNN-5在形成能和带隙预测方面的表现，以便系统地评估传播深度和参数共享的效果。我们进一步在独立的JARVIS-DFT[17]数据集上评估了CGCNN-3和SR-CGCNN-3，以检验观察到的准确性-参数权衡是否在不同的材料数据库上仍然成立。核心问题是，循环应用共享卷积变换是否能够恢复传统多层CGCNN的大部分预测优势，而无需在每个消息传递步骤中使用独立的参数集。如下所示，SR-CGCNN-3在准确率上与CGCNN-3保持接近，同时仅使用了其34.5%的可训练卷积参数，而独立的JARVIS-DFT基准测试再现了相同的总体趋势。标准模型和循环模型之间的架构区别在图1中以示意图形式总结。

标准晶体图卷积

在CGCNN中，晶体结构被表示为图G=(V, E)，其中V是原子集合，E是邻居连接集合。每个原子i关联一个初始特征向量v_i，每对相邻原子(i, j)关联一个边特征向量u_ij，通常通过对原子间距离进行高斯基展开获得。

初始原子特征被映射到隐藏嵌入空间：h_i^(0) = W_emb · v_i + b_emb。

其中，W_emb ∈ R^(w×d_in)和b_emb ∈ R^w是可训练的原子嵌入参数。

共享循环晶体图卷积

所提出的修改仅涉及模型的卷积部分。图的构建、原子特征、高斯距离展开、池化和最终预测头保持不变。标准CGCNN使用L个独立的卷积模块：h^(t+1) = Conv_θt(h^(t), E), t = 0, ..., L-1。

相比之下，SR-CGCNN使用单个共享的卷积模块：h^(t+1) = Conv_θ(h^(t), E), t = 0, ..., T-1。

其中，T是循环应用的次数。为了与标准三层CGCNN进行最直接比较，将T设为3。

模型变体

所提出的研究比较了五种模型变体：CGCNN-1、CGCNN-3、CGCNN-5、SR-CGCNN-3和SR-CGCNN-5。

核心比较是CGCNN-3与SR-CGCNN-3之间的比较，如表1所总结。两个模型都执行三次消息传递操作，但CGCNN-3使用三个独立的卷积参数集，而SR-CGCNN-3仅使用一个共享的卷积参数集。SR-CGCNN-5模型检验了将循环深度增加到标准三步以上是否带来额外的性能提升。

结果与讨论

图2提供了标准CGCNN-3模型与三步SR-CGCNN模型在两种目标性质上的主要测试集比较的紧凑视觉摘要。

结论

在本工作中，我们引入了SR-CGCNN，这是CGCNN的一个共享循环变体，其中单个晶体图卷积变换在多个消息传递步骤中被重用。这种设计将传播深度与独立卷积参数集的数量清晰地区分开来，使得能够受控地检验重复局部更新是否能恢复更深堆叠晶体图网络的大部分优势。在形成能和带隙预测两方面，主要结果表明SR-CGCNN-3在仅使用约34.5%可训练卷积参数的情况下，仍能保持与CGCNN-3接近的预测准确率，且这一趋势在独立数据集上得到验证。

代码可用性

本工作的代码可在https://github.com/sata-deep/SR-CGCNN获取。

利益冲突声明

作者声明没有已知的竞争性经济利益或个人关系可能影响本文报告的工作。

致谢

本工作得到了韩国科学技术研究院（KIST）机构计划：全球知识平台研究项目（26Z0100）的支持。

Satadeep Bhattacharjee