《Journal of Chemical Information and Modeling》：Can Graph Neural Networks Understand Chemical Elements?
编辑推荐：
经典机器学习（ML）已在广泛的化学应用中证明其成功。这些成功通常需要经过大量特征工程工作，才能为模型输入获得有效的数据表示。图神经网络（GNNs）通过直接从分子图中学习自身表示，限制了这种特征工程。然而，与经典ML方法相比，缺乏专家生成的表示可能会对训练数据集
经典机器学习（ML）已在广泛的化学应用中证明其成功。这些成功通常需要经过大量特征工程工作，才能为模型输入获得有效的数据表示。图神经网络（GNNs）通过直接从分子图中学习自身表示，限制了这种特征工程。然而，与经典ML方法相比，缺乏专家生成的表示可能会对训练数据集大小提出更高要求。GNNs通常仍然需要顶点和边特征来提供无法仅从图连通性中学习的信息，例如化学元素和键级。在本研究中，研究人员探究了化学启发的这些特征（特别是化学元素）表示是否能够应对GNN的数据需求，并/或提高模型性能或泛化能力。为此，研究人员创建了九种化学元素表示，这些表示编码了元素反应性和行为中的趋势。研究人员利用分子pKa值的预测作为基准，在不同GNN模型大小、数据集大小和额外特征化程度上测试了这些表示。研究结果表明，模型在很大程度上对元素进行分类，将所有表示转换为内部使用的高度正交表示。这种机制解释了研究人员发现的元素表示之间模型性能和泛化能力差异微小的原因。然而，在使用更正交的元素表示时观察到了轻微的性能优势，这可能是因为它们更好地匹配了模型的内部表示。这些发现促使研究人员探究使用具有更高正交性的表示，形式为：（i）原子类型（有效地包含关于图顶点原子邻居的信息），这产生了适度的性能提升，以及（ii）相似性类型作为一种新颖的原子表示（编码原子类型之间的相似性），这提供了进一步的性能提升，但数据集准备的计算成本显著增加。
**研究背景与问题**
在化学研究中，机器学习（ML）已成功应用于从头结构生成、分子光谱解析、合成及性质预测等领域。然而，传统ML模型需要固定大小的数值向量作为输入，而分子结构具有可变大小和互连性，因此通常需要大量的特征工程（如分子描述符和指纹）。相比之下，图神经网络（GNNs）能够直接在图上学习，以原子为顶点、化学键为边的分子图提供了直观的分子表示，并在预测结合亲和力、溶解度及pKa值等性质上取得成效。由于GNNs通过从分子图中学习构建自身的内部表示，通常比传统方法需要更少的特征工程。但这迫使模型学习内部表示，可能要求更多的训练时间和训练数据的数量与多样性。此外，对于大多数应用，GNNs仍需要对输入进行特征化，例如顶点特征（元素或电荷）和边特征（键序）。类别或离散特征通常采用独热编码表示，这种编码是完全正交的，消除了特征空间中的任何潜在结构，可能限制GNN模型的迁移性和泛化能力。研究人员因此研究了GNNs在分子数据中能否从设计为编码已知特征空间结构与关系的特征表示中受益。这是一个理想案例研究，涉及化学元素的表示（通常采用完全正交的独热编码，丢失了元素周期趋势信息）。本研究旨在探究是否有化学启发的元素表示（如基于周期表分组、量子数的离散表示，或基于电负性、极化率等连续值的表示），在预测分子pKa值的任务上，能够降低GNN的数据需求或提升模型性能与泛化能力。
**研究内容与结论**
研究人员汇编了一个包含2374个分子及其实验pKa值的文献数据集，并进行互变异构体和质子化态解析与筛选。共测试了9种不同的元素表示方法：3种离散表示（原子序数、周期和组、最外层电子量子数）分别采用数值编码和独热编码（共6种），加上2种连续值表示（元素属性向量及t-SNE降维表示），以及一个无元素表示的对照组。所有模型均基于GATv2Conv层构建，训练使用L1损失函数，并通过5折交叉验证评估。在最大特征化（包含顶点与边特征）和最小特征化（仅元素表示与氢原子计数）条件下，测试了不同层数（2、4、8）和通道数（2、8、16）的GNN模型。研究还进行了元素表示的随机化与打乱实验、模型泛化能力测试、数据需求比较以及位点去质子化（SoDP）顶点分类任务验证。最后，研究人员基于内部表示知识，提出并评估了原子类型（原子基于周围环境分类）和相似性类型（用相似程度替代零向量）两种新型表示。
论文发表在《Journal of Chemical Information and Modeling》。
**主要关键技术方法**
1. **图神经网络架构**：使用PyTorch Geometric实现GATv2Conv层（2/4/8层，2/8/16通道），后接批量归一化、全局平均池化与线性输出层。
2. **元素表示构建**：包括6种离散表示（原子序数、周期/组、量子数；各含数值与独热编码2种形式）以及2种连续值表示（元素属性向量含5个性质；t-SNE二维降维）。
3. **随机化与打乱实验**：随机分配特征值或按预定方案打乱元素属性，以区分表示架构与内容对性能的影响。
4. **泛化能力测试**：从训练集中完全或部分移除含特定元素的分子，或仅保留某组一个元素，考察模型对未见元素的预测性能变化。
**研究结果**
**Model Performance**：最大特征化下，8层16通道模型的测试集平均绝对误差（MAE）达到0.7–0.9 pKa单位，接近文献已报道的pKa预测器性能。在最小特征化条件下，无元素表示或数值原子序数表示的模型MAE显著增加（分别上升0.60和0.37 pKa单位），而其他元素表示仅平均上升0.15 pKa单位。
**Performance Differences Between Representations**：所有元素表示模型的MAE差异在0.2 pKa单位以内。独热编码版本较对应数值编码版本性能略有提升（约0.1 pKa单位）。通过将预测分为平凡（trivial）与非平凡（nontrivial）子集分析发现，最小特征化模型中，除数值原子序数与无表示外，其余表示在平凡预测上表现相似，而在非平凡预测上独热编码优势更加明显。
**Model Ranking**：对全部1215个模型的相对排名分析显示，对于数值编码表示，性能随表示特征数增加而提升；对于独热编码表示，则呈现相反趋势。随机表示实验确认了表示架构（特征数、特征空间维度）的作用大于表示内容。
**Shuffled Elemental Representations**：打乱元素属性内容并未显著降低模型性能，唯一例外是数值原子序数表示在打乱后性能反而大幅提升（因避免了特征空间中的不连续区域）。这进一步表明表示的内容对模型性能影响可忽略。
**Model Generalizability**：在训练集中完全或部分移除含特定元素的化合物后，所有表示在泛化能力上均未表现出系统性提升，且未能超越完全正交的独热原子序数基线，说明元素表示无法提供真正的元素行为泛化能力。
**Data Requirements**：GNN的性能对训练集大小减少的敏感性高于随机森林、MLP和SVM等向量输入模型；且不同元素表示对该数据需求无显著影响。
**Internal Representation**：通过UMAP降维和节点嵌入相似矩阵分析发现，GNN模型在浅层特征空间中将不同元素分离为不同区域，最终层表现有所变化，且深层嵌入中元素间的相似性（如卤素）主要来自连接性（如唯一的一价性），而非从元素表示中的趋势推断。这表明模型实际上对元素进行了完全正交的内部分类。
**Site-of-Deprotonation Prediction**：在SoDP顶点分类任务中，不同元素表示的性能趋势与pKa回归任务一致（数值原子序数与无表示最差，独热编码优于数值编码）。此外，使用显式氢原子优于隐含氢原子表示（top-1得分提升约0.1–0.2），但无表示模型在隐含氢下表现更好。
**Atom and Similarity Typing**：半径-2原子类型（基于两键内邻域）优于Ertl功能团原子类型；相似性类型在非平凡预测中带来适度但明确的性能改进，且二者在较小模型尺寸下均优于元素表示。但原子类型和相似性类型带来的数据处理时间显著增加。
**讨论与结论部分总结**
研究人员在讨论中指出，GNN模型实际上学会了将特定特征值与特定元素相关联，而不理解这些特征所代表的信息或特征空间中的结构趋势。模型执行了元素的完全正交内部分类，将所有元素表示转换为独热原子序数形式的内部表示。这解释了为何独热编码优于数值编码（更接近内部表示），为何表示内容打乱不影响性能，以及为何没有观察到真实元素泛化能力。因此，研究推荐使用完全正交的独热原子序数表示，这也是文献中最常用的方法。原子类型和相似性类型通过提供更高正交性的表示（结合原子环境信息）可以适度提升性能，尤以相似性类型更优，但代价是显著的计算成本。研究还指出，目前的结果主要基于含10种常见p区元素的数据集，对于包含更多元素的无机或有机金属体系可能需要进一步研究。
**研究结论翻译**：在本研究中，研究人员探讨了在GNNs中使用不同元素表示方式对分子pKa数据学习模型性能的影响。所提供的证据表明，除表现较差的基于数值原子序数的元素表示外，所部署的各种元素表示之间的模型性能差异很小。此外，所研究的任何元素表示均未获得元素行为和反应性的泛化增益。在元素间打乱特征值并未影响模型性能，这表明元素表示的内容与当前学习任务的可测量相关性不大。研究结果表明，GNN模型学习将一组特定的特征值与特定元素相关联，而不理解它们所代表的信息或特征空间中存在的任何趋势和结构。所提供的证据表明，模型反而执行了元素分类，将任何元素表示转换为正交表示。正交表示不编码任何趋势，这解释了所观察到的缺乏泛化能力。此外，如果模型（如本研究所示）在内部将所有表示转换为完全正交表示，这也可以解释为什么使用不同元素表示时仅观察到微小的性能差异。这些微小差异与表示在训练过程中被转换为正交表示的难易程度一致，从而解释了效果较好的表示性能略优的原因。因此，研究人员对元素表示的建议是使用完全正交的基于原子序数的独热编码，这已经是GNNs在分子数据学习中文献中最常用的表示。这种表示与假设的内部表示非常相似。使用完全正交的表示可能也适用于编码值数量较少的其他离散特征。利用这一关于训练模型内部表示的知识，研究人员探究了原子类型并引入了相似性类型作为元素表示的替代方案。研究人员发现，相似性类型方法在pKa预测方面优于原子类型，而原子类型又优于使用元素表示的模型（尤其是在较小模型尺寸下）。进一步包含元素表示可提高原子类型或相似性类型的性能。然而，应注意，原子类型和相似性类型相较于元素表示虽有明显但适度的性能改进，但在当前实现中以数据处理时间显著增加为代价。此处展示的结果强调了，在这种情况下，预测性能的提升是通过优化基于模型及其架构知识（而非领域知识）的特征化实现的。研究结果表明，常用的独热正交元素表示最适合学习分子性质或反应性。这些结果不一定扩展到包含大量元素的任务（如无机或有机金属情况），这需要进一步研究。尽管原子类型和相似性类型显示出有希望的结果，但其全部潜力需要大量优化，既包括特征化所需的计算工作，也包括哪种原子类型算法能产生最准确的结果。然而，研究人员相信，对相似性类型和原子类型的优化可以带来进一步的性能提升，并且使用预先构建的、特定任务的原子类型可能会提高性能，并减少甚至消除定义原子类型和相似性类型的预处理成本。
