基于ChemBERTa的QSAR模型对污染物与活性物种之间反应的二阶速率常数的预测

《Journal of Environmental Management》：Prediction of second-order rate constants for reactions between contaminants and reactive species by a ChemBERTa-based QSAR model

　　摘要：准确预测污染物与活性物种之间的二阶反应速率常数对于理解转化路径以及优化高级氧化/还原工艺至关重要。然而，现有的定量结构活性关系模型大多依赖于人工设计的分子描述符，在捕捉复杂的结构-活性关系方面能力有限，而将预训练的基于Transformer的分子语言模型应用于速率常数预测的研究还相对较少。本研究开发了一种基于深度学习的定量结构活性关系框架（ChemBERTa-FC），用于预测水污染物与HO•、SO4•-和eaq?反应的速率常数。该模型结合了预训练的分子语言模型（ChemBERTa）用于特征表示学习，以及全连接层用于回归分析，从而无需手动特征工程即可直接从SMILES字符串进行端到端预测。该模型在三种活性物种上的预测性能均十分优异：对于HO•，模型的均方根误差分别为0.052（训练集）和0.088（测试集）；对于SO4•-，测试集的均方根误差和R2值为0.108和0.586；对于eaq?，模型在整个反应范围内都表现出较低的误差和稳定的性能。SHAP分析揭示出与反应机制相一致的特定活性物种的归因模式，而皮尔逊相关性分析表明，大多数学到的嵌入向量无法通过传统描述符进行线性解释，这说明该模型能够捕捉更高阶的结构-活性关系。适用性域分析进一步证明了该模型在特定化学空间内的预测可靠性。总体而言，这项工作建立了一个可迁移且具有可解释性的深度学习框架用于速率常数预测，并为了解污染物的分子决定因素提供了新见解，有助于合理设计水处理工艺。

引言：高级氧化工艺利用羟基自由基、硫酸根自由基等活性物种的强氧化能力，已成为去除水中各类难处理污染物的核心方法。高级还原工艺则借助水合电子、氢自由基等活性物种的强还原能力，逐渐成为处理全氟化合物等卤代有机污染物的新兴方法。二阶反应速率常数作为表征活性物种与污染物之间反应活性的关键参数，直接参与动力学模拟，决定了降解效率的评估、反应路径的预测以及AOPs/ARPs工艺参数的优化。同时，该参数对于理解环境中天然及人为化学物质的反应活性也具有重要意义。然而，传统实验测定速率常数的方法存在诸多弊端，如化学实验耗时较长、成本高昂，且对污染物类型的覆盖范围有限，难以满足大量新兴污染物活性评估的需求。定量结构活性关系作为一种通过分子结构描述符将化学性质与活性关联起来的计算方法，为高效预测速率常数提供了可行策略。

早期的定量结构活性关系模型主要依赖预定义的分子表示方式，包括人工设计的拓扑指数、物理化学参数等分子描述符，以及分子指纹等算法生成的表示形式，再结合多元线性回归、群贡献法、主成分回归、偏最小二乘回归、线性判别分析等多种数学统计技术。但由于污染物与活性物种的反应活性往往受多种结构因素的影响，包括官能团、电子性质和空间效应等，预定义的分子表示可能无法完全捕捉转化反应中复杂的结构-活性关系。机器学习作为一种数据驱动的技术范式，能够自动识别数据中的复杂模式和关系，从而实现预测和优化等任务。经典的机器学习算法如k最近邻、随机森林、支持向量机和梯度提升树已被应用于定量结构活性关系建模。自2015年第一篇关于在定量结构活性关系中应用深度学习的论文发表以来，深度学习技术的快速发展为改进定量结构活性关系模型带来了新的机遇。深度学习算法能够自动提取分子的非线性结构特征，包括全连接层堆叠而成的深度神经网络、卷积神经网络和图神经网络等，这些算法被越来越多地用于预测各种化学性质。例如，有研究使用MF-DNN、MF-DNN + XGBoost以及分子图像卷积神经网络构建了预测水污染物与羟基自由基反应速率常数的模型。郑等人还利用分子图像卷积神经网络预测了水合电子与有机化合物之间的反应速率常数。这些研究表明，基于深度学习的定量结构活性关系模型可以减少对人工设计描述符的依赖，更有效地捕捉与污染物转化过程相关的复杂结构-活性关系。

在各种深度学习架构中，图神经网络因能够学习基于图的分子表示而广泛应用于分子性质预测。不过，它们对预定义的分子图和局部消息传递机制的依赖可能限制其对长距离结构依赖关系的捕捉。近年来，长短期记忆网络这种经过改进的循环神经网络，以及Transformer架构也被用于计算机辅助药物发现中的分子性质预测。受自然语言处理领域进展的启发，Transformer架构利用自注意力机制捕捉序列数据中的上下文依赖关系。ChemBERTa是一种源自BERT架构的分子语言模型，它将简化的分子输入格式SMILES字符串视为化学语言，通过大规模预训练学习分子表示。通过建模SMILES标记之间的相互作用，ChemBERTa能够生成包含隐含结构信息的高维嵌入向量，从而减少在定量结构活性关系建模中对手工设计描述符的依赖。与通用Transformer相比，ChemBERTa经过针对化学结构的预训练目标优化，因此在分子性质预测方面具有更强的特征提取能力和泛化能力。这使其有望用于捕捉反应机制中的关键因素，如官能团间的电子转移以及污染物与活性物种反应时的空间阻碍效应。尽管ChemBERTa在药物和分子性质预测领域取得了成功，但其在预测环境污染物与活性物种之间的反应速率常数方面的潜力尚未得到充分探索。

本研究开发了一种整合ChemBERTa架构与全连接层的新型深度学习定量结构活性关系框架（ChemBERTa-FC），用于准确预测水污染物与HO•、SO4•-和eaq?反应的速率常数。该模型利用ChemBERTa生成的基于SMILES的嵌入向量，能够捕捉全面的分子结构特征以及分子片段之间的隐含关系，从而实现出色的预测性能和良好的泛化能力。随后，全连接层被用于基于ChemBERTa嵌入向量进行回归分析，以预测速率常数。此外，研究还采用了SHAP分析和皮尔逊相关性分析，通过识别决定不同活性物种反应活性的关键结构特征，对模型预测结果进行解释。这项工作为预测速率常数提供了高效的计算框架，而这些速率常数对于设计AOPs/ARPs工艺以及评估污染物的环境命运至关重要。同时，它也拓展了预训练Transformer架构的应用范围，证明了在环境化学领域中，尤其是那些数据获取较为困难的任务中，利用预训练模型进行知识迁移的可行性。

数据集：HO•、SO4•-和eaq?与有机污染物反应的相关数据集分别来自Sanches-Neto等人（2021年）和郑等人（2023年）的研究成果。这些数据集根据其结构特征和环境相关性被进一步分类为不同的化学类别。如补充材料中的表S1所示，这三个数据集涵盖了多种有机化合物的丰富化学结构。

ChemBERTa-FC模型的性能：为了系统地评估ChemBERTa-FC模型在预测不同活性物种对应的logk值方面的准确性、泛化能力及竞争力，研究遵循OECD制定的定量结构活性关系模型评估原则进行了模型构建与验证。不同活性物种的实验值与预测logk值之间的拟合结果如图1所示。数据点与1:1直线的吻合程度直接反映了模型的预测精度。

结论：通过全面评估模型的性能、可解释性以及AD分析结果，本研究开发的ChemBERTa-FC框架为预测污染物与三种典型活性物种（HO•、SO4•-和eaq?）之间的反应速率常数提供了一种有效方法。首先，该框架能够直接以SMILES序列作为输入，实现高效的端到端定量结构活性关系建模。与传统基于人工设计的分子描述符的定量结构活性关系模型不同，这种方法避免了繁琐的特征工程。

CRediT作者贡献说明：谭明权：数据整理、正式分析、研究调查、初稿撰写；吴周吉：数据整理、正式分析、研究调查、初稿撰写；吴峰：概念构思、资金获取、项目管理、审稿与编辑；张长波：资金获取、指导监督、模型验证、审稿与编辑；徐静：概念构思、资金获取、方法设计、审稿与编辑。

利益冲突声明：作者声明不存在任何可能影响本文研究结果的已知财务利益或个人关系。

致谢：我们衷心感谢中国国家自然科学基金（编号22376167、42077350）以及中华人民共和国人力资源和社会保障部外国专家计划（编号H20250450）的财政支持。同时，我们也感谢匿名审稿人的宝贵意见。

谭明权|吴周吉|吴峰|张长波|徐静
中国湖北省武汉大学资源与环境科学学院生物质资源化学与环境生物技术重点实验室，武汉，430079