《Advanced Science》:Unsupervised Hierarchical Symbolic Regression for Interpretable Property Modeling in Complex Multi-Variable Systems
ABSTRACT
人工智能在化学分析中的进展虽带来强大预测模型,但模型可解释性仍是挑战。本研究引入无监督分层符号回归(UHSR),在保持竞争力的预测性能的同时提供可解释解决方案。聚焦分子极性分析关键技术薄层色谱(TLC),UHSR自动提取化学直观的保留指数,发现连接分子结构与色谱行为的可解释方程。实验证明UHSR能从TLC数据集推导连接极性到分子结构的简洁准确控制方程。100位化学专家调查表明,与传统模型相比,UHSR模型获得更多化学家信任。此外,研究还展示其超越分子极性的其他性质预测任务的适应性。
1 Introduction
科学发现旨在通过现象观察、数据系统收集、模式识别和基本原理阐明来探索和理解世界,从而预测未来事件。数据驱动方法通过经验方程和参数推导在阐明化学现象和预测实验结果方面起关键作用。例如亨利定律(C=kH·P)、阿伦尼乌斯方程(k=A·e–Ea/RT)和范特霍夫方程(lnK=–ΔH°/(RT)+ΔS°/R)仍是当代化学基础。
极性反映分子电荷分布的均匀性和对称性,对理解分子相互作用和表征分子至关重要。色谱通过提供分子在不同化学环境下相互作用 insights 成为研究极性的重要工具。多年来,已开发各种色谱模型描述保留行为和极性驱动相互作用。例如线性自由能关系模型聚焦分析物-固定相相互作用,捕获极性如何影响吸附和解吸过程。类似地,溶剂强度模型在反相液相色谱中广泛使用。
薄层色谱(TLC)提供有机分子在各种有机溶剂环境中行为的关键 insights。极性是TLC关键因素,因为溶质、溶剂和固定相之间的相互作用主要由极性和非极性特性差异控制。然而TLC通常劳动密集型且涉及许多重复试验。尽管在确定阻滞因子(Rf)方面重要,但先前结构-Rf因子预测模型受TLC数据量和标准化限制。为解决这一挑战,我们先前工作引入自动高通量TLC分析平台,为模型训练提供更广泛和标准化数据集。这种增强数据集不仅提高预测模型性能,还能更好分析溶质和溶剂之间的液-液相互作用。
近年来,人工智能(AI)辅助化学分析取得显著进展,特别是在定量构效关系(QSAR)预测模型和定量结构性质关系(QSPR)预测模型开发方面。虽然这些模型实现显著预测精度,但它们采用的AI模型和特征表示通常缺乏可解释性,阻碍对数据集中潜在关系的更深理解。
缺乏透明度不仅限制这些模型的科学影响,还削弱研究人员完全信任和理解其预测的能力。为解决这一关切,越来越需要(1)透明模型和(2)可解释特征表示,这些不仅实现高性能,而且与人类推理对齐并提供有意义 insights。
构建透明模型的一种策略是阐明TLC分析中Rf值与溶质分子结构以及洗脱溶剂之间的显式公式。符号回归(SR)最近出现作为揭示数据集中复杂关系的有效方法,并显著贡献许多科学发现。然而,将符号回归应用于具有大量变量的数据集仍然具有挑战性,因为增加变量数量通常导致性能下降和过于复杂的公式,这削弱可解释性。例如,如支持信息所示,当符号回归直接应用于常用特征集(如物理化学描述符)时,由于高维性,所得模型具有有限预测性能和降低的可解释性。
在特征表示方面,分子指纹(如MACCS关键分子指纹)经常在AI模型中使用。然而,这些表示通常高维且缺乏可解释性,使得难以理解特定分子结构如何影响模型预测。
本工作中,我们提出无监督分层符号回归(UHSR)(见图1),一种由模块化神经网络引导的新SR方法。UHSR引入新颖保留指数(例如溶剂保留指数和溶质保留指数),这些通过模块化神经网络学习。在领域知识引导下,该模型包含多个子模型,控制一组输入变量(例如溶剂组成)与特定保留指数(例如溶剂保留指数)之间的映射关系,以及保留指数与输出变量Rf之间的映射。值得注意的是,此过程与化学家思维过程对齐。人脑难以处理高维信息,选择不直接理解复杂映射,而是通过个体子模型分解和分析。然后,我们可以应用SR方法于输出Rf和保留指数,有效降低SR算法输入变量的维度。我们在TLC基准数据集上的实验证明,UHSR实现与DNN相当的竞争预测性能,同时提供连接Rf值(指示分子极性)与分子结构特征的简洁公式。重要的是,保留指数和控制方程由专家化学家评估,突出UHSR决策过程与化学家决策过程之间的一致性。此外,我们扩展研究范围到其他化学性质预测任务,如光谱性质预测,其中我们的框架也展示高预测精度和可解释性。
2 Results
2.1 Data-Driven Explainable Retention Indices
化学家需要准确表征分子整体极性,因为极性影响分子相互作用、溶解度和色谱行为。为此,有许多已知描述符,如基于理论计算的分子极性指数(MPI)。虽然在某些情况下有效,但这些描述符有一些局限性。例如,它们通常计算昂贵,特别是对于大或复杂分子。此外,它们通常仅提供全局极性信息,未能捕获单个功能团或其对分子间相互作用特定贡献的局部效应。另一种估计分子极性的方法基于TLC实验。该技术直接测量Rf值,反映分子在特定实验条件下如何与固定相和流动相相互作用。与计算方法相比,TLC实验相对简单、低成本且广泛可及,计算方法通常需要先进软件、高性能计算资源和专家知识。通过改变溶质或溶剂组成并评估所得Rf值,化学家可以系统研究极性的方式直接适用于实验工作流程。
基于TLC作为研究分子极性的实用和实验基础方法的优势,我们识别了传统TLC数据分析方法中的几个局限性,这些推动了本研究。虽然TLC实验提供有价值的Rf值反映分子极性,但这些原始实验输出通常难以定量解释,并且缺乏系统分离溶剂和溶质对保留行为贡献的能力。因此,我们开发了一种数据驱动方法来进一步精炼分析。使用TLC数据集,我们提取两个保留指数,即Ψ和ξ,作为经验描述符,提供关于溶剂系统和溶质分子极性的信息。溶质和溶剂之间的清晰化学分化,以及它们接近零的Spearman相关性,令人信服地验证了我们的统计方法,如图S1详细说明。
重要的是,与传统的物理化学描述符相比,我们提出的指数直接植根于实验TLC数据集,这确保这些指数反映真实世界分子相互作用。此外,ξ提供关于分子极性的局部和详细视角,例如特定功能团如何通过它们对溶质-溶剂和溶质-固定相相互作用的特定贡献影响极性。这种详细分辨率允许ξ捕获通常被传统全局描述符忽略或平均掉的极性细微变化。
2.1.1 Chemically-Intuitive Feature Engineering
与常见机器学习使用分子指纹或常规物理化学描述符不同,我们的方法刻意标记功能团,就像人类化学家通常做的那样。这使得我们的特征天生可解释且对实验化学家可访问。具体而言,本研究涵盖一系列溶质分子,包括那些含羰基、羟基、氨基、卤素、硝基和氰基官能团的分子。这使得能够定制分析这些功能团如何影响化合物在不同溶剂中的Rf值,涉及类型、数量和分配。为符号简洁,我们使用表1中的缩写用于我们研究中使用的特征。该表还提供这些特征的描述和统计。
我们的方法实现显著降维,仅需18个不同特征描述溶质分子,相比MACCS关键分子指纹(167维)。虽然传统物理化学描述符通常低维,但它们通常缺乏基于功能团的特征提供的局部和可解释表示。此外,功能团是很好理解的化学实体,使得我们的结果可解释且对研究人员(包括入门级化学家)可操作。
值得注意的是,方程可以从各种类型的描述符推导,功能团计数之外的替代描述符(物理化学描述符)也可能产生高精度。然而,这些替代描述符通常需要专门知识或计算资源,使得它们对需要可操作 insights 的实验研究人员较少可访问和实用。相比之下,我们的特征直接且与实验化学家直接相关,因此,它们弥合计算化学和实验实践之间的差距。
2.1.2 Retention Indices
本研究中,TLC板上的固定相是硅胶。确定的Rf值体现动态平衡。它反映高极性固定相和溶质分子之间的竞争相互作用,这些通过改变实验过程中流动相的极性通过相互作用力介导。这种相互作用展示两种主要模式:溶剂通过毛细作用促进溶质向上传输;同时,溶剂分子通过从固定相表面置换溶质分子介入,减弱它们的相互作用(如图2所示)。
两个保留指数明显捕获溶剂化合物和硅胶之间以及溶质分子和硅胶之间的相互作用动力学。重要的是,我们的方法能够定量评估上述相互作用。在以下段落中,我们将分别分析这两个指数。
2.1.2.1 Solute Retention Index ξ
考虑到数据集包含387种有机化合物,先前研究通常涉及高维特征(如167维MACCS密钥)和物理化学描述符将溶质分子编码为数值。然而,前者通常对人类理解具有挑战性,而后者未能满足实验化学家快速评估新化合物极性的需求。我们还进行了溶质保留指数ξ与几种现有物理化学描述符之间的比较分析,证明在TLC实验背景下溶质保留指数ξ的优越性。
为进行本研究,我们仔细选择16个代表性功能团,并使用它们的计数作为目标分子的特征。此外,我们通过使用苯环数(NBen)和偶极矩(DM)表征这些功能团在分子内的分布。值得注意的是,通过进一步精炼苯环内功能团的分配,我们能够提高预测精度;相应结果在支持信息中呈现。
虽然我们能够将特征数减少到18,但在分子极性和这些输入特征之间建立可解释连接仍然是主要挑战。
因此,我们区分两个基本溶质特性:功能团(FG)计数和它们的空间分布(图2A)。两个方面对于阐明分子性质(特别是极性)至关重要,极性深刻影响分子在各种溶剂和反应环境中的行为。FG计数涉及16个预定义结构 motif,提供潜在反应性和溶解度的 insights。虽然这些计数提供化学行为的初步理解,但分子性质不是纯粹加和的;来自基团的线性贡献可能不能完全捕获化学现象的复杂性。因此,这些基团的空间排列至关重要,因为它影响分子的几何形状、相互作用和立体化学性质,导致更全面的分子极性表征。因此,我们进一步提取两个指数,即FG保留指数β和FG分布保留指数α,以隔离这两种效应。
尽管功能团极性引起极大兴趣,但缺乏定量和可扩展的方法比较不同功能团的极性;在当前实践中,化学家通常主要依赖定性分析和他们的经验。我们的FG保留指数提供不同功能团对分子极性影响的第一个经验量化。考虑到本研究中涉及的16个功能团,用于获得FG保留指数β的子模型的输入特征包括16D向量,每个维度代表相应功能团的数量。为量化特定功能团FGi的极性,我们配置输入特征向量,使得第i个位置设置为1,其他设置为0。如图2B所示,子模型的输出揭示功能团之间的明显极性顺序,即酰胺(1.43)>羧酸(0.88)>胺(0.80)>醇羟基(0.75)>酚羟基(0.43)>醛(-0.20)>酮(-0.20)>酯(-0.48)>硝基(-0.50)>氰基(-1.03)>氟(-1.03)>氯(-1.15)>醚(-1.22)>甲基(-1.28)>溴(-1.55)>碘(-2.97)。
为进一步验证我们提出的溶质保留指数ξ,我们进行了与已建立分子性质的Spearman相关性分析。溶质保留指数与正辛醇-水分配系数(LogP,rs=0.50)展示中等正相关性,表明随着LogP值增加,溶质保留指数ξ一般有增加趋势,表明我们的指数部分捕获疏水特性。相反,溶质保留指数ξ与拓扑极性表面积(TPSA,rs=-0.61)展示中等负相关性,突出随着TPSA增加,溶质保留指数ξ倾向于减少,有效捕获与表面积相关的分子极性方面。
为全面比较,我们使用我们的溶质保留指数ξ、MPI、LogP、TPSA和DM作为1D溶质特性,在通过XGBoost模型建立的模型中使用五种溶剂体积百分比作为5D溶剂特性。此分析完全独立于我们的UHSR模型,并进行以评估ξ在单独机器学习上下文中的预测能力。XGBoost模型作为评估不同溶质特性预测能力的稳健基准。
具体而言,我们比较了XGBoost模型的预测性能,如表2a所示。溶质保留指数ξ展示优越预测性能,优于其他溶质描述符。我们还进行了XGBoost模型内基于树的特征重要性分析,如图S1详细说明。这些分析突出溶质保留指数ξ对其他传统描述符的主要影响。
2.1.2.2 Solvent Retention Index Ψ
硅胶上的色谱保留来自静电(偶极-偶极和离子-偶极)、氢键和范德华分散力的协同相互作用;分子极性仅代表这种吸附机制的一个组成部分。相应地,我们定义溶剂保留指数Ψ作为每个纯溶剂在硅胶上净吸附强度的经验度量。
甲醇(MeOH)具有一个氢键供体(HBD)和一个受体(HBA),与表面硅醇和硅氧烷基团形成六元和八元螯合物(见图2C)。乙酸乙酯(EA)具有两个HBA,通过其酯氧参与八元环复合物。乙醚(Et2O)具有单个HBA,仅允许一种氢键模式。二氯甲烷(DCM)带有两个氯,主要通过较弱偶极-偶极和分散力相互作用。相比之下,正己烷(Hex)仅通过弱分散相互作用吸附,不能置换更强吸附溶剂。在此框架下,吸附层次是MeOH > EA > Et2O > DCM > Hex。
用于获得Ψ的子模型的输入特征包括5D向量,每个维度代表溶剂化合物的体积百分比。因此,溶剂系统内化合物比例的变化直接影响Ψ的值,从而改变溶剂极性。此外,为隔离每种化合物的效应,我们可以将目标溶剂化合物对应的体积百分比设置为1,而其他设置为0。此方法产生以下值(见图2B):ΨHex=-1.54, ΨDCM=-1.05, ΨEt2O=-0.42, ΨEA=-0.31, ΨMeOH=0.60。
与实验混溶性指数(LogP和水溶性)比较确认Ψ捕获溶剂-硅胶吸附的 combined 静电、氢键和分散贡献(见表2b)。
2.2 The RfGoverning Equation
为全面理解Rf值与两个保留指数之间的关系,我们使用符号回归制定经验数学表达式连接Rf值和两个保留指数(图3A)。观察到的Rf值直接从我们的自动高通量平台获得,而计算的Rf值从Rf控制方程计算(见方程1 below)。
为确保计算的Rf值位于0到1范围内,采用S形函数(见图3B)。通过使用符号回归,获得Rf控制方程的几个候选(见表S1)。由于需要简单公式,并考虑规定拟合精度(R2=0.908,RMSE=0.104),我们选择Rf=σ(5.15Ψ+5.15ξ+1.55),其中σ(x)=1/(1+e–x)。
为分别分析溶剂和溶质对Rf值的个体影响,我们进一步分解方程1中的Rf公式为h(Ψ)和g(ξ)。例如,如图3C所示,当考虑特定溶质分子(即固定溶质保留指数ξ的值),我们可以重新表述方程1为Rf=h(Ψ)=σ(5.15Ψ+C1),其中C1取决于所选溶质分子。图3C中观察到的模式显示Rf随溶剂保留指数Ψ增加。由于较大的溶剂保留指数Ψ值表示更大极性,这一发现强调溶剂保留指数Ψ与溶剂极性相关。此外,我们观察到h(Ψ)图形形状对于不同溶质分子显著变化。特别是,图3C表明,在我们的数据集上下文中,改变溶剂组成仅对具有极端极性的溶质分子的Rf有 subtle 效应。类似地,当溶剂固定时,方程1可以重新表述为Rf=g(ξ)=σ(5.15ξ+C2),其中C2取决于所选溶剂保留指数Ψ的值。通过类似于先前情况(固定溶质)的分析,Rf值随溶质保留指数ξ增加。但现在,较大的溶质保留指数ξ值表示较低极性。此外,我们观察到g(ξ)图形形状在不同溶剂系统中是相同S形类型(见图3C)。
由于数据限制,不同的模块化神经网络可以实现相似精度。然而,我们观察到虽然保留指数变化,但发现的Rf方程保持相似形式 with varying parameters,如表S10–S12所示。在TLC实验中,保留指数的绝对值不如它们的相对值关键。保留指数的相对值是指导TLC分离过程的关键。鉴于基础方程保持相似形式,保留指数的变化可以视为单位差异而不是基本性质变化。例如,给定目标分子和两个溶剂系统(例如第一个溶剂系统的极性小于第二个溶剂系统),我们可能获得两组溶剂保留指数(Ψ1,Ψ2)和(Ψ′1,Ψ′2),相对关系保持相同,即Ψ1< />2, Ψ′1< />2。
2.3 Quantification of Solvent Polarity
除了表征洗脱溶剂极性,