《Chemistry – A European Journal》:Uncertainty Calibration in Molecular Machine Learning: Comparing Evidential and Ensemble Approaches
编辑推荐:
机器学习(ML)模型在量子化学中的应用日益广泛,但其可靠性依赖于不确定性量化(UQ)。本研究比较了两种主流UQ范式——深度证据回归(DER)和深度集成——在QM9和WS22数据集上的表现,并特别关注事后校准的作用。两种方法的原始不确定性估计均存在系统性校准偏差
机器学习(ML)模型在量子化学中的应用日益广泛,但其可靠性依赖于不确定性量化(UQ)。本研究比较了两种主流UQ范式——深度证据回归(DER)和深度集成——在QM9和WS22数据集上的表现,并特别关注事后校准的作用。两种方法的原始不确定性估计均存在系统性校准偏差:DER产生的不确定性估计中数据噪声与模型不确定性未能清晰分离,而集成方法则产生更尖锐但过度自信不足的估计。应用等温回归(ISR)、标准缩放和GP-Normal等校准技术后,这些缺陷得到纠正,使预测方差与观测误差对齐。在QM9上,校准使DER能够比集成方法更有效地筛选高置信度预测。在WS22上,校准后的集成不仅提高了统计可靠性,还在主动学习中实现了可观的计算节省,将冗余的从头算评估减少了20%以上。这些结果表明,事后校准对于将不确定性估计从描述性指标转化为可操作信号至关重要,确保预测的可靠性和资源高效的分子建模。
**论文解读:分子机器学习中的不确定性校准——证据回归与集成方法的系统比较**
**一、研究背景与问题**
机器学习(ML)在化学领域已成为加速预测和揭示传统模拟难以企及模式的有力工具,应用涵盖反应机理建模、分子从头生成、力场开发以及化学空间导航等。然而,ML模型本质上是统计工具,其可靠性不仅取决于算法设计,还受训练数据对底层化学空间表征质量的影响。当训练数据缺乏足够的化学或构象多样性时,预测可能产生偏差和不确定性,尤其是在分布外(OOD)区域。生成量子化学参考数据需借助高精度电子结构方法,计算成本高昂且能耗密集,这既引发环境关切,也为计算资源受限的研究者设置了障碍。因此,模型效能现被认为既取决于模型架构,也取决于训练数据策略。不确定性量化(UQ)在此背景下变得至关重要,它能够估计预测置信度,识别模型支持不足的化学空间区域,并指导主动学习——优先选择最可能提升模型性能的数据点。尽管UQ方法发展迅速,但标准训练和推理流程常常产生校准不良的模型。以往研究多关注不确定性估计本身,而较少系统探讨事后校准对提升不确定性的可靠性和实用性的作用。本研究旨在填补这一空白,系统比较两种本质不同但实用的UQ范式——深度证据回归(DER)和深度集成——在分子ML中的表现,并重点考察事后校准的影响。
**二、研究内容与结论**
研究人员在QM9和WS22两个基准数据集上开展了系统研究。对于标量属性预测(电子空间范围),使用QM9数据集(约130,000个平衡几何构型,B3LYP/6-31G(2df,p)水平);对于几何依赖的能量和力预测,使用WS22数据集中的丙烯醛子集(120,000个几何构型,PBE0/6–311G*水平)。在QM9上,研究人员将E(n)-等变图神经网络(EGNN)的最后一层扩展为DER输出头,同时训练深度集成EGNN作为对比。在WS22上,采用深度集成ANI(精确神经网络分子能量引擎)模型,通过系统变化三个超参数(第三隐藏层宽度、激活函数、学习率)生成八个架构多样化的网络。
主要结论包括:两种方法的原始不确定性均存在系统性校准偏差——DER产生的不确定性中数据噪声与模型不确定性未清晰分离,集成方法则产生更尖锐但过于自信不足的估计。事后校准(尤其等温回归ISR)能有效纠正这些偏差,使预测方差与观测误差对齐。在QM9上,校准使DER能够筛选出3307个高置信度预测样本(误报率约2.6%),而未经校准的模型无法识别任何此类样本;集成方法虽更尖锐,但校准后仅选出37个样本。在WS22上,校准将能量不确定性的校准误差从0.11降至0.01,力不确定性的校准误差从0.37降至0.01;在主动学习场景中,校准使力评估的冗余计算减少超过20%,在单次主动学习迭代中,校准策略比未校准策略少使用4546个训练点(减少45.3%),同时保持相当甚至更优的预测精度。
**三、关键技术方法**
研究人员采用了以下主要技术方法:(1)深度证据回归(DER),通过预测Normal–Inverse–Gamma(NIG)分布的参数实现单次前向传播的不确定性估计,并分解为偶然不确定性和认知不确定性;(2)深度集成,通过训练多个架构或超参数不同的网络,以预测方差衡量认知不确定性;(3)事后校准方法,包括等温回归(ISR)、标准缩放和GP-Normal三种方法,在保留模型不变的前提下调整预测方差以匹配经验误差;(4)对抗性群体校准(AGC)评估方法,衡量最差子群的校准误差;(5)查询委员会(QBC)主动学习策略。数据集来源:QM9来自PyTorch Geometric,WS22丙烯醛子集来自Zenodo。
**四、研究结果**
**4.1 QM9上EGNN–DER与EGNN深度集成的预测不确定性比较**
在QM9数据集上,研究人员比较了EGNN–DER和深度集成EGNN预测电子空间范围的不确定性。原始不确定性分析显示,DER分配的偶然不确定性显著高于认知不确定性,尽管QM9标签本质上是确定性的(源于固定DFT协议)。这一行为源于DER训练所用的证据损失结构:NIG先验收紧化了预测均值和方差的联合分布,损失函数鼓励在残差较大区域扩大预测分布以避免过度自信的错误。由于模型未接收分离偶然与认知成分的监督,优化可通过增加偶然项来满足惩罚,即使不存在固有标签噪声。深度集成则产生更尖锐的不确定性分布(尖锐度3.28 vs. DER的19.05),允许更精细地分离低误差和高误差预测。两者初始均表现为欠自信,DER的校准误差(0.25)略优于集成(0.27)。应用ISR校准后,DER的CE降至0.00,集成降至0.01;AGC分析显示两种模型均获得低坏组校准误差,DER在异质子群体上表现更一致。置信度过滤分析表明,校准使DER能够从13,083个测试样本中选出3307个高置信度预测(2σ<1),误报率约2.6%;而未经校准的模型无法选出任何样本。集成方法在校准后仅选出37个样本,表明其校准后不确定性分布仍过窄,不利于实际分流。
**4.2 WS22丙烯醛数据集上深度集成的预测不确定性**
在WS22丙烯醛数据集上,研究人员使用仅含反式构象的90%进行训练,评估模型在顺式构象和顺反插值点上的外推性能。能量不确定性的2D投影显示,反式构象占据低不确定性区域,顺式和插值点呈现显著更高的不确定性,表明模型能识别分布偏移区域。能量不确定性与绝对误差呈强正相关,但初始校准误差为0.11(测试集)和0.10(插值区),显示轻度欠自信。事后校准(ISR)将CE降至0.01,并改善AGC表现。力不确定性的分析显示初始严重欠自信,CE达0.37,ISR校准后降至0.01。校准后,低不确定性点数(2σ<10 kcal/mol/?)从3个增至4546个,实现了超过4500次力评估的节省(减少23%以上)。沿顺反异构化路径的主动学习模拟表明,未校准模型在整个轨迹上维持高不确定性,导致所有点都被标记为需要重新训练;校准后,前7个几何构型的不确定性低于阈值,可自信跳过,避免了冗余的从头算评估。在单次主动学习迭代中,ISR校准策略(使用45,000+5,499个训练点)相比未校准策略(45,000+10,045个训练点)在OOD测试集上取得相当甚至更优的精度(能量RMSE:0.23 vs. 0.26 kcal/mol;力RMSE:1.20 vs. 1.26 kcal/mol/?),同时减少4546个训练点。
**五、总结与结论**
本研究系统证明了事后校准在分子ML中将UQ从描述性指标转化为可操作信号中的核心作用。校准不仅纠正了统计偏差,还为主动学习带来了实际效率提升。研究确立:事后校准不是可选项而是必需步骤,它弥合了统计不确定性估计与其在采样、误差感知预测和数据高效化学空间探索中实际应用之间的鸿沟。DER虽然内在分解存在局限,但校准后能更有效地筛选高置信度预测;集成方法虽更尖锐,但校准后仅获得有限分流能力。研究局限性包括:DER在力预测和能量守恒ML势上的扩展需要额外的架构和算法开发,本研究仅限于标量能量和力范数的校准;校准策略在多轮主动学习中的效果有待未来研究。论文发表在《Chemistry – A European Journal》。