超越启发式方法：基于自适应保形预测(Adaptive Conformal Prediction, CP)的QSAR模型无关(Model-Agnostic)不确定性量化(UQ)框架

《Chemical Research in Toxicology》：Beyond Heuristics: A Model-Agnostic Framework for Uncertainty Quantification in QSAR via Adaptive Conformal Prediction

　　

可靠的不确定性量化对于QSAR模型的解释及监管应用至关重要。适用性域(Applicability Domain, AD)评估正是为此目的引入——OECD原始指南将AD定义为预测可靠性——但在实践中AD指标仅输出启发式相似性得分，无法提供具统计保证的置信估计。研究人员提出将保形预测(Conformal Prediction, CP)作为校准层，可在无需重新训练、仅使用模型预测值和留出校准集的条件下，将任意QSAR模型转换为置信预测器，针对回归任务生成指定名义置信水平（如90%）下的预测区间(Prediction Interval)，针对分类任务生成预测集(Prediction Set)，且具备统计保证的覆盖性(Coverage)。该保证在可交换性(Exchangeability)假设（校准集与测试化合物取自同一输入空间）下成立，是秩基校准过程的数学推论。若假设被违反，覆盖率可能低于名义水平——表现为区间变宽及单点率(Singleton Rate)下降。该框架使用基于分子指纹训练的辅助模型输出非一致性得分(Nonconformity Score)（现有AD指数同样可充当此角色）；一种新颖的序数距离(Ordinal Distance)策略通过生成兼容标准CP方法的伪概率(Pseudoprobabilities)，将该方法扩展至硬标签(Hard-Label)分类器。将该框架应用于涵盖理化性质、毒性和环境终点的一百余个VEGA QSAR模型，各模型及终点类型均一致达到名义覆盖率。CP效率指标——回归的平均预测区间宽度及分类的单点率——与AD指数呈强相关，证明CP形式化并量化了AD启发式方法所近似的内容：结构新颖性与预测可靠性之间的关系，成功将启发式化学相似性转化为具统计效力的预测区间或标签集。大规模应用于EPA CompTox化学品清单展示了监管尺度下的实际部署能力。开源流程便于应用于任意QSAR/QSPR平台，提升透明度与可靠性评估。

论文解读：《Beyond Heuristics: A Model-Agnostic Framework for Uncertainty Quantification in QSAR via Adaptive Conformal Prediction》

研究背景与意义

定量构效关系(QSAR/QSPR)模型长期面临预测不确定性量化的挑战。OECD指南要求模型不仅给出点预测，还需透明评估其可靠性，并由此引出适用性域(Applicability Domain, AD)概念——即模型能以给定可靠性进行预测的化学结构与响应空间范围。传统AD方法多基于训练集结构相似性（如Tanimoto系数、距离模型(Distance-to-Model, DM)、杠杆值等）给出连续评分（如VEGA平台的ADI）或二元内外域判断，但这些均为启发式(Heuristic)指标：依赖人为选定的描述符与阈值，不同实现不可比，且最重要的是无法提供"真实值落于某误差范围内"的统计保证。此外，结构相似未必预测准确（活性悬崖Activity Cliff），结构不相似亦可能预测正确。现有基于似然或参数化条件误差分布p(e|x)的DM方法虽尝试关联距离与误差，仍需分布假设且无有限样本覆盖保证。

本研究发表于《Chemical Research in Toxicology》，旨在用保形预测(Conformal Prediction, CP)——一种模型无关(Model-Agnostic)、分布自由、具有限样本边缘覆盖保证(Finite-sample Marginal Coverage Guarantee)的统计框架——作为校准层叠加于任意QSAR模型之上，将启发式AD转化为具严格统计意义的预测区间（回归）或预测集（分类），并在超过100个VEGA模型及EPA CompTox大型化学品清单上验证其有效性。

主要关键技术方法

研究人员选用VEGA QSAR平台（v1.2.4）中100余个涵盖理化性质、环境归趋及毒性的回归与分类模型为对象。对于每个模型：(1)利用VEGA自带外部测试集或按80/20划分获取留出校准集(Calibration Set)，训练集用于训练辅助σ模型；(2)针对回归，以ECFP4分子指纹为输入，训练随机森林(RF-ECFP)、LightGBM(LGBM-ECFP)或k近邻(kNN-ECFP)回归器预测基模型绝对残差|y??|作为局部误差尺度σ?(x)，采用归一化非一致性得分s = |y??|/σ?(x)进行自适应CP(Adaptive CP)，普通CP使用s = |y??|；(3)针对仅输出硬类标签(Hard Label)的VEGA分类模型，研究人员提出序数距离策略：用ECFP4训练辅助分类器预测预测类与真实类的序数距离k = |y??|的概率分布P(distance=k)，或回归器预测期望距离后经高斯衰减转为距离概率，再依预测类?映射为各类别的伪概率(Pseudoprobabilities) P(class=j) = P(distance=|j??|)，使其兼容最小模糊集(Least Ambiguous Set, LAC)算法下的标准CP分类流程；(4)使用MAPIE库的SplitConformalRegressor/Classifier在α=0.1（90%目标覆盖）下计算校准分位数q?并构建预测区间 ? ± q?·σ?(x)或预测集{j : 1?p?(j|x) ≤ q?}；(5)以经验覆盖率(Empirical Coverage)、效率（回归为相对区间宽度Relative Interval Width=区间宽/训练集响应范围，分类为单点率Singleton Rate=单点预测集占比）及与VEGA适用性域指数(Applicability Domain Index, ADI, 0–1连续值)的相关性为主要评价指标，并通过Kolmogorov–Smirnov检验诊断校准集与测试集非一致性得分分布的可交换性。大规模外部验证选用EPA CompTox化学品清单（~50万化合物）。

研究结果

3.1. Regression Models Findings on VEGA Training and Test Sets（VEGA训练与测试集上回归模型结果）

研究人员将LightGBM-ECFP辅助模型用于52个VEGA回归端点。绝大多数数据集经验覆盖率接近名义90%（除个别极小测试集外），证明CP在各化学/生物异质数据集上均能稳定达至名义覆盖。按ADI分层显示低ADI（结构外推）区间较宽、高ADI区间较窄，且80%端点呈ADI与区间宽度负Spearman秩相关（中位ρ = ?0.327，58% p<0.001），表明CP效率自然反映结构相似性——即使ADI本身未参与CP校准。低ADI区覆盖率略降至88.8%、高ADI区升至99.2%，仍均在可接受范围，说明即便传统AD判定"域外"，CP仍给出具近似覆盖的量化不确定区间而非简单丢弃预测。

3.2. Regression Models Findings: Results on EPA CompTox Data Set（EPA CompTox数据集上回归模型结果）

对44个回归模型应用于~50万EPA CompTox化学品（2200万条预测），相对区间宽度与ADI呈完全负秩相关（Spearman ρ = ?1.00, p<0.001）。50.3%预测落入极低ADI[0–0.5]，平均相对宽度0.47；随ADI升高宽度递减（低ADI 0.42→中 0.38→高 0.26）。理化性质模型（Henry定律常数、log P、K_OC）区间最窄（5–17%训练范围），急性水生毒性中等（34–57%），慢性毒性/致癌性最宽（57–84%），反映端点可预测性梯度。说明CP可规模化部署，区间宽度直观传达外推程度。

3.3. Classification Findings: Training and Test Sets（训练与测试集上分类模型结果）

对45个VEGA分类模型应用序数距离伪概率+CP，经验覆盖率普遍≥90%（偏保守）。单点率随ADI升高单调增加（极低ADI约42%→高ADI约73%），73%模型呈正相关（中位Spearman ρ = 0.216），证实CP预测集大小自然编码结构域可靠性。高ADI区更多单点预测（明确分类），低ADI区多含多类别或空集合（提示需谨慎解释或补充实验）。

3.4. Classification Findings with EPA CompTox Data Sets（EPA CompTox数据集上分类模型结果）

应用于42个分类模型及~50万化合物（超2000万预测），单点率随ADI单调升（极低ADI 33%→高ADI 65%, Spearman ρ = 1.00）。43%预测属极低ADI，对应多类预测集——保留"哪些类别仍可能"的信息优于二元AD抛弃预测。不同端点差异明显：受体结合模型在低ADI仍维持较高单点率，污泥毒性等模型全ADI下单点率为零，提示模型质量差异可被CP效率暴露。

讨论与结论总结

传统AD评估输出启发式相似性分数无统计覆盖保证；CP将任意QSAR模型包裹为具边缘覆盖保证(Marginal Coverage ≥ 1?α)的置信预测器，无需重训且仅需校准集与预测值。CP效率指标（区间宽/单点率）与ADI强相关，说明二者捕捉相同底层驱动——结构外推导致高非一致性——但CP提供的是经秩校准、具有限样本保证的量。现有AD指标（杠杆、最近邻距离、集成方差）可直接用作非一致性得分或σ?(x)，即AD研究可嵌入CP框架转化为统计有效区间，CP非AD替代而是其上校准层。

局限性含：边缘覆盖为全体平均，子群或个体分子不保证；测试与校准数据违犯可交换性时代价为保守宽区间；当前采用对称区间? ± q?·σ?(x)未处理模型系统性偏差（可用上下尾独立分位数改进）。

结论：自适应保形预测可将任意QSAR/QSPR模型（新旧、回归或分类）转为具用户指定置信水平的区间/集预测器；建议新建模型预留校准集并将覆盖率与区间宽纳入标准验证指标；遗留硬标签分类模型可通过序数距离伪概率启用CP但不及原生概率理想；CP兼容既有AD工作流——将其启发式直觉升格为具统计保证的不确定性陈述，应成为QSAR验证与部署的标准输出之一，助力监管决策与安全设计-by-Design(SSbD)早期筛查。