平衡数据数量与质量：评估先导化合物优化中生物活性预测的筛选策略

《Journal of Chemical Information and Modeling》：Balancing Data Quantity and Quality: Evaluating Curation Strategies for Bioactivity Prediction in Lead Optimization

　　

构建良好的机器学习（ML）模型以预测新型化学物质的生物活性仍然是一项具有挑战性的任务。准确的模型需要训练集包含大量多样的化合物且噪声水平较低。当从公共数据库（如ChEMBL）提取数据时，可能会采用不同程度的筛选严格性，导致训练集的大小、多样性以及推测的噪声水平各不相同。研究人员无法先验地知道以增加噪声为代价扩大数据集大小是否能改善模型泛化能力。为了评估这种权衡，研究人员比较了三种数据筛选和建模方法：（1）基于单一靶点数据训练的模型；（2）基于靶点特异性数据并进一步限定为单一测定条件集训练的模型；（3）多任务学习（MTL）模型，其中每个测定条件被视为一个独立任务。该MTL方法旨在弥合数据数量与质量之间的差距。图神经网络（GNN）和随机森林（RF）回归模型通过留测定法（leave-assay-out）策略进行评估，以最小化测试集中的噪声。研究人员的研究结果表明，这些筛选策略之间没有显著的性能差异，提示在先导优化任务中，以牺牲标签一致性为代价增加数据数量并不能改善泛化能力。值得注意的是，MTL方法也未能提供性能优势。此外，研究人员发现GNN在与生物活性测量常见的小规模训练集相关的多随机种子依赖性变异性较高，这强调了使用多随机种子评估进行稳健模型评估的必要性。

**论文解读：先导化合物优化中生物活性预测的数据筛选策略评估**

**研究背景与问题**

在药物发现领域，通过计算手段预测新型化学物质的生物活性仍然是一项核心挑战。准确构建机器学习（ML）模型需要高质量、多样化的训练样本。即使在高度受控的条件下（如同实验室的单一测定方案），生物活性测量也固有实验变异，估计约为0.3对数单位（即2倍活性差异）。然而，当整合来自不同测定方案的数据时，噪声水平可能显著升高。大规模、同一实验室、同一条件下的数据集通常仅存在于制药公司的专有数据库中；而公共数据库如ChEMBL则包含多个小规模测定，其实验条件各异，导致记录的生物活性值存在显著异质性。这种异质性为利用公开数据开发稳健的ML模型带来了挑战。前期研究（Landrum和Riniker, 2024）量化了ChEMBL中的实验噪声：通过比较相同靶点在不同测定中的重复测量值，发现最低筛选策略（仅按靶点聚合）下IC₅₀数据的中位绝对偏差为0.50对数单位，而采用更严格的基于相同测定元数据（一致条件）的筛选后，该偏差降至0.27对数单位。但严格的筛选显著减少了可用数据点数量。这一数据数量与质量的权衡在人工神经网络（ANNs）日益用于分子性质预测的背景下尤为突出。图神经网络（GNN）作为ANNs的子类，因分子可自然表示为图（原子为节点，键为边）而广泛用于分子性质预测。复杂任务（如生物活性预测）通常需要大量数据以避免过拟合，但这与整合多测定数据导致的质量下降相矛盾。因此，本研究旨在系统探究数据筛选策略对ML模型在先导优化中预测性能的影响，特别是比较不同筛选与建模方法如何平衡数据数量与质量。

**关键技术方法**

研究人员从ChEMBL 34版本中提取了IC₅₀和K_i数据，应用两种筛选方案：靶点筛选（按靶点聚合所有测定）和测定条件哈希（ACH）筛选（仅聚合具有一致元数据的测定）。采用留测定法（leave-assay-out）分割数据，确保测试集来自单一测定以降低噪声。使用图神经网络（AttentiveFP架构，200隐藏通道，5层，dropout 0.3）和随机森林（RF）回归器（300棵树，平方根最大特征）进行建模。此外，还探索了多任务学习（MTL）方法，将每个ACH视为独立任务。评估指标包括中位绝对误差（medAE）和Kendall's τ，并通过Friedman检验和Conover-Friedman事后分析比较模型性能。所有模型使用5个不同随机种子训练以评估变异性。

**研究结果**

**数据筛选：数量与质量的权衡**
通过分析相同化合物在不同测定中的重复测量值，发现ACH筛选相比靶点筛选显著降低了噪声（中位绝对偏差：ACH 0.36 log单位 vs. 靶点 0.41 log单位；偏差>0.3 log比例：ACH 0.57 vs. 靶点 0.61）。但靶点筛选获得的数据量约为ACH筛选的两倍。空间统计（∑G和∑F′）显示，留测定法分裂类似于时间分裂，适合评估前瞻性预测能力。

**模型性能**
对422个测试集（涵盖24个靶点）的评估显示：基于Kendall's τ，RF-靶点模型表现最佳（中位τ=0.23），显著优于其他模型；基于medAE，RF-ACH模型最低（中位值0.96），与RF-靶点无显著差异，而所有GNN模型均显著更差。但没有任何模型在所有测试集上持续优于其他模型。总体而言，所有模型表现较差，部分归因于测试集内化合物高度相似（中位Tanimoto相似性0.51）且活性范围窄（中位跨度2.5 log单位）。MTL方法未能优于单任务模型，可能与每个任务数据点数量少（中位12个）且任务数量多（中位28个）有关。

**模型一致性**
通过比较5个随机种子的性能变异性（medAE差值），RF模型的变异性（中位0.07）显著低于GNN。GNN无dropout时变异性中位0.41，加入dropout 0.3后降至0.31，但仍显著高于RF。GNN在验证集上的变异性（中位0.10）显著低于测试集，表明过拟合是测试集高变异性的主要原因。不同筛选策略对同一模型类型的变异性无显著影响。

**讨论与结论**

本研究表明，在公共数据用于先导优化时，通过更严格筛选提升数据质量所带来的性能优势有限，以扩大数据量为代价增加噪声并未改善泛化。MTL方法未能解决数据数量-质量权衡，可能因每任务数据不足。相比于GNN，RF回归器在性能相近且计算成本更低、种子依赖性更小的前提下，更适合处理小样本生物活性数据。结论部分指出：研究人员评估了两种从ChEMBL提取生物活性数据的筛选策略（聚合靶点所有测定或仅聚合匹配元数据的测定），并探索了将每个测定条件视为独立任务的多任务学习（MTL）策略。观察到同一ACH内测定数据的变异性低于同一靶点不同测定间变异性，但仅聚合同一ACH数据会大幅减少可用数据量。采用留测定法评估GNN和RF回归器，发现这些模型类型与筛选策略之间无显著性能差异。令人惊讶的是，MTL方法未能克服数据质量-数量的权衡问题，其表现与单任务GNN相似。此外，研究人员观察到GNN在测试集上的性能存在显著随机种子依赖性。因此，对于生物活性测量中常见规模的训练集，使用神经网络等复杂ML方法时必须采用多随机种子评估。与RF相比，GNN更高的变异性和计算成本且无明确性能提升，表明在先导优化中使用公共数据进行生物活性预测时，RF模型可能是更优的首选。