基于决策中心的CNN重评分分子对接富集与效力排序基准评估

《International Journal of Molecular Sciences》：A Decision-Centric Benchmark of Enrichment and Potency Ranking in CNN-Rescored Molecular Docking

　　

虚拟筛选回答了两个不同的问题：富集（enrichment）——将活性化合物从背景分子中分离出来，以及效力排序（potency ranking）——按实测活性对活性化合物进行排序。研究人员针对五个中枢神经系统结合位点（SERT、GABAA苯二氮?位点、5-HT1A、σ1和NMDA MK-801孔道），采用相同的打分函数对同一批化合物同时进行了这两项指标的基准测试。研究人员利用Uni-Dock和GNINA对ChEMBL活性物、非活性物以及属性匹配的诱饵（decoys）进行对接，并在独立的归一化/评估划分以及一个从未参与任何拟合的实验表征阴性探针下进行评估。在pChEMBL ≥ 7的活性物中评估的排序性能对所有靶点均可忽略不计（中位Spearman ρ = 0.020），并且无法通过数据质量过滤、多变量零模型、骨架感知重采样、严格的测定-位点匹配及重建诱饵或更严格的筛选来恢复。富集表现强烈依赖于基准设计：当诱饵匹配到七个描述符后，相较于仅按分子量匹配的诱饵所观察到的表观ΔAUC增益从+0.153降至≤0.05，且残余差异对化合物重采样不稳健。一个不使用任何结构信息的分类器能以0.959–0.993的ROC-AUC区分相同的活性物和诱饵，而同源配体重新对接仅在五个靶点中的一个中将晶体学构象恢复为排名最高的解。基准富集不应等同于蛋白质特异性识别；基准、构象和排序需要分别验证。

研究背景与现存问题

在基于结构的虚拟筛选中，研究者通常使用一个单一的数值——对接打分或重评分分数——来同时完成两项本质不同的任务：一是从大量背景分子中富集潜在活性化合物（即“富集”任务，通常以ROC-AUC衡量），二是将这些已识别的活性化合物按其实际效价高低进行排序（即“效力排序”任务，通常以斯皮尔曼相关系数ρ衡量）。然而，现有文献往往混淆这两个概念，用一个综合指标掩盖了二者在决策上的根本差异。此外，许多研究在评估打分函数的性能时，未能充分控制四个关键的偏倚来源：（1）基准构建方式：诱饵库的属性匹配程度直接影响富集表现的假阳性；（2）循环论证：若用于校正的数据与评估数据重叠，则评估结果具有自我实现性；（3）测定-位点对应关系：若对接的蛋白口袋并非实验测定所测量的位点，则任何相关性都不可解释；（4）范围限制：活性化合物的效价范围过窄会人为削弱可观测的排序相关性。因此，本研究旨在建立一个决策导向的评估框架，严格区分富集与排序，并对上述偏倚进行系统控制。

研究内容与主要结论

研究人员以五个中枢神经系统靶点（SERT、GABA_A苯二氮?位点、5-HT_1A、σ₁和NMDA MK-801孔道）为模型体系，利用Uni-Dock进行分子对接并使用GNINA的卷积神经网络（CNN）进行重评分。研究人员对同一批化合物同时评估了其富集能力和活性物内部的效力排序能力，并引入了一种基于参考分布调整的打分（RDAS）方法进行属性偏差校正。核心结论如下：CNN重评分的效力排序能力在所有靶点上均近乎为零（中位ρ=0.020），即使经过数据质量筛选、多元零模型校正或严格测定-位点匹配也无法挽救。而富集能力的提升在很大程度上是诱饵属性匹配不足的人为产物：当诱饵仅按分子量匹配时，RDAS校正显示出显著的AUC增益（如NMDA靶点ΔAUC达+0.153），但当诱饵被重新构建以匹配七个物理化学描述符后，该增益骤降至≤0.05，且对化合物或骨架级别的重采样不稳定。研究还发现，一个仅使用二维配体指纹的分类器可以在不使用任何结构信息的情况下达到0.959–0.993的ROC-AUC，这表明该基准测试本身在很大程度上可通过配体相似性而非蛋白质特异性识别来解决。同源配体重新对接实验进一步揭示，只有SERT靶点可靠地恢复了正确的晶体学结合模式作为首选构象，其他靶点在构象生成或选择环节均存在瓶颈。

关键技术与方法

1. 1.
   对接与重评分流程：使用Uni-Dock v1.1.0（平衡搜索模式）进行分子对接，产生单一最高排名构象；随后使用GNINA v1.3.2的默认CNN集成模型对该构象进行重评分，提取CNNaffinity作为最终打分。
2. 2.
   属性匹配诱饵库构建：首先构建仅按分子量分箱的初始诱饵库，随后针对暴露的极性及柔性偏差，重新设计了七描述符匹配诱饵库（包括分子量、cLogP、TPSA、氢键供体/受体数、可旋转键数和形式电荷），并通过k-d树最近邻算法贪婪选择，排除与活性物拓扑相似度≥0.35的分子。
3. 3.
   无循环校正的RDAS计算：将诱饵库随机分为50/50的归一化半集和评估半集，仅用归一化半集计算每个分子量分箱内CNNaffinity的均值与标准差，从而得到活性物和评估诱饵的z-score（即RDAS），确保评估数据不参与校正参数估计。
4. 4.
   决策导向评估指标：排序性能以活性物内部打分数值与实验pChEMBL之间的斯皮尔曼等级相关系数ρ为主；富集性能以活性物对评估诱饵的ROC-AUC为主，辅以EF1%/5%/10%、BEDROC(α=20)和PR-AUC等早期识别指标；并使用一个实验表征的阴性探针TFE-Rhy进行假阳性控制检验。
5. 5.
   稳健性与控制分析：包括基于贝米斯-默科骨架的聚类重采样、测定-位点匹配子集重建、同源配体多种子重新对接（50个显式种子）、以及对接随机性量化（5种子重采样）。

研究结果

2.1 排序与实验数据的相关性接近于零，且校正和数据质量过滤均无法挽救

通过计算所有靶点上活性物CNNaffinity与其实验pChEMBL之间的斯皮尔曼ρ，发现所有靶点的相关性均微不足道（中位ρ=0.020）。GABA_A（ρ=-0.27）和σ₁（ρ=-0.10）甚至表现出显著负相关。将活性物限制于高质量子集（如仅含K_i数据或重复测量数据）后，最大ρ也仅为0.19，远低于实用水平。这表明打分函数在活性物范围内缺乏单调的效价信息。

2.2 富集增益很小，主要是诱饵匹配的人为产物，且集中于列表顶部但不一致

对比仅分子量匹配和七描述符匹配的诱饵库，发现RDAS校正带来的表观ΔAUC从+0.153（NMDA）骤降至≤0.05。在化合物或骨架级别重采样下，95%置信区间包含零，表明增益不稳定。绝对AUC值仅为0.57–0.73，显示对接+CNN重评分在该基准上的区分能力有限。早期识别指标（如BEDROC）的提升集中在列表顶部。

2.3 实验表征阴性探针的排名在每个位点均下降但很少被标记

阴性探针TFE-Rhy的原始CNNaffinity使其处于活性物中间百分位（4–44th），RDAS校正将其降低至0.4–27th，但仅在σ₁一个靶点上落入活性物第五百分位以下的“捕获”标准。

2.4 校正并非统一的尺寸惩罚

将所有靶点数据合并分析显示，大分子量（MW≥450）活性物仍保持正的平均RDAS（+0.44），但大分子量范围内活性物与非活性物的区分度显著降低。

2.5 测定-位点匹配至关重要（NMDA案例研究）

通过比较三个候选NMDA位点（默认变构PAM口袋、ATD/ifenprodil位点和测定匹配的MK-801通道孔道），发现TFE-Rhy在测定匹配的孔道位点得分最高，表明其假阳性信号源于正确位点而非位点选择错误。但即使位点匹配，仍可能产生假阳性。

2.6 分析数据中不存在尺寸相关的重评分失败

在A100硬件上，10130个受体-配体对的CNN重评分失败率为0，排除了大分子因重评分失败而被选择性剔除的可能。

2.7 更丰富的零模型改善富集但仍未挽救排序

使用线性残差模型和随机森林残差模型进行多变量校正后，BEDROC和ROC-AUC相对于分子量分箱校正有所提升，但所有靶点的排序ρ仍保持在|ρ|<0.13，未接近可用水平。

2.8 富集/排序分离并非所选打分头的伪影

对CNNscore和复合打分CNN_VS的分析显示，虽然早期识别表现有所变化，但没有任何一种打分头在所有靶点上产生大于0.10的正ρ，阴性探针控制效果亦呈靶点依赖性。

2.9 稳健性分析未改变主要解释

六项控制分析确认了基准的可解性（无结构分类器AUC达0.959–0.993）、构象生成与选择的分离瓶颈（仅SERT可靠恢复晶体构象）、以及GABA_A活性集由单一测定主导（70%来自CHEMBL5737147）等问题，但均未改变排序失效的核心结论。

2.10 聚合结论在对接搜索的随机性下保持稳定

尽管单分子打分在不同种子间波动较大，但富集AUC的标准差仅为0.007–0.022，排序ρ的符号一致性也支持了信号缺失的结论。

讨论与结论总结

本研究明确指出，富集和排序是两个相互独立的任务，属性偏差校正仅对富集有微弱且不稳定的影响，无法创造打分函数本身不包含的效价信息。基准构建方式对表观结果有决定性影响：诱饵的属性匹配不足会导致校正效果被严重高估，而即使实现了良好的属性匹配，由于模拟排除规则导致活性物与诱饵在指纹空间中的天然分离，基准测试仍可能被无结构分类器轻易解决。因此，基准富集绝不能等同于蛋白质特异性识别。研究建议采用分层工作流程：对接打分仅用于短名单初步筛选，且需在与应用场景相关的文库组成下验证富集性能；效价优先排序应依赖基于物理的自由能方法（FEP）或湿实验剂量-反应曲线；测定-位点匹配是所有分数-实验比较的必要前提条件。研究结论指出，改进打分校准不等于改进了基于它做出的每一项决策，在本次基准测试中，属性感知校正产生了微小且靶点依赖的富集变化，但未能恢复任何靶点的活性物内效价排序。