《ChemMedChem》：Evaluating Machine Learning Affinity Prediction Methods on Novel Lead Optimization Data: A 15-PGDH Case Study
编辑推荐：
：近期报道的蛋白质-配体亲和力预测机器学习（ML）方法，如Boltz-2和AEV-PLIG，据称在公认基准上接近自由能微扰（FEP）的精度。即便未达到该精度，介于FEP与常见对接打分函数之间精度和速度的基于ML的效力模型也展现出明确潜在价值。本研究报告了一项基
：近期报道的蛋白质-配体亲和力预测机器学习（ML）方法，如Boltz-2和AEV-PLIG，据称在公认基准上接近自由能微扰（FEP）的精度。即便未达到该精度，介于FEP与常见对接打分函数之间精度和速度的基于ML的效力模型也展现出明确潜在价值。本研究报告了一项基于近期公开的四个相关配体系列靶向15-羟基前列腺素脱氢酶（15-PGDH）数据的案例研究。研究人员评估了每种ML方法的预测精度，重点关注其何时可用于影响合成优先级。AEV-PLIG在大多数系列中表现不佳，且向其训练集中添加文献报道的15-PGDH抑制剂并未改善其性能。Boltz-2在与训练集中已发表抑制剂最相似的系列上表现良好，实现了准确的共折叠（配体RMSD中位数≤0.81 ?）和排序。然而，对于探索结合口袋新区域的系列，Boltz-2有时生成精度较低的构象，并预测该系列所有配体的效力低于已发表示例化合物，尽管实验效力提升高达500倍。这些结果既凸显了这些方法在充分表征的化学空间中的潜力，也揭示了其在新颖区域——即计算指导最为迫切之处——的局限性。
论文解读文章
一、研究背景与问题
在药物发现中，预测小分子与蛋白靶标的结合亲和力至关重要，既用于发现新颖化学实体（命中发现），也用于修饰已知化合物以改善活性和性质（先导化合物优化）。自由能微扰（FEP）被普遍视为金标准方法，但其计算成本高昂，每个化合物需要数小时GPU时间。更快速的打分函数允许评估更多化学设计，但历史上其精度不足以独立用于化合物合成优先级排序。提升近似方法的精度是一项长期努力，特别是作为FEP的前置过滤器，有望在每轮合成周期中实现更大胆的化学修饰探索，加速开发候选物的识别。新兴的基于强化学习的生成模型（如Reinvent）每代评估数千个构想，也将显著受益于远快于FEP的效力预测方法。然而，这些方法在真实药物化学战役中的预测精度通常未得到充分表征。
近期，基于大规模公共亲和力与结构数据训练的机器学习方法据报道缩小了这一差距。开源方法如Boltz-2和AEV-PLIG据称在常见基准上实现了与FEP几乎相当的实验值相关性。然而，基准性能可能因多种原因与实际性能存在偏差。首先是训练-测试相似性导致的信息泄漏风险；其次是隐藏偏差的存在，例如多个研究组观察到在某些基准上，仅配体模型的表现与嵌入蛋白质-配体相互作用的模型相似；此外，目标级指标可能掩盖辛普森悖论效应，即较强的总体性能可能掩盖模型无法捕捉系列内或子系列内SAR趋势的问题。独立评估ML模型在新发布的、训练中未见过的药物化学数据上的表现，对于指导后续最有前景算法的改进至关重要。Boltz-2的外部评估已开始出现，但据研究人员所知，AEV-PLIG尚无外部公开评估。
二、研究内容与结论
本研究利用近期报道的15-羟基前列腺素脱氢酶（15-PGDH）抑制剂优化数据开展案例研究，该数据涵盖与已发表抑制剂不同相似度的多个系列。研究人员将每个优化方向视为独立子系列，以反映药物化学决策的常见范围。系列1系统解构中心6,6-苯并吗啉环系以探究配体效率；系列2探索向6,5核心（如7-氮杂吲哚）和6,6-苯并二氢吡喃替代的骨架跃迁；系列1-3均含有酰基哌啶，该基团在ChEMBL中由一些15-PGDH抑制剂代表，并有冷冻电镜共复合物结构（PDB: 8CWL）；系列4采用三唑作为酰胺的生物电子等排体，该基团在ChEMBL中也有代表但位于完全不同的骨架上。系列3尤为值得关注：其中溴代类似物直接见于ChEMBL，但通过Suzuki偶联置换溴所获得的类似物探索了训练数据中可能未代表的新颖口袋区域，这为检验预测精度如何随训练数据距离变化提供了自然测试。
研究结果表明，Boltz-2在系列1、2和4上——这些化合物与已发表抑制剂结构相似——实现了准确的共折叠（中位RMSD分别为0.55、0.56和0.81 ?）和有竞争力的亲和力预测，同时具有无需模板对接即可自行生成构象的实际优势。在系列4中，重原子数（HAC）与效力无相关性，Boltz-2的正相关表明其相对于HAC基线存在信息增益和一定的可迁移物理学习。然而，在探索新颖亚口袋的系列3中，Boltz-2的性能下降，未预测任何系列成员比溴代母体化合物更有效，尽管实验效力提升高达500倍。AEV-PLIG在所有系列中均表现不佳，使用15-PGDH抑制剂重训练后性能并未一致改善。Vina打分函数在多数系列中表现相对较好。汇总分析显示Boltz-2的总体相关性显著低于FEP+，反映了类似辛普森悖论的系统性系列间偏差。
本研究的意义在于揭示了ML效力预测模型适用域（DoA）的脆弱性：即使相对较小的化学改变也可能将预测推出适用域之外。计算指导价值最大的场景——探索新颖结合假设、新亚口袋、新相互作用类型或新骨架——恰恰是ML模型最可能失效之处。研究结果提示，共折叠亲和力预测的适用域可能比基准性能所暗示的更窄，可能局限于现有结构和亲和力数据库充分覆盖的化学空间区域。
三、主要技术方法
本研究采用以下关键技术方法：使用Boltz-2共折叠模型，输入15-PGDH蛋白序列、配体SMILES和NAD+辅因子，在默认设置下生成蛋白-配体复合物结构并预测亲和力；使用AEV-PLIG机器学习打分函数，评估了默认版本和用40个文献15-PGDH抑制剂重训练的版本，配体构象由Glide MCS约束对接生成并经Vina最小化；以Vina经验打分函数作为基线；以重原子数（HAC）作为额外基线。评估指标采用Spearman秩相关系数，并通过非参数配对bootstrap（10,000次重采样）计算95%置信区间和p值，多重检验经Benjamini-Hochberg FDR校正。
四、研究结果
4.1 Boltz-2共折叠精度验证
研究人员将每个共折叠复合物与实验结构（PDB: 9PFL）比对。系列1、2和4中，Boltz-2产生的构象与对接结构高度一致，中位RMSD分别为0.55、0.56和0.81 ?。系列3中，由于该系列在拓扑和体积上与已发表结构差异最大，性能尚可但不均匀（均值1.61 ?，中位1.19 ?）。视觉检查显示Boltz-2正确定位了与文献化合物不变的部分，但溶剂暴露基团的变异性较高。使用第二随机种子的重复预测中，大多数构象稳定（构象间中位RMSD 0.29 ?），但两个化合物出现超过4 ?的显著偏差。值得注意的是，即使Boltz-2预测构象显著变化，其亲和力预测变化很小（pIC50差异均在0.12以内）。
4.2 系列1和2：核心修饰
系列1和2探索双环核心修饰，分子两端相对于已发表抑制剂保持不变。Boltz-2实现了与实验效力较强的相关性（Spearman ρ=0.68），与FEP+（ρ=0.64）无显著差异。Vina也表现出良好相关性（ρ=0.55）。AEV-PLIG在默认（ρ=0.14）和重训练（ρ=0.11）版本中均表现不佳。然而，HAC也达到ρ=0.55，与Vina相当并接近Boltz-2，这引发了前述担忧：部分方法的性能可能由对较大配体的简单偏好驱动。
4.3 系列3：探索新颖亚口袋
系列3中，化合物设计用于置换配体附近2-3个高能水分子。FEP与实测效力相关性良好（ρ=0.78）。Boltz-2未预测任何系列成员比溴代母体化合物更有效，包括其结合模式预测准确的那些化合物，排名能力较差（ρ=0.17）。Boltz-2正确识别了效力最低的化合物，表明其学习到一定的空间位阻和/或构象能量学。Vina在此系列表现相对较好（ρ=0.57）。用已发表化合物重训练的AEV-PLIG在此系列获得中等秩相关（ρ=0.43），该系列是与所添加化合物最相似的系列（最大Morgan-2 Tanimoto相似度0.625），但仍与Boltz-2一样偏向已发表化合物。在此系列中，较大HAC与较差效力相关，因此Vina的排名不能归因于对较大配体的偏好。
4.4 系列4：生物电子等排体替换
系列4探索含稠合环烷基三唑的化合物，该基团在ChEMBL中发表于完全不同的骨架上。此系列中ChEMBL示例效力范围与测试系列不重叠，ML模型必须捕捉加和性SAR。Vina（ρ=0.67）与实验效力相关性良好，与FEP+（ρ=0.66）相当。Boltz-2也表现出正相关（ρ=0.55），效力范围压缩至与训练分布中更有效示例一致。AEV-PLIG再次无预测能力（默认ρ=-0.14；重训练ρ=-0.44）。HAC在系列内变化很小且与效力无相关性（ρ=-0.15），因此Boltz-2和Vina的正面结果不能归因于分子大小。
4.5 跨系列汇总分析
将全部43个化合物汇总后，Vina显示中等汇总相关性（ρ=0.45）。Boltz-2的汇总相关性（ρ=0.31）显著低于其在系列1、2和4内的性能，且显著低于FEP+（ρ=0.70）。AEV-PLIG和HAC的秩相关接近零。Boltz-2性能的下降反映了类似辛普森悖论效应：即使模型在系列内排序合理，系统性的系列间偏差也会降低整体相关性。具体而言，Boltz-2预测实验上与其他系列同等有效的系列3化合物将统一不如系列1和2化合物有效。
五、讨论与结论
AEV-PLIG在本目标上无预测能力，表现差于Vina，这与过度拟合特定训练复合物而非学习蛋白质-配体结合物理一致，但比较并非完全公平，因为所用构象经Vina最小化。重训练模型对40个添加训练复合物的近乎完美拟合（MAE=0.06，Spearman ρ=0.99）确认其能够记忆训练数据，但该比较本身无法区分过度拟合与其他解释。用15-PGDH抑制剂重训练未一致改善性能，任何收益似乎是局部的而非普遍的。
Boltz-2的结果更有前景但需细致解读。在系列1、2和4中——化合物与已发表抑制剂结构相似——Boltz-2实现了准确共折叠和竞争性亲和力预测，同时具有自行生成构象的实际优势。这指向一个明确但有限的使用场景：优先排序相对保守、等体积的单一位点变化。在系列3中，Boltz-2性能下降，其亲和力预测奖励已发表母体化合物而惩罚训练中未见相互作用的配体。即使相对较小的改变（如添加四个重原子）也可能将预测推出适用域之外。
研究还揭示两个额外关注点：第一，Boltz-2预测的效力范围压缩，似乎反映了训练中相似15-PGDH抑制剂实验IC50分布较小且效力较低，这可能阻碍以效率指标作为药物化学目标，并可能表明模型在SAR加和性或协同性方面存在困难；第二，系列3的较差性能之外，还存在按系列的系统性偏差，引发辛普森悖论担忧。
本案例研究对共折叠模型而言是相对有利的场景：15-PGDH具有结构和效力先例，带配体结构未显示显著配体诱导变化，多数测试系列涉及相对保守的修饰。鉴于观察到的适用域脆弱性，对于完全新颖的靶标、抑制机制或化学物质，性能可能更令人担忧。这些结论基于单一案例研究，需要在更多靶标和化合物系列上进行评估以得出明确结论。公共、盲法基准将帮助从业者决定何时以及如何使用新的ML亲和力预测方法。
