ScrambleBench：一种用于结构驱动的从头生成模型对比评估的工作流

《Journal of Cheminformatics》：ScrambleBench: a workflow for comparative assessment of structure-based de novo generative models

　　

摘要

在药物发现领域，生成式人工智能在过去十年中发展迅猛，尤其是在基于目标蛋白结构设计小分子方面。虽然生成式人工智能有潜力辅助传统的基于结构的药物设计方法来发现新的候选分子，但其性能往往是通过非标准化的评估标准来衡量的。随着生成式人工智能模型的不断增加，确定这些工具是否足够稳健可靠、能够融入药物化学工作流程变得愈发重要。在此，我们提出了ScrambleBench这一基准测试工作流程，用于评估那些符合药物化学家实际需求的基于结构的生成式人工智能模型，这类模型能够识别出化学结构多样、具有类似药物特性的候选分子，并且能形成合理的结合构象，同时具备良好的对接亲和力。我们使用了六种代表性模型（Pocket2Mol、PocketFlow、Lingo3DMol、DiffSBDD、PMDM和Chemistry42），对包括两种GPCR、两种激酶以及两种水解酶在内的多种目标类别进行了系统性能评估。尽管某些生成式模型在特定评估指标上表现更佳，但没有任何模型能在所有评估标准上都占据优势。值得注意的是，尽管训练数据集中包含了诸如CDK2、GSK3β之类的参考蛋白，这些模型在针对目标蛋白结合位点的泛化能力方面仍然有限，从而导致重新对接时的RMSD值较高，虚拟命中率较低。我们的研究结果强调了明确评估化学多样性以及使用诸如哈密顿多样性（HamDiv）这类新提出的指标的重要性，这类指标能够同时衡量分子集合的数量及其差异性。此外，由于许多生成的配体无法有效与目标活性位点结合，我们建议未来的生成式框架应采用改进的损失函数，更加注重类似药物的物理化学性质以及正确的药效团识别。

科学贡献

尽管已有众多用于基于结构进行分子设计的新型生成式模型被提出，但由于基准测试方法不一致以及评估标准多样化，这些方法之间的客观比较依然十分困难。ScrambleBench引入了一种统一且可重复的基准测试工作流程，将多样性分析、构象有效性评估、对接重复性检测、药效团匹配以及虚拟命中率评估整合在同一个框架内。通过使用通用数据集和标准化评估标准对各类代表性生成式模型进行系统比较，这项工作提升了该领域的进展，使得模型性能和实际应用能力能够得到透明评估。总体而言，ScrambleBench提供了一个以药物化学为导向的全面框架，有助于明确各种方法的优点、局限性以及未来模型发展的方向。

图形摘要

在药物发现领域，生成式人工智能在过去十年中发展迅猛，尤其是在基于目标蛋白结构设计小分子方面。虽然生成式人工智能有潜力辅助传统的基于结构的药物设计方法来发现新的候选分子，但其性能往往是通过非标准化的评估标准来衡量的。随着生成式人工智能模型的不断增加，确定这些工具是否足够稳健可靠、能够融入药物化学工作流程变得愈发重要。在此，我们提出了ScrambleBench这一基准测试工作流程，用于评估那些符合药物化学家实际需求的基于结构的生成式人工智能模型，这类模型能够识别出化学结构多样、具有类似药物特性的候选分子，并且能形成合理的结合构象，同时具备良好的对接亲和力。我们使用了六种代表性模型（Pocket2Mol、PocketFlow、Lingo3DMol、DiffSBDD、PMDM和Chemistry42），对包括两种GPCR、两种激酶以及两种水解酶在内的多种目标类别进行了系统性能评估。尽管某些生成式模型在特定评估指标上表现更佳，但没有任何模型能在所有评估标准上都占据优势。值得注意的是，尽管训练数据集中包含了诸如CDK2、GSK3β之类的参考蛋白，这些模型在针对目标蛋白结合位点的泛化能力方面仍然有限，从而导致重新对接时的RMSD值较高，虚拟命中率较低。我们的研究结果强调了明确评估化学多样性以及使用诸如哈密顿多样性（HamDiv）这类新提出的指标的重要性，这类指标能够同时衡量分子集合的数量及其差异性。此外，由于许多生成的配体无法有效与目标活性位点结合，我们建议未来的生成式框架应采用改进的损失函数，更加注重类似药物的物理化学性质以及正确的药效团识别。

科学贡献

尽管已有众多用于基于结构进行分子设计的新型生成式模型被提出，但由于基准测试方法不一致以及评估标准多样化，这些方法之间的客观比较依然十分困难。ScrambleBench引入了一种统一且可重复的基准测试工作流程，将多样性分析、构象有效性评估、对接重复性检测、药效团匹配以及虚拟命中率评估整合在同一个框架内。通过使用通用数据集和标准化评估标准对各类代表性生成式模型进行系统比较，这项工作提升了该领域的进展，使得模型性能和实际应用能力能够得到透明评估。总体而言，ScrambleBench提供了一个以药物化学为导向的全面框架，有助于明确各种方法的优点、局限性以及未来模型发展的方向。

图形摘要