PURE策略：基于策略引导的无偏表示解决结构约束分子生成中的度量偏差问题

《Journal of Cheminformatics》：PURE: policy-guided unbiased REpresentations for structure-constrained molecular generation

本研究针对结构约束分子生成(SCMG)中存在的度量泄漏(metric-leakage)和离散空间探索难题，提出政策引导的无偏表示(PURE)框架。该工作通过自监督学习和强化学习相结合的方式，在模拟药物合成的分子转化框架中学习高质量表示，避免了对外部分子度量的依赖。实验表明PURE在多个基准测试中达到或超越现有最优方法，并在索拉非尼耐药性案例中生成了更多样化的候选分子，为药物发现提供了新思路。

　　

在药物研发领域，结构约束分子生成(SCMG)是一种强大的技术，它能够以已知活性分子为模板，生成结构相似但性质更优的新分子。这种方法在先导化合物优化和克服药物耐药性等方面具有重要应用价值。然而，现有的深度学习方法存在一个根本性缺陷：它们往往过度依赖特定的评价指标进行训练，导致"度量泄漏"(metric-leakage)问题。这意味着模型可能会学会利用指标本身的弱点而非真正优化分子性质，例如通过单纯增大分子尺寸来提高脂水分配系数(logP)，而不是实现真正的性质改善。

更复杂的是，分子空间本质上是离散的，而许多深度学习方法却在连续空间中进行操作，这导致了天然的阻抗不匹配问题。此外，这些方法通常需要大量高质量训练数据，且容易受到已有知识的限制，生成结果的多样性不足。这些问题严重制约了SCMG方法在真实药物发现中的应用潜力。

为了从根本上解决这些挑战，发表在《Journal of Cheminformatics》上的这项研究提出了一个创新性解决方案——PURE(Policy-guided Unbiased REpresentations)框架。研究团队没有跟随当前研究趋势继续在度量优化方向上改进，而是回归问题本质，设计了一个自监督且度量无关的SCMG框架。

PURE的核心思想十分巧妙：研究人员发现，在相似性学习框架下，源到目标路径预测的近似可以实现结构约束分子生成。他们通过将相似性优化和性质优化解耦到不同阶段来实现这一思想。在相似性优化阶段，PURE专注于源到目标路径预测的自监督辅助任务，在目标条件强化学习(RL)范式下学习高质量的分子表示。在生成阶段，利用学习到的相似性概念，通过束搜索生成与目标分子相似的分子。最后从生成的分子中，根据所需的组合目标筛选出top-k分子。

这种方法的关键优势在于，模型训练和分子生成过程都不暴露于任何分子度量指标，从而有效避免了度量偏差问题。同时，PURE利用基于模板的分子模拟来更好地探索和导航离散分子空间，提高了生成分子的可合成性。

研究人员为开展本研究采用了几个关键技术方法：首先基于USPTO-MIT数据集挖掘了84,968个反应规则，构建了强化学习环境；其次采用离线强化学习策略生成包含100,000个样本的训练数据，解决了稀疏奖励问题；然后使用图同构网络(GIN)学习分子和反应的特征表示；最后通过结合actor-critic架构和束搜索的生成算法，实现了高效且多样化的分子生成。案例研究部分还运用了分子对接、PLIP相互作用分析和ADME性质预测等计算生物学方法评估生成分子。

基准测试结果

在QED、DRD2、pLogP04和pLogP06四个标准基准测试上的结果表明，PURE在多个指标上表现出色。尽管在训练和生成过程中没有接触任何相似性或性质度量，PURE在大多数基准测试中达到或超越了现有最优方法。特别值得注意的是，PURE在生成分子的多样性和新颖性方面显著优于其他方法，这表明它能够探索更广阔的化学空间，而不是局限于狭窄的搜索区域。

对于QED基准，PURE在相似性和性质平衡权重(x=1,y=1)和侧重相似性(x=1,y=0)的情况下，在有效比率、相似性、新颖性和多样性等指标上优于其他方法。在侧重性质(x=0,y=1)时，PURE获得了最佳的性质分数，同时在其他指标上保持相同水平的性能。在其他基准测试中也观察到类似趋势。

索拉非尼耐药性案例研究

索拉非尼是一种多靶点激酶抑制剂，用于治疗晚期肾细胞癌、肝细胞癌和甲状腺癌，但其临床应用受到副作用和耐药性的严重限制。一个重要的耐药机制是ABCG2外排泵的过表达，它会将索拉非尼主动泵出癌细胞，降低其细胞内浓度。

研究团队将PURE应用于索拉非尼类似物的生成，并与COMA方法进行比较。经过严格的过滤流程和分子对接模拟，从生成的24,290个分子中最终确定了214个前景良好的候选分子。这些分子与索拉非尼具有适中的Tanimoto相似性(0.4-0.7)，能够与BRAF活性位点的四个关键残基形成氢键，并且表现出良好的类药性和类先导性。

特别值得关注的是，有30个PURE配体在类先导性标准中违规很少，其中9个分子没有任何违规，代表了最有希望的候选分子。这与参考药物索拉非尼本身存在多个违规形成鲜明对比，显示了PURE在生成优化候选分子方面的优势。

方法学创新

PURE的方法学创新主要体现在三个方面：首先，它通过策略引导的训练减少了对任务特定度量的过拟合；其次，采用模板基础的分子模拟改善了可合成性并将搜索空间约束为离散空间；最后，通过强化学习的探索能力在离散分子空间中导航。

研究的一个重要理论贡献是发现，在相似性学习框架下，表示空间中的内积可以作为结构相似性的替代指标。这意味着状态-动作对之间的相似性表明它们会导致相似的目标，因此适用于同一状态且具有相似表示的动作会导向相似的目标分子。这一观察让研究人员能够在生成过程中采样与actor预测最接近的top-k动作，从而实现高效的生成过程。

讨论与结论

PURE框架的最大优势在于其灵活性。与需要为每个相似性-性质组合训练不同模型的现有方法不同，单个PURE模型可以促进各种性质基准的分子发现。用户可以在分子生成后探索不同的相似性和期望性质组合，而无需重新训练模型，这在实际应用中具有重要价值。

当然，PURE也存在一定局限性，特别是其对生成空间中性质度量可用性的依赖。由于PURE不是为优化这些度量而训练的，它不会固有地产生在这些方面得分高的分子，而是生成许多与目标相似的多样化分子，然后选择具有所需组合的分子。在DRD2基准测试中的表现表明，当优化性质稀疏时，PURE可能会遇到困难。

总体而言，这项研究提出的PURE框架代表了SCMG领域的一个重要进展，它通过避免度量偏差和增强探索能力，为生成多样化、可合成且具有理想特性的分子提供了新途径。特别是在克服药物耐药性方面的成功案例，展示了该方法在解决实际药物发现挑战中的潜力。随着AI驱动药物发现领域的发展，PURE为开发更适应、更无偏的分子设计框架奠定了有希望的基础，有望在精准医学及其他领域加速治疗化合物的发现。