基于GPT的分子生成、混合奖励强化学习与逆合成优先级排序集成的BRAF靶向计算流程

《Artificial Intelligence Chemistry》：A BRAF-focused computational pipeline integrating GPT-based molecular generation, hybrid-reward reinforcement learning and retrosynthetic prioritization

　　

基于深度学习的生成模型在从头药物设计中已获得广泛关注。本研究提出一个端到端框架，将基于生成式预训练变换器（GPT）的分子生成模型与强化学习（RL）相结合，用以设计靶向蛋白激酶BRAF的新型化合物。为优化针对靶点特异性结合的生成过程，研究人员采用混合奖励策略，将基于机器学习的结合亲和力预测与周期性对接评分相整合，从而高效引导RL智能体趋向潜在活性化学区域。研究结果表明，混合RL智能体能够生成有效、唯一且新颖的分子，并在内部消融实验中取得比仅基于机器学习（ML）的RL优化更强的平均对接评分。研究人员将该框架定位为对成熟工具的 proof-of-concept（概念验证）整合，而非对最先进生成性能的展示。所有生成的化合物均为计算预测结果，需经实验验证。对高对接评分化合物的进一步分析显示其与已知BRAF抑制剂在药效团层面具有相似性，而利用Isalos Asclepios节点进行的逆合成预测为大多数入选候选化合物识别出可行的合成路线。

药物发现的首要目标是设计并优化具有所需药理性质的分子结构。然而，药物发现是开发新药过程中最耗时且成本最高的环节之一。类药分子可行化学结构的多样性估计在10²³至10⁶⁰之间，且随着化学知识的扩展而持续增长。因此，在化学空间中对所有潜在可合成且理想的化合物进行穷举枚举在计算上不可行。在该巨大化学空间中高效识别有前景的配体构成重大挑战。为此，研究人员开发了多种计算方法，包括基于配体的方法（如定量构效关系（QSAR）和药效团建模）以及基于结构的方法（如分子对接和分子动力学）。尽管这些方法对药物发现贡献显著，但其探索化学空间的策略存在局限，常导致局部最优和化学多样性不足。此外，它们倾向于从现有化学库中搜索具有理想性质的分子。相比之下，从头药物设计涉及从头生成新的潜在配体，旨在识别能同时满足结合亲和力、改进的ADMET（吸收、分布、代谢、排泄和毒性）性质及良好理化性质等优化目标的新颖活性化合物。深度学习（DL）的最新进展通过引入能够在化学数据中识别复杂模式的模型，改变了从头药物设计。多种架构已被适配于分子生成任务，包括循环神经网络（RNN）、自编码器（AE）、生成对抗网络（GAN）以及近期的基于变换器的模型。生成模型中的分子表示可采用任意形式，包括简化分子线性输入规范（SMILES）、分子图、三维结构等。基于图的模型将分子表示为原子和键的图，可直接建模分子拓扑结构。图神经网络（GNN）的出现使在该空间中操作成为可能。例如，基于变分自编码器（VAE）的GraphVAE通过生成特定最大规模的概率全连接图来生成分子图，并使用标准图匹配算法与真实值对齐。MolGAN将GAN与图卷积结合，通过隐式、无似然的方法学习分子图分布。尽管在生成有效化合物方面取得成功，但这些模型常遭受模式崩溃、生成化合物唯一性低以及因图离散性、排列不变性和可变分子大小等挑战而导致的实现困难。相比之下，基于SMILES的生成模型将分子表示为标记的线性序列，并将分子生成框定为语言建模任务。该表示要求模型学习与分子结构无关的规则，如SMILES语法和原子顺序。尽管这给训练过程增加了不必要的负担，但使其能够利用强大的自然语言处理（NLP）架构。化学语言模型（CLM）——以分子字符串形式生成分子——已被广泛用于从头药物设计。CLM将分子视为字符序列，将分子设计转化为文本生成任务。最流行的模型包括RNN和预训练变换器（GPT）。RNN擅长捕获局部信息，而变换器由于其注意力机制，更善于捕获序列中标记之间的关系，且与序列长度无关。除建模分子分布外，近期方法已整合强化学习（RL）以将生成偏向特定目标性质。RL是一种目标导向的机器学习（ML）方法，利用环境反馈作为输入并适应环境。其核心原则是学习一系列动作，引导智能体实现目标或最大化其目标函数。在该领域最早的研究之一中，Olivecrona等人提出了REINVENT，使用RNN进行分子从头设计，并利用RL微调预训练RNN，使其能够生成具有理想性质的分子结构，例如不含硫、塞来昔布类似物以及多巴胺受体D2（DRD2）活性化合物。Liu等人训练了一个药物-靶标亲和力（DTA）模型来预测生成化合物对腺苷A2A受体的活性，并为RL框架提供奖励函数。其他策略还探索了将深度生成建模与迁移学习（TL）相结合以提高靶点特异性。Krishnan等人采用TL方法在已知Janus激酶2（JAK2）蛋白抑制剂数据集上微调生成模型，随后将模型与RL结合，使用基于对接的预测模型作为奖励函数来引导活性化合物的生成。类似地，Li等人使用TL将生成模型聚焦于已知生物活性分子的化学空间。他们通过将对接计算纳入RL循环进一步增强靶点特异性生成，其中对接评分被用作奖励以使模型偏向具有改进结合亲和力的分子。此外，训练后的DTA模型在预测任意药物分子与蛋白靶标之间的结合亲和力方面表现出强大性能。这些模型可泛化至广泛的蛋白-配体对，仅需分子的SMILES表示以及靶蛋白结构或氨基酸序列。由于其易于整合和广泛适用性，DTA预测器正被用作RL框架内的奖励函数，以引导生成模型趋向具有高预测亲和力的分子。尽管深度生成模型在从头药物设计中取得成功，但必须认识到其局限性。大多数模型受训练数据质量和多样性的约束，这显著影响其泛化至所学分布之外的能力。分布学习方法（如TL）在特定性质在训练数据中代表性不足时可能无法优化这些性质。另一方面，目标导向方法（如RL）严重依赖评分函数的定义。此类方法常生成具有理想评分但多样性低的分子。为缓解该问题，已提出多种策略以在优化过程中保持化学多样性，包括使用记忆机制。最终，目标导向分子生成的成功取决于评分函数的精心设计，该函数必须在计算效率和预测可靠性之间取得平衡。在本工作中，研究人员将DTA预测器（具体为DeepPurpose）和对接计算整合于目标导向方法中。该方法将基于GPT的分子生成器与混合奖励函数相结合，该混合奖励函数由DeepPurpose预测的结合亲和力和每若干RL迭代对生成化合物的分子对接评估组成（图1）。DeepPurpose提供快速、基于ML的预言器用于估计结合亲和力，而对对接计算则作为基于物理的预言器提供更高保真度的奖励。该双奖励设置能够在平衡速度和泛化性的同时高效探索化学空间。作为概念验证，该从头药物设计流程被用于设计针对BRAF的抑制剂，BRAF属于Raf家族丝氨酸/苏氨酸蛋白激酶。经过100次RL迭代后，研究人员观察到智能体持续生成具有改进预测亲和力、良好对接评分和增加骨架新颖性的化合物。药效团匹配分析识别出能够重现BRAF-索拉非尼复合物和BRAF-维莫非尼复合物关键相互作用特征的化合物。最后，逆合成路线预测为入选化合物提供了初步合成优先级排序，支持其进一步开发的潜力。本研究范围是将适当工具整合于自动化流程中以开发新的BRAF抑制剂。因此，本工作的贡献在于将这些组件设计并整合为单一、自动化、靶标导向的工作流程。图1展示了本工作所采用工作流程的示意图。生成器（Prior）在ChEMBL和MOSES上训练。生成器为基于生成式预训练变换器（GPT）的模型，具有8层变换器块，每层包含8个注意力头。Prior模型的副本充当强化学习（RL）智能体。采样的SMILES字符串由评分函数评分，该函数评估生成分子的结合亲和力。在大多数RL迭代中，评分函数为预测结合亲和力的基于ML的模型，而周期性评分函数为基于ML的结合亲和力评分与对接评分的加权和。在RL过程中，使用分子记忆缓冲区记住所有最高评分化合物。计算增强似然以在RL周期中更新智能体的策略。利用经验回放从分子记忆中采样"成功"经验。材料与方法部分：数据收集流程的第一步是训练生成模型，使其学习小分子的语法并设计新颖有效的化合物。分子以SMILES格式表示，以利用NLP算法处理序列数据的有效性。将ChEMBL数据库和MOSES的所有SMILES字符串合并，过滤掉被RDKit分子解析器识别为无效的字符串，并去除任何重复项。含有{H, C, O, N, Cl, F, Br, I, S, P, B, Si, Fe}集合之外元素的分子从数据集中滤除。所得合并数据集包含3,745,089个唯一且有效的SMILES字符串。标记化与数据预处理：合并数据集最初具有160个唯一标记的词汇表。为降低词汇复杂性并使分子生成器聚焦于频繁出现的模式，研究人员过滤掉所有包含至少一个在数据集中出现少于1,000次的标记的SMILES字符串。在该预处理步骤中，移除了6,857个化合物，仅占元素过滤数据集的0.18%。预训练数据集中出现少于1,000次的大多数标记极为罕见，对应于同位素标记、不常见的电荷/价态或罕见的质子化注释。例如，[15OH2]、[18OH]、[Cl+2]、[76BrH]、[SiH-]等标记仅出现一次，而许多同位素特异性标记如[13C]、[131I]、[32P]等仅出现几次。相比之下，常见的药物化学标记如C、N、O、F、S、Cl、Br、I、芳香原子、立体化学碳标记和常见离子化标记被保留。经过该过滤步骤后，最终词汇表缩减至49个标记，每个标记在合并数据集中出现超过1,000次。研究人员进一步添加了起始标记"^"、结束标记"$"和填充标记""。更频繁标记和较不频繁标记的列表见支持信息表S1和S2。研究人员进一步根据长度过滤SMILES字符串。过滤后合并数据集中最长的SMILES字符串包含1,241个标记。然而，数据集中99%的字符串包含124个或更少标记。因此，研究人员设定阈值为124，并移除任何长度大于该阈值的SMILES字符串。用于预训练分子生成器的最终数据集包含3,701,383个SMILES字符串。每个预处理步骤中保留和移除分子数量的详细总结见支持信息（表S3）。为评估数据过滤是否引入模型训练偏差，研究人员比较了罕见标记和分子长度过滤前后的数据集。检查了分子量（MW）、辛醇-水分配系数（logP）、拓扑极性表面积（TPSA）、类药性（QED）、合成可及性评分（SA）、可旋转键、氢键受体和氢键供体。如附图S1和S2所示，过滤前后的分子性质分布高度重叠，表明过滤未改变预训练数据集的理化特征。研究人员还对罕见标记和长度过滤前后的数据集进行了Bemis-Murcko骨架分析，以评估骨架多样性是否降低。如表S4所示，过滤未实质性偏倚骨架空间，因为大多数唯一骨架被保留，且骨架/分子比率在各预处理步骤中保持稳定。尽管过滤对预训练数据集的理化性质分布和骨架分布影响有限，但由于这些标记在数据过滤过程中被移除，可能降低模型生成含有罕见同位素标记或不常见电荷/价态分子的能力。从最终数据集中，随机选择90%作为训练集，10%作为验证集用于预训练分子生成器。该比率用于保留大多数数据用于预训练GPT模型，同时保留足够子集以监测验证损失。该比率在分子设计生成模型文献中常见，其目标是最大化生成模型在训练期间对化学多样性化合物的暴露。生成模型：研究人员利用基于GPT架构的变换器模型进行分子生成。每个输入SMILES首先被标记化，标记通过标记嵌入（将离散标记映射为可学习向量）和位置嵌入（提供标记在序列中位置的信息）转换为高维向量嵌入。这些嵌入被求和并通过概率为0.1的dropout层以增强正则化。模型核心由8层变换器块堆叠组成，每层包含8个注意力头。对于输入序列中的每个标记，大小为256的输入嵌入被传递至变换器块。使用查询、键和值向量对归一化嵌入应用自注意力机制（公式1），其中W_q、W_k和W_v是将输入嵌入e_i转换为相应查询、键、值向量的学习权重矩阵。注意力计算如公式2所示，其中d_k是键向量的维度，V是值矩阵，L是整个序列的长度。自注意力机制通过多头注意力并行执行多次，允许模型聚焦于不同子空间，所有头的输出被拼接并线性投影。在注意力子层和前馈子层之后均应用残差连接和额外归一化层以促进训练稳定性。前馈网络由两个线性变换组成，中间为GELU激活，最终投影后为dropout。在最终变换器块之后，输出被归一化，然后通过线性投影层映射至词汇表大小，随后通过softmax函数计算序列中下一标记的概率分布。预训练：模型学习在给定前一标记的情况下预测序列中的下一标记，优化预测与目标标记分布之间的交叉熵损失。研究人员使用AdamW优化器，超参数β₁=0.90、β₂=0.95，初始学习率为1×10^-3。在预训练期间，学习率遵循两阶段调度。在总训练迭代的前10%中，遵循线性预热阶段以稳定早期学习，然后在剩余迭代中遵循余弦衰减阶段，逐渐将学习率降至1×10^-5，对应于初始学习率的1%。该调度确保初始阶段的稳健探索和后期训练的微调收敛。GPT模型架构和预训练设置的更详细描述见支持信息表S6。强化学习：为引导生成模型产生对靶蛋白具有特定活性的化合物，研究人员采用了使用结合基于ML和基于物理评分的奖励函数的RL策略。工作流程的第一阶段涉及预训练基于GPT的模型以学习SMILES字符串的规则和语法，称为prior模型。RL中使用的智能体是prior模型的副本，共享相同架构和词汇表，在训练期间更新以生成优化分子。RL中使用的智能体根据指定采取动作概率的策略确定行为。然后，环境奖励智能体，智能体基于奖励进行训练。在每个RL迭代中，智能体生成一批SMILES字符串。每个SMILES字符串使用评分函数s(x)∈[0,1]∪{?1}评估，该函数反映化合物对靶蛋白的预测结合亲和力。奖励函数s(x)源自S_ML(x)，即使用DeepPurpose框架计算的预测结合亲和力评分。为提高稳健性并减少对ML预测的依赖，研究人员周期性纳入S_Dock(x)，即从分子对接计算获得的基于物理的评分。具体而言，每10次迭代执行对接。选择该间隔以平衡奖励保真度与计算成本，因为每次迭代对接预计将使总RL运行时间增加约一个数量级，实质性限制在可用计算预算内可行的迭代次数。10次迭代对接间隔的选择通过"敏感性分析"部分描述的分析进一步评估。所得的混合评分策略能够实现高效优化，同时周期性将学习过程锚定于基于物理的对接评估。为进一步提高样本效率，研究人员在RL框架中纳入了经验回放策略。经验回放是RL中广泛使用的技术，智能体将先前经验存储在记忆缓冲区中，并在训练期间从这些存储经验中随机采样。该方法避免过拟合，提高智能体泛化至未见数据的能力。在该实现中，研究人员维护包含1,000个最高评分生成分子的分子记忆缓冲区。在每次迭代中，从记忆缓冲区前25个记忆分子中随机回放五个分子，并将其损失与当前RL迭代中生成的SMILES字符串一起计算。奖励归一化：研究人员应用基于sigmoid的函数将ML亲和力评分和对接评分映射至归一化[0,1]尺度。sigmoid函数提供平滑且有界的映射，其最陡斜率位于所选参考阈值附近，并逐渐收敛至上限。该性质使其特别适合稳定RL训练过程。对于预测结合亲和力评分S_ML(x)，研究人员使用变换函数（公式3），其中?_ML(x)是DeepPurpose预测的pIC₅₀=?log(IC₅₀)，y*_ML=6是参考评分。由于DeepPurpose以摩尔单位预测结合亲和力为pIC₅₀，值6对应于1μM，这是中度生物活性的常用阈值。对于基于对接的评分，研究人员如下归一化?_Dock(x)的值（公式4），其中y*_Dock=?9 kcal/mol，较低的对接评分更有利。这些变换确保两种奖励以可解释的方式缩放至[0,1]，同时以?1的奖励惩罚无效或评分不佳的化合物。参考阈值?9 kcal/mol基于已知BRAF抑制剂的对接评分分布选择（表S5，支持信息），其中大多数抑制剂表现出低于?9 kcal/mol的对接评分。在对接迭代中，优化问题被表述为多目标RL任务，其中不同预言器提供互补信息。为整合这些目标，研究人员使用了加权和方案，将基于ML的亲和力预测与基于物理的对接评分相结合（公式5和6），其中w₁=0.2，w₂=0.8。该混合奖励策略使模型能够受益于高效、高通量的结合亲和力预测，同时周期性将优化锚定于物理上有意义的对接评分。在非对接迭代中，仅使用S_ML(x)。加权奖励函数主要依赖对接评分（w₂=0.8），同时保留从ML预测结合亲和力学习的效率。具体加权方案最初基于经验选择，遵循先前多目标RL研究中优先考虑对接评分的原理，但其效果通过结果部分描述的奖励权重敏感性分析进一步评估。损失函数：在工作流程中，奖励函数定义为评分函数预测的评分。主要目标是提高智能体生成的SMILES字符串的平均评分。RL策略基于REINVENT框架，该框架使用正则化策略梯度方法微调生成模型趋向所需活性。智能体被训练以最大化结合先验知识和奖励信号的增强似然（公式7）。智能体的损失定义为其对数似然与增强似然之间的平方差（公式8和9）。为提高训练稳定性并逐渐从探索转向利用，损失函数中的奖励项在RL迭代中线性退火。为此，系数σ与奖励信号相乘并随时间递减，σ=σ₁·(1?t/T)，其中σ₁=100，t是当前RL步骤，T是RL中的总步数。研究人员运行RL过程100次迭代，批次大小为128，每次RL运行产生12,800个生成的SMILES字符串。无效或评分不佳的分子以s(x)=?1惩罚，鼓励在整个训练过程中生成语法有效且生物学相关的结构。对接协议与药效团匹配：为验证所提出的流程，BRAF蛋白被用作目标蛋白。BRAF在MAPK/ERK通路中具有核心作用，该通路调节细胞增殖、分化和存活。BRAF基因的突变——最显著的是V600E突变——导致通路激活，并已被牵涉于广泛的恶性肿瘤中，包括黑色素瘤、结直肠癌和甲状腺癌。使用BRAF作为案例研究使研究人员能够展示生成框架靶向临床验证、药理学重要且结构表征的蛋白靶标的能力。目标蛋白的晶体结构从RCSB蛋白质数据库下载（PDB ID：1UWH）。蛋白质准备使用PDBFixer和AutoDock工具进行。Vina-GPU用于对接计算，生成10个结合姿势。对接协议的详细信息见支持信息第5节。Pharmit用于匹配药效团并选择分子。半径参数设为1 ?（r=1），从BRAF-抑制剂复合物生成多个药效团特征。从这些特征中，研究人员保留了对应于已发表共晶结构分析中识别的氢键相互作用的特征，作为DFG-out和铰链区模式中BRAF结合的主要决定因素。索拉非尼在BRAF结合位点中的关键残基为Glu500、Cys531和Asp593（图S8，支持信息），而维莫非尼的关键残基为Asp594、Phe595、Gly596、Lys483和Gln530（图S8，支持信息）。药效团匹配作为纯几何过滤器应用，以识别能够重现已建立BRAF抑制剂三维相互作用几何结构的化合物；相关均方根偏差（RMSD）值仅作为三维对齐质量的度量报告，不旨在作为效力的替代指标。奖励函数验证：为评估奖励函数是否提供靶点特异性富集，研究人员进一步评估了两种评分函数——基于ML的结合亲和力预测和对接评分——区分已知BRAF活性化合物与匹配诱饵的能力，诱饵从DUD-E数据库获得。在活性化合物中纳入了已知BRAF药物，总共161个活性和9,730个诱饵。两组均使用基于ML的结合亲和力预测器、对接计算和混合奖励函数评分。计算前1%富集因子（EF1%）为排名库前1%的命中率（HR1%）与全库总体命中率（HR100%）之比。因此，EF1%量化了在排名化合物库前1%中发现的活性化合物比随机选择预期多多少倍。此外，研究人员计算了接收者操作特征曲线下面积（ROC-AUC），以测量每种评分函数在排名列表中区分活性与诱饵的能力。作为补充外部验证，DeepPurpose还使用从ChEMBL获得的1,962个具有BRAF IC₅₀测量值的精选数据集进行评估。完整数据集精选标准和验证程序见支持信息第2节。逆合成分析：逆合成分析使用Asclepios逆合成流程进行（图2）。Isalos Asclepios逆合成节点基于开源AiZynthFinder逆合成规划工具开发。为实现完整逆合成路线（从目标到可购买前体），使用神经网络策略指导每个逆合成步骤中哪个反应模板（来自模板库）更适用。同时，节点选择和扩展使用蒙特卡洛树搜索算法以自动化方式执行。AiZynthFinder神经网络策略在USPTO（1976-2016）反应数据集上训练，而Isalos Asclepios逆合成节点利用Zinc（2017）、eMOLECULES（2017）、LabNetwork（2017）、Mcule（2023）、Sigma Aldrich（2017）和ChemBridge（2023）小分子库存数据集。详细信息见支持信息第7节。图2展示了Isalos Asclepios逆合成流程，包括：(1) Asclepios导入节点：导入SMILES字符串；(2) Asclepios逆合成预测节点：执行逆合成预测；(3) Asclepios逆合成步骤分析节点：收集每个步骤的所有模板信息；(4) Asclepios逆合成前体供应商节点：收集每个步骤的所有前体信息；(5) Asclepios逆合成路线总结节点：为每个逆合成树准备包含所有重要信息的摘要。结果与讨论部分：生成模型的性能评估——为评估生成分子的质量，研究人员在四个关键MOSES风格指标上评估了prior模型和智能体模型：有效性、唯一性、新颖性和内部多样性（支持信息文件第4节）。智能体模型在100次RL迭代后获得。结果与五个基线生成模型进行比较，包括对抗自编码器（AAE）、VAE、JT-VAE、LatentGAN和CharRNN，使用其在MOSES基准中报告的数值。评估结果总结于表1。结果表明，预训练模型产生高度有效和新颖的分子，与基线模型相当。此外，研究人员使用Bemis-Murcko骨架方法分析生成分子的结构多样性，该方法分离去除分子中所有取代基后剩余的独特配体和环系统。需要注意的是，虽然完整分子用于训练模型，但研究人员事后提取Bemis-Murcko骨架用于多样性分析。这些骨架代表训练集和生成分子中存在的环系统，仅用于评估结构多样性和新颖性。从用于预训练生成模型的3,701,383个分子中，研究人员提取了1,021,654个唯一骨架。从prior和智能体模型中采样10,000个化合物以评估生成分子的化学多样性。prior模型生成8,257个唯一骨架，其中51.1%相对于训练集是新颖的（图S6）。相比之下，RL智能体产生7,473个唯一骨架，相对于训练集的骨架新颖性显著更高，为79.3%。虽然RL产生的总骨架数少于prior，但显著更高的骨架新颖性表明RL鼓励探索模型所学化学空间中代表性不足的区域。本节中的新颖性指训练期间未遇到但基于模型训练的底层化学空间统计推断的骨架。训练集中存在的骨架以及在prior和智能体模型生成的分子中存在的骨架示例，以及RL智能体生成的训练集中不存在的骨架示例，见支持信息图S6。BRAF活性化合物和诱饵上的奖励函数验证——研究人员针对来自DUD-E数据库的161个已知BRAF活性和9,730个诱饵的独立数据集对评分函数进行了基准测试。所有分子均使用基于ML的亲和力预测器、对接计算和混合奖励函数评分。早期富集分析显示所有方法均强烈优先考虑活性化合物，基于ML的评分函数EF1%为29.17，基于物理的评分函数EF1%为22.96，混合评分函数EF1%为28.1。在评估完整排名库时，混合评分函数提供最佳整体区分能力，实现ROC-AUC为0.896，相比之下基于ML的为0.787，基于物理的为0.873（图3）。该基准仅评估评分和奖励函数将已知活性化合物排名高于性质匹配诱饵的能力；其本身并不确立RL智能体已学习可泛化的生物物理规则，也不确认任何单个生成分子的活性。消融研究：混合奖励的效果——研究人员进行了消融实验以评估所提出框架在生成靶向BRAF分子方面的性能。该实验结果总结于表2，其中研究人员评估了prior模型、仅使用亲和力奖励（DeepPurpose结合亲和力）训练的智能体模型、仅使用对接评分训练的智能体模型以及使用结合基于ML的亲和力评分和周期性基于物理对接评分的混合奖励训练的智能体。所有RL变体均训练100次迭代，批次大小为128，跨三个独立随机种子；完整训练设置、对接调用次数、硬件规格和每种子运行时间见支持信息表S7。每个变体的奖励和损失收敛图见支持信息图S3-S5，且跨种子一致，表明策略梯度训练稳定。所有三个变体在其优化的目标上均优于prior：平均对接评分从?8.30±0.01 kcal/mol（prior）降至?9.34±0.31 kcal/mol（基于ML的奖励）、?10.18±0.08（基于对接的奖励）和?9.64±0.19（混合奖励）。类似地，ML预测亲和力?_ML从6.42±0.01（prior）升至7.03±0.11（基于ML的）和7.05±0.05（混合的）。有效性 and 唯一性在所有变体中保持高位，新颖性在所有三种RL机制下均增加，表明RL微调未将生成分布崩溃至一小群记忆结构。如表S7所报告，基于对接的智能体每个种子需要12,800次对接调用，每次运行约1,559分钟，而混合智能体需要1,280次对接调用，每次运行约173分钟。在实际意义上，连续对接提供的边际对接评分改善（0.5 kcal/mol）以近一个数量级更高的计算预算为代价，同时降低与ML预言器的一致性。总体而言，消融结果表明混合奖励相对于仅ML的RL变体改善对接评分，同时比仅对接的RL变体需要显著更少的对接调用。然而，由于对接也是混合奖励的一部分，改善的对接评分应被解释为智能体优化了指定评分目标的证据，而非生物活性的独立验证。敏感性分析——为评估ML预测结合亲和力与对接衍生评分的相对贡献效果，研究人员进行了奖励权重敏感性分析（表3）。测试配置包括w_ML/w_Dock为0.2/0.8（主要配置）、0.5/0.5和0.8/0.2。所有变体均使用相同的下游评分工作流程评估，结果报告为跨独立RL种子的均值±标准差。高对接贡献的混合变体（w_ML=0.2，w_Dock=0.8）实现强对接性能（?_Dock=?9.637±0.190 kcal/mol），高亲和力化合物（对接评分小于?10 kcal/mol）比例为42%。随着w_Dock从0.8降至0.2，平均对接从?9.64恶化至?9.34 kcal/mol，高亲和力化合物比例从42%降至34%。预测结合亲和力（?_ML）在不同配置间保持相似。有效性、唯一性和新颖性在权重范围内也保持稳定，表明框架维持其生成质量。所选加权（w_ML=0.2，w_Dock=0.8）在测试的混合设置中提供最强的对接富集，同时保持可比的ML预测亲和力、有效性、唯一性和新颖性。研究人员使用代表性种子进一步评估对接频率的效果。每5次迭代对接在测试频率中产生最佳平均对接评分（?_Dock=?9.898 kcal/mol）和50.9%的命中率。每10次RL迭代对接产生相似性能，平均对接评分为?9.855 kcal/mol，命中率为49.7%，基于ML的亲和力评分为7.055。相比之下，每20次迭代对接削弱对接驱动的改善，?_Dock=?9.505 kcal/mol，命中率为35.5%。重要的是，每5次迭代对接获得的边际改善以显著更高的计算成本为代价。每5次迭代对接需要2,560次对接调用和每次RL运行约310分钟，而每10次迭代对接需要1,280次对接调用和每次RL运行167分钟。因此，将对接间隔从10次迭代减至5次迭代几乎使运行时间翻倍，而平均对接评分和命中率仅有小幅改善。基于BRAF的生成模型优化——为进一步评估RL中化学空间的转变，研究人员应用t分布随机邻域嵌入（t-SNE）可视化10,000个随机训练分子以及prior和智能体（基于混合奖励）模型生成的分子的分子表示。作为降维工具，t-SNE擅长在二维空间中可视化高维数据。研究人员使用扩展连通性指纹（ECFP）作为分子表示。如图4a所示，prior模型生成的分子与训练分布重叠。相比之下，智能体采样分子趋向化学空间的独特区域。该转变突显智能体探索不同化学区域并将生成转向与更高奖励（在本例中为改进的结合亲和力）相关空间的能力。研究人员探索了生成分子的亲和力评分分布。RL前后预测结合亲和力和对接评分的分布如图4b和4c所示。如图4b所示，智能体模型生成比prior模型具有更高预测结合评分的分子。类似地，智能体模型生成具有更低对接评分的分子，平均对接评分为?9.6 kcal/mol，而RL前平均对接评分为?8.3 kcal/mol（图4c）。此外，研究人员将prior和智能体模型生成的分子与诱饵和活性化合物进行比较。分子间的相似性使用基于RDKit分子指纹的Tanimoto系数（TC）计算。如图5所示，智能体模型表现出相对于prior模型向与BRAF活性化合物更高最大相似性的转变，而与诱饵的相似性分布对prior和智能体相似，智能体生成的化合物相似性更低。这表明观察到的富集对BRAF活性化学空间具有特异性，支持智能体学习生成偏向靶点特异性结构的分子。还观察到一组生成的小分子与已知BRAF抑制剂XL281、维莫非尼和索拉非尼相似。如图6所示，智能体采样了一个与XL281的TC为0.74的化合物（图6a），一个与维莫非尼的TC为0.63的化合物（图6b），以及一个与索拉非尼的TC为0.53的化合物（图6c）。验证生成分子的分子性质——研究人员比较了从完整数据集随机采样的10,000个训练分子、prior模型生成的分子和RL智能体（基于混合奖励）生成的分子之间分子性质分布，如MW、TPSA、QED和SA评分。如图7a所示，prior模型生成分子的MW分布与训练数据相似，而智能体生成分子量更大的分子，范围在200-800 Da。当对接评分用作奖励函数的一部分时，该趋势是预期的，因为对接评分偏向高分子量。先前研究中也报告了类似观察，其中对接评分优化导致较高MW的富集。为评估该转变是否可通过奖励函数直接缓解，研究人员进行了额外的MW奖励消融研究（支持信息第3节）。添加MW项未相对于主要混合奖励降低平均MW，因此未纳入主要奖励函数，而是用作生成后评估和优先级排序标准。在图7b和7d中，TPSA和SA分布接近所有三个数据集，而智能体模型中生成分子的QED分布略低于其他两个数据集。然而，智能体生成分子的QED中位值为0.60，表明智能体生成类药分子。这些结果表明prior和智能体模型均生成理化性质与训练数据密切相似的分子，特别是在TPSA和SA方面。训练、prior生成和智能体生成分子的其他理化性质分布见附图S7。生成分子的轨迹水平分析——研究人员还评估了整个RL轨迹中生成的分子累积集，因为从固定RL检查点采样可能无法完全描述RL过程的生产力。研究人员使用独立种子进行了3次RL运行。对于每个混合智能体，100次RL迭代期间生成的所有分子被汇集、规范化、过滤RDKit有效性并去重。计算轨迹水平统计量，包括有效性、唯一性、对接命中、理化性质、内部多样性和Bemis-Murcko骨架多样性。每次RL运行生成12,800个分子，其中12,463±77为有效分子。由于对接在RL迭代期间周期性执行，对接命中统计针对具有可用对接评分的唯一分子子集计算。在每个种子具有可用对接评分的1,255±4个唯一分子中，326±42和114±30分别具有小于?10 kcal/mol和?11 kcal/mol的对接评分。由于对接仅每10次RL迭代应用，这些命中统计是在生成分子的已对接子集上计算而非完整输出的无偏随机样本，因此应解读为已对接分子的描述性统计而非生成器的全局命中率。累积RL生成分子还保持广泛的化学多样性。平均内部多样性为0.87±0.01，每个种子产生9,665±331个唯一Bemis-Murcko骨架，对应于骨架/分子比率为0.78±0.03。这些结果表明RL过程生成大量有效、唯一且结构多样的分子，包括具有良好对接评分的化合物的大量子集。药效团匹配验证与MM-PBSA重评分——基于TC的相似性评分无法捕获与现有抑制剂的药效团水平相似性，因为它不考虑官能团的空间排列。为此，研究人员分析生成分子的药效团匹配以评估其模拟已知BRAF抑制剂关键相互作用的能力。研究人员选择两种强效BRAF抑制剂进行比较，BAY439006（索拉非尼）和维莫非尼。BRAF与配体复合物的晶体结构从RCSB PDB获得，PDB ID分别为1UWH和4RZV。研究人员首先基于对接评分从混合智能体过滤1,000个生成化合物，保留400个对接评分≤?10 kcal/mol的化合物。这些过滤后的化合物随后进行药效团匹配评估，以识别能够重现BRAF-索拉非尼复合物和BRAF-维莫非尼复合物中观察到的关键药效团特征的化合物。对于每个复合物，软件最初生成多个药效团特征。从这些特征中，研究人员选择了与共晶结构中观察到的关键结合相互作用直接相关的特征。具体而言，对于索拉非尼，保留了三个特征，包括与门控区Asp593相互作用的氢键受体、与Glu500相互作用的氢键供体以及与铰链区Cys531相互作用的氢键受体。这些特征被用作对齐和匹配生成化合物的基线药效团模型。除这些相互作用外，索拉非尼通过二取代苯基延伸至疏水后口袋，与周围残基实现多个疏水相互作用。对于维莫非尼，选择的特征为与DFG基序（Asp594、Phe595、Gly596）相互作用的氢键受体、与N叶Lys483相互作用的氢键供体以及与残基Gln530的氢键。有趣的是，若干生成分子不仅能够重现三个基线药效团特征，还能重现其他疏水/芳香相互作用，如支持信息表S10和S11所示。从药效团匹配步骤中，索拉非尼保留了17个化合物，维莫非尼保留了6个化合物，均产生至少三个关键药效团特征，如支持信息表S10和S11所示。三个化合物在两个集合中重叠，产生总共20个独特化合物。值得注意的是，这些分子与索拉非尼或维莫非尼的指纹相似性低，但在三维对齐至参考配体时实现低RMSD值。此处报告的RMSD值量化共享药效团特征的几何对齐，并非结合效力的预测指标。药效团匹配质量与测量活性的相关性需要实验测定数据，这超出本研究范围。考虑到t-SNE投影（图4）和Bemis-Murcko骨架新颖性分析，生成分子的低二维Tanimoto相似性和低三维药效团RMSD的组合表明这些化合物相对于已知BRAF抑制剂骨架新颖，同时重现关键药效团特征。为提供基于Vina化合物选择的额外验证，研究人员使用MM-PBSA（分子力学/泊松-玻尔兹曼表面积）方法对所有候选化合物进行结合自由能计算（方法学见支持信息第5节）。所有20个最终候选化合物均产生负MM-PBSA结合自由能估计，范围为?40.7至?69.2 kcal/mol（表S9），与整个系列中与BRAF活性位点的热力学有利结合一致。MM-PBSA估计与Vina对接评分之间的排名一致性提供独立支持，表明排名最高的候选化合物反映与结合位点的真实结构互补性，而非RL训练期间使用的Vina评分函数的伪影。然而，研究人员指出，MM-PBSA本身是结合自由能的端点计算估计，不能替代实验亲和力测量。生成小分子的ADMET预测——化合物的ADMET性质使用Titania工具确定。Titania计算分子描述符，并使用训练好的机器学习模型提供ADMET和理化性质的预测，实现快速准确的性质预测。在各种分子性质中，研究人员选择溶解度（logS）、辛醇/水分配系数（logP）、血脑屏障（BBB）渗透性和致突变性进行详细分析，因为它们是类药性和安全性的关键性质。评估了20个所选化合物的ADMET特征。如表6所示，预测值显示logS范围为?4.08至?8.21，logP范围为0.84至6.18，BBB渗透性化合物占60%，非致突变化合物占数据集的70%。这些ADMET预测仅用作生成后表征和优先级排序标准。它们未纳入RL奖励函数，因此在本研究中未直接指导分子生成。可合成性预测——为获得生成化合物合成可及性的初步计算评估，研究人员使用Isalos Asclepios逆合成流程（图2）研究逆合成路线。首先，选择了20个靶向BRAF的从头设计化合物（先前通过药效团匹配验证；二维化学结构和SMILES见支持信息文件第6节和第7节）。对于每个化合物，寻找可能的逆合成树。分析每个树的逆合成步骤（树枝）和最终前体（树叶），并在流程结束时检查每个树的图像。对于使用的20个分子中的16个，计算识别出完整逆合成路径（由商业可得反应物组成，在所有情况下导致可购买前体），使用AiZynthFinder中纳入的基于模板的策略。两个代表性示例如图8和图9所示。图8a展示了化合物204的预测逆合成路径，而图8b展示了基于逆合成预测设计的相应正向合成提案。因此，该化合物可通过两步合成，采用两种广泛应用的有机反应：首先，在碱（如DIPEA，步骤1）存在下使用肽偶联试剂HATU进行酰胺偶联，然后是在硼酸和溴化物衍生物之间进行钯催化碳-碳Suzuki交叉偶联反应（步骤2）。尽管化合物416的预测逆合成和正向合成路线涉及若干反应步骤（图9），但大多数是有机化学中最广泛使用的反应之一。具体而言，416的预测合成包括乙酰前体的初始α-溴化（步骤1），随后是步骤1中形成的溴乙酰中间体与氨基硫脲之间的经典Hantzsch型噻唑环化反应（步骤2）。新中间体羟基的经典Mitsunobu反应（步骤3）将形成芳基醚衍生物，随后通过酰胺偶联反应（步骤4）与酰氯反应形成最终产物。值得注意的是，两种情况下建议的合成均具有高合理性，并使用成本效益高的商业可得起始材料。然而，所提出的序列尚未对这些化合物进行实验测试，反应产率、化学选择性、纯化要求和中间体稳定性仍未知。相反，对于剩余四个分子，通过所采用的基于模板的方法预测不可行。为进一步检查它们，实施了无模板方法。为此，选择了ASKCOS免费网络应用（https://askcos.mit.edu/）。该网络工具可基于蒙特卡洛树搜索以自动化方式执行节点选择和扩展，支持无模板方法。在这四个化合物中，有两个具有手性中心的衍生物，因此以两对对映体存在（分子88和249），另一个类似物含有二取代1,2,4-三唑鎓盐（分子793）。在所有四个案例中，使用ASKCOS平台成功设计了逆合成路径。其中两条路线相对较短（≤6步，长度与AiZynthFinder路线相当），而对于化合物88和793，ASKCOS路线仍然较长（分别为7步和8步）。两个工具均未考虑对映选择性，因此在实验优先级排序前需要额外的立体化学评估。为提供20个候选化合物路线可及性的更详细评估，研究人员通过三个定量标准表征每个化合物的所选路线：逆合成搜索返回的总路线数、所选路线的长度以及末端前体的商业可得性。末端前体在eMOLECULES、LabNetwork、Mcule、Sigma-Aldrich和ChemBridge库存目录中查询。每个化合物的结果见附表S13。在20个化合物中，所选路线平均长度为3.8步，20个化合物中有18个所选路线为六步或更少。只有化合物88和793超过该阈值。关于前体可得性，20个化合物中有17个所有前体均有库存。基于上述标准的组合，候选化合物被分类为三个优先级类别：高优先级化合物（预测路线短、末端前体报告有库存）、中优先级化合物（路线长度中等为5-6步或一个前体缺失）和低优先级化合物（路线长度超过6步 combined with 前体覆盖不完整）。总体而言，分析表明生成化合物并非均匀与明显逆合成死胡同相关，且可为所选候选化合物识别以商业可得前体终止的计算提议路线。然而，这些结果仅提供逆合成优先级排序的初步估计。逆合成预测工具不确立实验可行性、反应产率、可扩展性、纯化难度或经济可行性。因此，所提出的路线需要专家药物化学或合成化学评估，随后进行实验验证，方可用于任何实际应用。结论部分：研究人员提出了一个靶向从头分子设计框架，用于生成BRAF抑制剂，结合基于GPT的生成模型、RL、ML预测亲和力评分、周期性对接反馈、药效团分析、MM-PBSA重评分、ADMET预测和逆合成优先级排序。该工作的贡献在于将这些成熟组件整合并系统评估为单一靶标聚焦工作流程，而非引入根本新的RL算法。通过整合ML预测结合亲和力和周期性分子对接计算，所提出的方法高效引导生成模型趋向结构多样、新颖且潜在活性的化合物。在内部消融中，混合奖励策略相对于仅ML的智能体（?9.341±0.305 kcal/mol）改善平均对接评分（?9.637±0.190 kcal/mol），同时保持可比的预测亲和力、有效性、唯一性和新颖性。研究人员不声称优于外部靶向生成框架，因为未在匹配条件下进行头对头基准测试。药效团匹配验证确认一部分生成分子重现已知BRAF抑制剂的关键相互作用特征，表明与这些结合模型的几何兼容性，但本身并非生物活性证据。最后，对Isalos Asclepios节点的逆合成分析为所选排名最高的化合物提供路线可得性的初步计算评估，支持其进一步合成审查的优先级排序。本框架的几个局限性应予以明确。(i) 对接计算针对单一刚性BRAF构象（PDB ID：1UWH）进行，未建模受体灵活性和替代构象状态。(ii) 对接评分由近似评分函数产生，省略显式熵和溶剂化贡献并简化受体处理。(iii) 对接评分同时进入训练奖励和成功评估，因此基于对接的改善部分内在于优化；DUD-E和MM-PBSA分析缓解但未消除该循环性。(iv) ADMET和合成可及性性质仅作为事后过滤器应用，未纳入奖励函数，因此对这些性质的多目标优化仍是未来工作。(v) 立体化学和对映选择性未由生成、对接或逆合成步骤处理，需要单独评估。(vi) 所选化合物未在实验测定中评估，所有报告的亲和力、药效团匹配和合成路线均为计算预测，需要在任何候选化合物被视为真正命中或先导化合物之前进行湿实验室合成和体外测试。在本工作中，研究人员提出了一个自动化流程，纳入生成模型以基于稳健方法学的应用设计新的BRAF抑制剂。若干方法学扩展仍然开放。首先，奖励函数目前结合基于ML的亲和力预言器和周期性对接评估，而ADMET、理化性质、合成可及性及其他项仅用作事后过滤器。通过多目标优化公式将这些项直接纳入奖励函数将允许跨决定实际类药性的性质同时优化。其次，对接预言器使用固定调度（每10次RL迭代）。自适应替代方案是Guo等人提出的课程学习，其中智能体逐渐暴露于难度递增的任务。此类调度可能减少达到所呈现性能所需的基于物理评估的总数，是未来工作的自然方向。第三，在共同激酶靶标集和相同预处理、预言器和RL设置下，将混合奖励策略与已建立的靶标聚焦生成框架如REINVENT 2.0或REINVENT 4.0进行直接头对头比较，将允许系统评估本方法的相对优点。此类基准研究需要在匹配预处理、预言器和RL设置下重新训练每个框架，超出本工作范围，因为其构成独立的方法学研究。第四，计算预测的逆合成路线需要专家药物化学审查和实验测试，方能确立其可行性。流程产生的化合物为计算预测，其作为BRAF抑制剂的评估需要湿实验室合成和体外测试，以评估最强结合者作为潜在先导化合物。CRediT作者贡献声明：Konstantinos D. Papavasileiou：撰写——原始草稿。Haralampos Tzoupis：撰写——原始草稿。Charis Georgiou：撰写——原始草稿。Alexios N. Matralis：撰写——原始草稿。Georgia Melagraki：撰写——原始草稿。Antreas Afantitis：撰写——原始草稿。Nikoletta-Maria Koutroumpa：撰写——原始草稿。