基于流匹配模型微调的可控分子生成

《Communications Chemistry》：Controllable molecular generation with fine-tuned flow-matching model

　　

三维分子生成模型已经能够无条件或条件性地（例如在蛋白质口袋内）进行从头分子设计。然而，将这类模型引导至满足一组期望性质的特定化学空间区域仍然具有挑战性。本研究提出一种面向基于流匹配（flow-matching, FM）生成模型的灵活强化学习（reinforcement learning, RL）方法，允许用户自定义奖励函数对速度场进行精炼。与纯条件生成设定中须先验确定条件集合不同，该框架可对任意无条件或条件模型进行微调，更贴近目标性质常随案例变化且具特异性的现实场景。该方法首次实现在流匹配模型中连续与离散特征的联合优化。通过在多种优化场景下的广泛实验，研究人员证明以此策略训练的模型（agent）在对照目标设计准则评估时，始终优于基线方法（prior）。

研究背景与动机

近年来，基于三维结构的药物设计（structure-based drug design, SBDD）因高分辨率蛋白结构数据增长而快速发展，传统虚拟筛选在大规模配体发现中存在效率低、假阳性高的问题，人工智能驱动的从头分子生成成为新范式。在诸多三维生成架构中，扩散模型与流匹配（FM）模型因可自然嵌入SE(3)等变偏置而广受关注，能够直接输出连续坐标并兼顾原子、键型等离散特征。然而已有研究表明，三维神经网络生成的配体在未重对接前常缺乏物理合理的结合姿态，且药化性质（如溶解度、代谢稳定性、毒性）需同时满足多个往往相互竞争的目标，纯条件生成或分类器引导难以灵活处理非可微、案例依赖的奖励。针对这一空白，研究人员以SemlaFlow这一先进FM模型为先验（prior），提出一套强化学习微调框架，将用户定义的奖励（可为非可微函数）作为权重引入FM损失，得到智能体（agent）模型，从而在无条件与条件（蛋白口袋）场景下实现对极性和活性等连续属性及原子/键型等离散属性的联合可控优化。该文发表于《Communications Chemistry》。

主要关键技术方法

研究人员采用预训练SemlaFlow（约四千万参数，训练于QM9与GEOM-Drugs）作为先验，将其复制为agent并微调；奖励函数支持sigmoid、反sigmoid与双sigmoid归一化，多目标取加权几何平均，批内中心化后作为FM损失权重，并加入参数正则项（λ_r=0.1）防止策略崩塌；分子原子数由可学习的Beta分布采样器按各尺寸平均奖励更新（α⁽ⁱ⁺¹⁾=α⁽ⁱ⁾+r?, β⁽ⁱ⁺¹⁾=β⁽ⁱ⁾+1?r?）。优化目标涵盖RDKit计算的极性表面积（polar surface area, PSA）、随机森林预测的DRD2活性概率p(active∣molecule)、LogP、MMFF94力场下的每原子相互作用能Δ?_atom及应变能E_strain。训练用Adam（lr=1e?5），每轮生成一批分子（无条件64、条件16），由agent预测终态计算奖励加权损失。

研究结果

内在性质优化：以最小化PSA为奖励（原子数10–100），训练300轮后agent生成5000分子。结果显示agent中位PSA由67.51 ?²降至9.00 ?²，有效性由85.8%升至89.8%，QED持平（0.54），代价是E_strain由2.27升至3.85 kcal/mol/atom；各尺寸下agent均系统产出低PSA分子，同噪声起点生成对比可见极面显著收缩。

定制性质优化：以DRD2活性概率p与E_strain联合奖励，1000轮后agent的p均值由0.37升至0.41，有效性84.1%→90.8%，QED 0.54→0.59，p>0.5占比近为先验两倍、超训练集七倍；可视化最高分分子与已知活性骨架形状相似。

双目标优化：分别训练单目标（LogP≈2.0或最大化p）与双目标agent。单目标agent在各自指标最优（p=0.41或LogP=2.44）而另一指标略降；双目标agent同时改善两者，5000分子中p>0.5且LogP∈[0.5,3.5]者346个，接近先验176个的两倍，帕累托前沿扩展。

条件生成：在6N53（尿苷-胞苷激酶2）口袋条件下，以Δ?_atom与E_strain为奖励微调条件SemlaFlow。agent生成配体负相互作用能比例显著增加，视觉对比显示agent配体 steric clash 更少、姿态更贴合口袋，AutoDock Vina 亲和力估计优于prior，整体有效性与QED接近先验。

讨论与结论

研究人员指出，分类器或无分类器引导在分子设计受限于可微预测器稀缺与多目标难平衡，本框架以奖励加权FM损失避开额外分类器训练，直接对速度场施加控制，并首次在FM中联合连续-离散流。与基于轨迹似然的策略RL相比，该方法不需离散表示下的混合似然估计。已有FM微调多依赖可微奖励，而药化关键指标常为非可微知识驱动规则，本工作仅用评价器相对输出即可微调，更贴实用。未来可改进非目标性质退化正则与采样随机性。结论上，该RL-FM框架能将先验SemlaFlow高效转化为面向PSA、DRD2活性、LogP、口袋相互作用能等目标的agent，在单目标与多目标、无条件与条件生成下均一致超越prior，为三维从头药物设计提供灵活可控优化路径。