分子对接旨在预测小分子与其蛋白质靶点的结合构象。最近的研究提出了多种用于此任务的扩散模型,从考虑配体自由度的刚体对接,到同时生成蛋白质结构和配体姿态的共折叠方法。然而,基于扩散的对接模型经常产生不符合物理特性的姿态,并且无法一致地恢复关键的蛋白质-配体相互作用。为了解决这个问题,我们引入了一个强化学习框架,用于直接在不可微的目标上训练基于扩散的对接模型。通过我们的方法微调DiffDock-Pocket,可以显著提高生成的符合物理特性且保持相互作用的姿态数量,同时不会增加推理时间的计算量。重要的是,这并不会牺牲结构的准确性;实际上,我们的方法增加了具有接近天然状态的结构的比例。这些效果在目标蛋白质与训练数据差异较大时尤为明显。在我们的微调版本中,DiffDock-Pocket模型在PoseBusters数据集上的表现优于传统的对接算法和基于机器学习的方法。我们的结果表明,强化学习可以使基于扩散的对接模型更好地遵守物理约束并恢复关键相互作用,而无需依赖于推理时间的修正。