RiD-kit：基于强化动力学的高维集体变量增强采样软件包及其在生物分子与材料模拟中的应用

本研究针对分子动力学模拟中高维自由能面采样难题，开发了RiD-kit增强采样软件包。该工具通过强化学习框架结合神经网络模型，实现了对多集体变量(CVs)空间的智能探索与势能面(PMF)重构，成功应用于蛋白质折叠(如chignolin)和材料反应(如HfO2合成)等体系，相比传统MetaD方法显著提升采样效率，为复杂体系自由能计算提供了自动化解决方案。

　　

分子动力学模拟在生物分子构象变化和化学反应机理研究中发挥着关键作用，但面临"时间尺度困境"——由于自由能垒的存在，常规模拟难以在有限时间内捕获稀有事件。以蛋白质折叠为例，实验观测到微秒级折叠过程，而传统MD模拟需要消耗毫秒级计算资源。现有增强采样方法如元动力学(MetaD)和伞形采样(US)虽能加速采样，但受限于"维度灾难"：当集体变量(CVs)超过4个时，所需高斯势函数数量呈指数增长，使得PMF重构变得极其困难。

针对这一瓶颈，北京大学等机构的研究团队开发了RiD-kit软件包。该工具创新性地将强化学习(RL)框架引入增强采样领域：将CV空间视为状态空间，偏置势能作为动作空间，模型预测不确定性作为奖励函数，通过"探索-标注-训练"的并发学习机制，实现了高维PMF的智能探索。研究团队证明，对于含20个二面角CV的chignolin蛋白折叠体系，RiD-kit仅需3.7μs模拟即获得与100μs常规MD相当的PMF结果，误差小于5kJ/mol。相关成果发表于《BMC Methods》，为复杂体系自由能计算提供了新范式。

关键技术方法包括：1)基于Dflow工作流管理系统实现多平台任务调度；2)采用约束/限制MD计算平均力(MF)标签；3)构建神经网络集成模型预测PMF导数；4)通过马尔可夫链蒙特卡洛(MCMC)降维可视化PMF。研究使用GROMACS和LAMMPS作为MD引擎，支持经典力场和深度学习势函数(Deep Potential)。

研究结果部分显示：

1. 方法开发：RiD-kit采用"探索-选择-标注-训练"四阶段工作流。探索阶段通过神经网络预测的偏置势驱动采样；选择阶段基于模型偏差筛选高不确定性构象；标注阶段通过约束/限制MD计算MF；训练阶段用TensorFlow框架更新PMF模型。
2. 性能验证：在Ala-二肽测试中，RiD仅用20.8ns即达到5.1μs常规MD的精度(误差~2kJ/mol)；对polyAla-10体系，589ns RiD模拟获得与360ns/路径的弦方法相当的结果。
3. 应用展示：图4显示chignolin在φ/ψ二面角空间的PMF投影与D.E. Shaw实验室长时程MD结果高度一致；图5展示HfO₂反应体系的自由能景观，清晰呈现反应路径能垒。

讨论部分指出，RiD-kit的创新性体现在三方面：其一，通过神经网络表征高维PMF，突破传统方法对CV数量的限制；其二，采用强化学习框架实现"边探索边学习"，避免预采样需求；其三，集成Dflow实现跨平台任务管理。相比DeepVES需要预采样数据、BEMetaD仅能获得边际PMF等局限，RiD-kit实现了真正的高维联合PMF重构。虽然目前仍受CV选择敏感性和计算成本限制，但其自动化工作流设计大幅降低了增强采样的技术门槛，为从生物大分子到材料体系的自由能计算提供了通用工具。该工作标志着机器学习与增强采样方法的深度融合迈入新阶段。