强化学习驱动扩散模型：首次全面综述、瓶颈剖析与技术路线图

《IEEE Transactions on Pattern Analysis and Machine Intelligence》：Reinforcement Learning-driven Diffusion Models: Language, Vision, and Beyond

　　扩散模型（DMs）遵循大语言模型（LLMs）中建立的"预训练-微调"范式，在各种场景下持续展现出在高保真、可控生成方面的卓越性能。尽管取得了这些进展，传统扩散模型在复杂推理、生成路径的自主探索以及适应复杂的、与人类对齐的目标方面仍面临关键局限。受RLHF在大语言模型中成功的启发，强化学习（RL）最近已成为一种关键的后续训练机制，通过奖励驱动的路径优化来迭代改进扩散模型。本文首次全面综述了RL驱动的扩散模型，并对RL如何重塑扩散过程以实现以经验为中心、目标导向的生成进行了实证分析。我们提出了一种全新的技术全景，阐明了RL在基于扩散的语言、多模态、机器人和科学模型中的多重作用——重点关注扩散路径优化和奖励工程。通过在多个任务特定基准上的大量实验，我们系统评估了代表性方法，直观地展示了不同RL后续训练策略的优势。此外，我们揭示并剖析了目前阻碍RL驱动扩散模型实际部署的三个关键瓶颈：奖励设计的脆弱性、高维生成空间中的探索与利用之间的权衡，以及稀疏奖励下的训练不稳定性。基于这些视角，我们为RL与扩散模型的整合提供了一条有原则的技术路线图，并概述了鲁棒、可解释的RL-扩散系统未来的有前景研究方向。我们还构建了一个公共代码仓库，以持续跟踪这一快速发展领域的最新进展：https://github.com/lyongo/Awesome-RL-for-Diffusion-Models.