面向多模态基础模型的强化学习：综述

《ACM Computing Surveys》：Reinforcement Learning for Multimodal Foundation Models: A Survey

　　

摘要AI 摘要

要查看此 AI 生成的摘要，您需要拥有高级访问权限。

了解更多登录

摘要

摘要

在强化学习（RL）与多模态基础模型交叉领域的近期进展，已使智能体不仅能够感知复杂的视觉场景，还能在其中进行推理、生成和行动。本综述对该领域提供了批判性且及时的综合论述。我们首先对视觉强化学习问题进行形式化描述，并追溯策略优化策略的演变历程，从基于人类反馈的强化学习（RLHF）到可验证奖励范式，从近端策略优化（PPO）到群组相对策略优化（GRPO）。随后，我们将超过200篇代表性研究整理为四个主题支柱：多模态大语言模型、视觉生成、统一模型框架以及视觉-语言-动作模型。针对每个支柱，我们分析了算法设计、奖励工程、基准进展，并提炼出诸如课程驱动训练、偏好对齐扩散以及统一奖励建模等趋势。最后，我们回顾了涵盖策略级、轨迹级偏好以及训练诊断稳定性等维度的评估协议，并识别了开放挑战，包括样本效率、泛化能力和安全部署。我们的目标是为研究者和从业者提供一幅视觉强化学习快速扩展领域的一致全景图，并突出未来研究中的有前景方向。

资源可在以下地址获取：https://github.com/weijiawu/Awesome-RL-for-Multimodal-Foundation-Models。

AI 摘要

AI 生成摘要（实验性）

本摘要由自动化工具生成，未经本文作者撰写或审核。其目的是支持文献发现、帮助读者评估相关性，并协助来自相邻研究领域的读者理解该工作。本摘要旨在作为作者提供的摘要的补充，作者摘要仍是本文的主要摘要。完整文章仍是权威版本。

点击此处对摘要的准确性、清晰度和实用性进行评论。这样做将有助于改进未来重新生成的版本。

要查看此 AI 生成的简明摘要，您需要拥有高级访问权限。