《Array》：A Review of Reinforcement Learning: A Tripartite Framework of Environment Design, Algorithmic Innovation, and Application Scenarios
编辑推荐：
这篇综述创新性地提出了一个“环境设计-算法创新-应用场景”三元协同分析框架，系统性梳理了强化学习（RL）的发展脉络。它超越了过去以算法或应用为中心的单一视角，重点分析了环境建模、算法选择与真实部署约束之间的相互作用。文章从环境设计维度剖析了特征分布、奖励机制、动态不确定性与可扩展性对学习的影响；在算法维度比较了基于价值、策略、模型及Actor–Critic等框架的优劣；在应用维度总结了游戏、机器人、自动驾驶、能源、医疗等多个领域的共性挑战与设计模式，并探讨了世界模型、安全约束RL、离线RL及与大语言模型结合等前沿方向，为RL在复杂现实系统中的工程落地提供了统一的分析视角与实践参考。
1. 引言
长期以来，面对序列决策问题，人类主要依赖基于动态规划和最优控制理论的模型驱动方法，或基于运筹学和启发式搜索的规划方法。然而，当系统呈现强非线性、部分可观测性或显著随机性时，构建精确模型变得极为困难。强化学习（RL）通过智能体与环境的交互来学习最优决策策略，无需依赖显式系统模型或监督标签。自20世纪80年代Sutton等人的奠基性工作以来，在现代RL的理论基础上，2013年DeepMind引入深度强化学习（DRL），将深度神经网络与RL结合，显著提升了处理高维状态空间和复杂控制任务的能力，并在Atari游戏、围棋（AlphaGo）等基准问题上取得突破。
尽管成就显著，但将RL从受控的基准测试转移到现实世界的复杂系统仍面临挑战。与实验室环境相比，现实系统在安全性、实时性和长期稳定性方面有严格要求，DRL通常需要大量交互样本，且可能不稳定、对训练分布敏感，其“黑箱”性质也增加了可解释性和可靠性验证的难度。现有的综述研究多从单一视角（算法改进或特定领域应用案例）分析RL，缺乏对环境建模、算法设计与现实部署约束之间相互作用的系统性分析。为此，本文提出了一个由环境设计、算法创新和应用场景三个相互关联的维度构成的三元协同分析框架。
该框架旨在为理解RL方法如何演进以及如何有效部署于复杂系统提供统一视角。环境设计维度定义了塑造学习问题的状态-动作表示、奖励结构、不确定性建模和系统动力学；算法创新维度关注智能体在各种环境条件下获取有效策略的学习机制；应用场景维度则反映了实施RL的实际背景，包括领域特定约束、安全要求、数据可用性和部署成本。这三个维度紧密耦合，共同决定了RL解决方案的性能与可行性。
2. 环境设计维度
环境设计是RL算法有效性的基础，直接影响智能体的学习效率和决策能力。其核心要素包括环境特征分布、奖励机制设计、动力学与不确定性、以及可扩展性与泛化性。其中最关键的挑战是模拟到现实的差距（Sim2Real Gap），其根源在于建模误差、状态不完整性以及模拟数据与真实数据之间的分布偏移。
2.1. 环境设计分类法
为帮助研究者快速识别特定任务的合适设计策略，本文提出了一个涵盖六个正交维度的综合分类法：模拟器后端、保真度与真实感水平、随机化策略、任务分布与训练计划、人类信号可用性以及安全规范。每个环境配置都可被唯一地指定为这六个维度的组合。
2.2. 环境特征分布
不同应用领域的环境需求差异巨大。本文对游戏、机器人、自动驾驶、能源系统、医疗保健等七个代表性领域的特征进行了系统比较，重点关注状态空间维度、动作空间类型、奖励稀疏性、回合长度、噪声与不确定性水平以及部分可观测性等六个关键维度。例如，游戏环境通常具有高维状态、相对密集的奖励和低噪声，而能源系统和医疗保健则涉及中高维状态、极度稀疏的奖励、长周期和高不确定性。
2.3. 环境设计中的长尾分布
现实世界的事件分布很少均匀，某些紧急情况虽发生频率极低，却可能决定系统成败。因此，环境设计需要有意识地纳入长尾分布，通常用幂律分布建模。在自动驾驶、微电网控制等领域，通过重要性采样、课程学习、场景多样化等手段，提高对尾部分布（如碰撞、故障）的暴露率和策略鲁棒性，已成为提升高风险领域系统稳健性的关键技术路径。
2.4. 奖励机制设计
奖励设计直接影响智能体的学习效率和最终策略质量。对于稀疏奖励任务，常见策略是引入子目标奖励，将大目标分解为更小、可学习的组成部分。对于延迟反馈任务（如工业控制、医疗治疗），则需要引入回报累积机制或奖励预测模型。在多目标任务中，奖励设计常采用分层奖励结构或标量化多目标加权。实践中，奖励函数是主要误差来源之一，需警惕奖励破解、代理奖励漂移和约束错误设定三种常见故障模式。
2.5. 动力学、不确定性与Sim2Real技术范式
环境设计必须明确考虑时间动力学、随机性和噪声，以使学习到的策略在非平稳和非确定性条件下保持稳健。环境动力学（如交通流量、设备退化）和不可控扰动（如传感器噪声、执行器误差）构成了关键挑战。为系统性地弥合Sim2Real差距，主流技术可分为四大类：域随机化、系统辨识与世界模型、用于跨任务迁移的元强化学习（Meta-RL）、以及稳健/分布稳健RL。这些方法将环境从“被动给定的容器”转变为显式的数据源，从而提高了真实部署中的泛化性和鲁棒性。
2.6. 可扩展性与泛化性
环境设计还需考虑可扩展性和足够的泛化能力，使智能体在面对新任务时无需从头学习，而是能迁移先验经验以加速适应。例如，在自动驾驶中从城市道路泛化到乡村道路，在医疗诊断中将从一个疾病学到的策略迁移到症状相似的其他疾病。通过将地图信息纳入奖励函数、采用模拟到现实的迁移策略以及在多样化的模拟环境中进行多环境评估，可以提升智能体在导航等任务中的泛化性能。
2.7. 环境设计与算法选择的映射
为明确连接环境设计维度与算法选择，本文提出了一个决策导向的框架，系统总结了典型环境特征与合适算法族之间的对应关系。例如，对于高维噪声和显著分布偏移的环境，推荐域随机化结合基于模型的RL；对于极度稀疏奖励和长周期的任务，分层RL（HRL）与好奇心/内在动机方法更优；对于多目标冲突和严格安全约束的场景，应使用约束RL/安全RL；当涉及强烈的人类偏好和非标量反馈时，基于人类反馈的强化学习（RLHF） 是首选；而对于高动态不确定性和非平稳性，元强化学习（Meta-RL）/稳健RL 能提供快速适应或最坏情况保证。
2.8. 环境设计决策规则
本文提供的多个表格不仅用于分类，还构成了一个实用的决策工作流。首先使用环境特征对比表识别任务的关键信号，然后使用分类法选择相应的环境设计开关，最后使用技术映射和算法选择表确定匹配的迁移技术和算法族，并完成所需的评估与报告项。错误的设计选择会直接导致可预测的故障模式，这进一步表明环境设计是决定算法性能上限和部署风险的关键变量。
3. 算法创新维度
3.1. 经典RL算法概述
传统RL算法通常分为四类：基于价值的方法、基于策略的方法、基于模型的方法以及统一价值与策略更新的执行者-评论者（AC）框架。
- •
基于价值的方法（如Q-learning、DQN）通过学习价值函数来评估状态或状态-动作对的长期回报，并间接推导策略。它们在离散、低维任务中表现出色，但在高维、复杂环境中面临巨大计算挑战和训练不稳定问题。其样本效率相对较高，但在稀疏奖励或长周期依赖任务中，往往面临探索不足和信用分配困难。
- •
基于策略的方法（如策略梯度PG、近端策略优化PPO）直接优化策略函数，避免了在连续动作空间中价值函数离散化的误差。然而，它们受限于训练稳定性和样本效率。PPO通过引入近似信任区域约束来限制策略更新幅度，显著提高了训练稳定性，成为连续控制和工业RL中常用的策略优化基线。
- •
基于模型的方法（MBRL）显式地对环境动力学进行建模，以预测未来的状态转移和奖励，从而减少策略优化期间对真实环境交互的需求。其核心优势在于样本效率，但性能上限和稳定性强烈依赖于模型误差控制和分布外鲁棒性。
- •
执行者-评论者（AC）框架（如A2C、A3C、DDPG、PPO、TD3）集成了基于策略和基于价值的学习，通过评论者估计价值函数来为策略更新提供较低方差的信号，缓解了纯策略梯度方法的高方差问题，同时避免了纯价值方法在连续动作空间中的限制，已成为现代RL的核心范式之一。
3.2. 近期RL算法趋势
2024-2025年RL算法的发展主要围绕改进现有方法的关键瓶颈展开，重点在于提高样本效率、跨环境/跨任务的泛化能力以及与大型模型和人类约束的集成。
- •
CrossQ：一种建立在SAC等基础上的离策略AC方法，通过将批归一化引入价值网络来提高训练稳定性，在高维连续控制任务中表现出强大的鲁棒性。
- •
元强化学习（Meta-RL）：使智能体能够学习如何快速适应从任务分布中抽取的新环境。近年来越来越多地结合大规模预训练、跨任务表示学习以及结合模拟到现实迁移的实用流程。
- •
分层强化学习（HRL）：通过将复杂任务分解为不同时间尺度上运行的子目标，来解决长周期决策和稀疏奖励问题。近期工作越来越强调复杂系统中的工程可行性。
- •
基于人类反馈的强化学习（RLHF）：从人类偏好或比较反馈中构建奖励信号，引导模型行为向与人类对齐的输出发展。它已成为RL与大型语言模型交叉的关键方向，在对话系统、教育支持和医疗辅助等领域显示出潜力。
3.3. 决策规则
算法选择应优先由环境属性和部署约束驱动，而非仅仅追求单一基准上的回报最优性。当在线试错成本高、存在安全风险或频繁交互不可行时，学习范式应优先转向离线或保守更新。对于连续控制任务，建议从稳健的基线（如主流AC框架）开始，然后根据样本成本和动力学的可预测性决定是否引入世界模型或规划组件。当约束是必须零违反的硬边界时，应优先考虑约束优化或可验证的安全机制。面对长周期和稀疏奖励，应优先考虑分层结构、目标条件策略或中间表示学习。在多目标冲突场景中，应明确指定权衡形式，并报告权重敏感性以确保结论可迁移。
4. 应用场景
基于三元框架，应用场景维度作为一个耦合环境设计和算法创新的驱动层，验证了RL在现实复杂系统中的实际潜力，并通过反向反馈揭示了环境约束和算法需求共同演化的迭代路径。
4.1. 游戏
游戏因其相对清晰的奖励信号、及时的反馈和可控的实验设置，成为开发和评估RL算法的理想试验场。RL在游戏领域的应用呈现出一些关键设计模式，例如：由稀疏终端奖励和长周期信用分配驱动的训练流程设计；针对大规模离散/组合动作空间的结构化建模；部分可观测性和实时决策下的表示学习与鲁棒优化；多智能体非平稳性与合作/对抗机制；以及面向可玩性/体验的奖励建模。
在斗地主等扑克游戏中，面对数万量级的动作空间和合作竞争共存的多智能体结构，需要动作编码、价值分解或更结构化的策略表示。DouZero等系统通过结合深度神经网络、动作编码和并行执行者，加强了传统的蒙特卡洛风格方法。在第一人称射击（FPS）游戏智能体训练中，通常通过简化观察、将任务分阶段进行以及奖励稠密化等环境设计选择，与策略优化和表示学习的算法机制相结合，共同提高训练稳定性和样本效率。对于非玩家角色（NPC）智能训练，目标从“赢得比赛”转向“提升玩家体验”，例如通过增强行为多样性、合作性和对抗响应能力。RL-DOT等方法为目标导向的团队NPC进行在线决策和对手建模，采用了类似Q-learning的决策策略，并维护对手行为的概率模型，从而改进了团队协调和战术反应。
5. 结论
本文系统回顾了强化学习的研究进展，并提出了一个创新的“环境设计-算法创新-应用场景”三元协同分析框架。该框架突破了传统单一视角的局限，强调了三者之间的相互约束与协同关系，为RL在复杂现实系统中的工程实现提供了统一的分析视角和实践参考。通过深入剖析各维度的核心要素、挑战与解决方案，本文旨在推动RL从受控的实验室环境走向更广阔、要求更高的实际应用领域。
