面向离线强化学习的信用引导保守奖励塑造

《Neurocomputing》：Credit-guided conservative reward shaping for offline reinforcement learning

　　

摘要

离线强化学习在面对所学策略选择缺乏足够固定数据集支持的分布外（OOD）动作时，会受到外推误差的困扰。保守奖励塑造通过惩罚不可靠的策略诱导动作来缓解这一问题，但局部惩罚可能将贡献度不同的转移等同对待，并可能引入不稳定的自举修正。针对这一局限性，我们提出了信用引导的保守奖励塑造（Credit-Guided Conservative Reward Shaping, CCRS），一种轨迹感知的校准方法，用于稳定离线强化学习中的保守奖励塑造。CCRS从观测轨迹中估计奖励信用，并利用所得信号补偿高信用的分布内（ID）转移，同时对其相关联的策略诱导OOD动作保持保守抑制。在D4RL MuJoCo任务上的实验表明，CCRS提升了直接的双向奖励塑造（Bidirectional Reward Shaping, BRS）基线，降低了跨种子方差，在专家级和中等专家级数据集上优势更为明显。

引言

离线强化学习（offline RL）旨在从固定数据集中学习决策策略，而无需与环境进行额外交互。当在线试错代价高昂或存在安全风险时，这一设置尤为重要，例如在机器人控制、医疗、自动驾驶和推荐系统等领域[1]、[2]、[3]、[4]、[5]、[6]。然而，由于所学策略在未查询环境的情况下进行优化，它可能会选择未被离线数据集充分覆盖的动作。函数逼近可能会对这些策略诱导的分布外（OOD）动作赋予过于乐观的值，从而引发外推误差并误导策略改进[7]。

保守离线强化学习方法通过抑制未获支持的动作或约束策略改进朝着数据集支持的方向进行来解决这一问题。代表性方法包括值惩罚[8]、样本内策略学习[9]、行为正则化[10]以及基于奖励塑造的保守学习[11]、[12]、[13]。在基于奖励塑造的方法中，保守信号被注入Bellman目标或辅助OOD目标中，以扩大行为支持动作与潜在未获支持的策略动作之间的值差距。

尽管这些方法行之有效，但局部保守惩罚通常是转移盲的。其强度通常由行为邻近度、不确定性或类似的局部风险估计决定[13]、[14]、[15]，但这些局部估计并不能直接反映某个转移对轨迹回报有多重要。因此，两个具有相似局部支持的转移即使对最终回报的贡献差异很大，也可能获得相似的修正。此外，反复将局部奖励修正注入自举目标中可能会沿轨迹累积，从而改变不同轨迹之间的相对回报结构。这些观察表明，保守奖励塑造需要一个轨迹感知的校准机制，而非仅仅依赖局部惩罚幅度（图1，图B.1）。

本文聚焦于局部保守信号与轨迹级奖励相关性之间的不匹配问题。目标并非消除保守性，而是决定在何处应对保守修正进行补偿或加强。从这一视角来看，奖励信用可以作为轨迹级信号用于校准局部保守塑造。为了解决这一局限性，我们提出了信用引导的保守奖励塑造（CCRS），一种轨迹感知的校准方法，用于稳定离线强化学习中的保守奖励塑造。CCRS从观测轨迹中估计奖励信用，并利用所得信号补偿高信用的ID转移，同时保持对策略诱导OOD动作的保守抑制。本文的主要贡献总结如下：

- 我们发现了局部保守奖励塑造的一个轨迹级局限性：局部OOD惩罚并不能直接反映每个转移对轨迹回报的贡献，且反复的局部修正可能累积为轨迹级的塑造漂移。
- 我们开发了CCRS，一种信用引导的校准方法，利用轨迹推导的奖励相关性选择性地调节行为支持分支和策略诱导更新分支中的保守奖励塑造。
- 我们在D4RL MuJoCo任务上评估了CCRS，结果表明它提升了直接的双向奖励塑造（BRS）[13]基线，同时降低了跨种子方差，在专家级和中等专家级数据集上优势最为明显。

章节摘要

保守学习与OOD量化

离线强化学习存在外推误差问题，函数逼近可能会为OOD动作分配过高估计的Q值，并通过Bellman回传进一步将这些误差传播到ID样本中[7]、[16]。现有方法通常通过对值学习或策略学习过程施加保守性来缓解此问题。前者抑制或校准数据支持范围外的动作的值估计，同时保留行为支持的估计[8]、[13]、[17]，而后者……

离线RL

RL中的环境通常被建模为马尔可夫决策过程（MDP），其中和分别表示状态空间和动作空间，是初始状态分布，是转移动力学，是奖励函数，是折扣因子。强化学习的目标是找到一个策略，以最大化期望折扣回报：。对于任意策略，状态值函数定义为，状态-动作值函数定义为。状态-动作值函数……

方法

在本工作中，我们提出了信用引导的保守奖励塑造（CCRS），一种轨迹感知的校准方法，用于稳定离线强化学习中的保守奖励塑造。如图2所示，CCRS分为三个步骤进行。首先，一个回报预测器从观测轨迹中估计轨迹级奖励信用，并将其转换为非负的转移级分配权重。其次，所得信用分数被归一化为ID……

实验

在本节中，我们在D4RL MuJoCo基准[39]上评估了CCRS。由于CCRS被设计为BRS风格保守奖励塑造的信用引导校准层，因此BRS是评估所提机制的直接基线。我们同时报告了代表性离线RL基线以供参考，并进行了消融实验，以检验奖励信用分配和ID端自举惩罚是否对稳定学习行为有所贡献。

结论

在本文中，我们提出了信用引导的保守奖励塑造（CCRS），一种轨迹感知的校准方法，用于稳定离线强化学习中的保守奖励塑造。CCRS利用从观测轨迹中估计的奖励信用来指导保守修正如何分配给ID转移和策略诱导OOD动作。基于BRS风格的学习器构建，CCRS补偿高信用的行为支持转移，同时对……保持保守抑制。

CRediT作者贡献声明

李佳靖：写作 – 审阅与编辑，写作 – 原始草稿，可视化，验证，软件，资源，方法学，调查，形式化分析，概念化。张启航：写作 – 审阅与编辑，验证，软件。谢左尊：写作 – 审阅与编辑，验证。李石：写作 – 审阅与编辑。张晓佩：写作 – 审阅与编辑。

利益冲突声明

作者声明不存在已知的可能影响本文所报告工作的竞争性经济利益或个人关系。

李佳靖于2024年获得中国杭州电子科技大学电子科学与技术学士学位。他目前正在杭州电子科技大学攻读数字媒体技术硕士学位。他的研究兴趣包括机器学习和人工智能。

李佳靖|张启航|谢左尊|李石|张晓佩

杭州电子科技大学 传媒与设计学院，浙江杭州，310018，中国