谨慎的隐含值学习

《Neural Networks》：Cautious Implicit Value Learning

　　离线强化学习中的扩散策略蒸馏方法•张嘉志、程宇虎、陈C.L.菲利普、张恒瑞、王学松。•本文提出了一种可与基于扩散策略的各类离线强化学习方法结合使用的框架。•该框架能够将扩散策略的决策速度提升10倍以上。•在该框架中还介绍了两种可实现最优性能的算法。

引言
离线强化学习是近年来备受关注的范式。它直接从行为策略生成的离线数据中学习策略，无需与环境进行实时交互。这种方法有效降低了在线强化学习中固有的高交互成本和可扩展性难题。因此，它已被广泛应用于医学（Fatemi, Wu, Petch, Nelson, Connolly, Benz, Carnicelli, Ghassemi, 2022；Shiranthika, Chen, Wang, Yang, Sudantha, Li, 2022）、工业机器人技术（Luo, Dong, Wu, Kumar, Geng, Levine, 2023；Zhao, Luo, Sushkov, Pevceviciute, Heess, Scholz, Schaal, Levine, 2022）以及大型语言模型领域（Richemond, Tang, Guo, Calandriello, Azar, Rafailov, Pires, Tarassov, Spangher, Ellsworth, Severyn, Mallinson, Shani, Shamir, Joshi, Liu, Munos, & Piot, Wang, Hao, Dong, Zhang, Bao, Yang, Wu, 2025）。

离线强化学习的主要目标是学习出优于行为策略的目标策略。现有的离线强化学习方法大致可分为基于模型和无需模型的两类，其中大多数属于无需模型的类型（Swazinna等人，2022）。在无需模型的方法中，一个关键区别在于它们是否使用状态-动作价值函数（Q函数）来评估目标策略生成的动作。对于那些使用Q函数的无需模型方法，评估目标策略的动作需要先估计其状态-动作价值，这些估计值随后用于指导对演员网络的更新。然而，Q函数可能会导致目标策略输出处于离线数据分布之外的动作。使用这类分布外的动作来更新Q网络会进一步放大外推误差，从而降低估计精度。这就是著名的分布偏移问题（Fujimoto, Meger, Precup, 2019；Kumar, Zhou, Tucker, Levine, 2020）。为了解决这个问题，批量约束深度Q学习（BCQ）（Fujimoto等人，2019）通过批量约束限制动作空间，使目标策略的动作分布与行为策略的分布保持一致。保守Q学习（CQL）（Kumar等人，2020）则通过学习一种保守的Q函数来确保一致性，这种函数会对分布外的动作给出偏低的Q值估计。带有行为克隆的TD3（TD3+BC）（Fujimoto和Gu，2021）则在策略优化过程中加入行为克隆项，进一步对目标策略进行约束。总体而言，大多数离线强化学习方法都是通过限制目标策略与行为策略之间的分布距离，或是学习一种能对分布外动作给出偏低估计的保守价值函数，来缓解分布偏移问题。

隐式价值学习（IVL），以隐式Q学习（IQL）（Kostrikov等人，2022）为代表，已成为近期离线强化学习研究中的基础性方法（Garg, Hejna, Geist, Ermon, 2023；He, Shen, & Wang）。与那些采用动作约束或保守Q函数的方法不同，IVL直接从离线数据集中的状态-动作对中学习价值函数（Zou等人，2019），并通过优势加权回归（AWR）（Nair, Gupta, Dalal, & Levine；Peng, Kumar, Zhang, & Levine）来生成策略。由于其简单性和高效性，IVL范式已被整合到多个框架中（Chen, Lu, Ying, Su, Zhu, 2023；Hansen-Estruch, Kostrikov, Janner, Kuba, & Levine）。此外，隐式价值正则化（IVR）（Xu等人，2023）为IVL提供了理论框架，将其视为施加在策略上的隐式正则化。这一解释推动了诸如稀疏Q学习（SQL）和指数Q学习（EQL）等先进方法的发展。不过，目前的IVL方法通常缺乏对价值学习过程的分步训练分析，且往往假设行为策略是最优的，从而很大程度上忽略了实践中更为常见的次优情况。本文提出了谨慎隐式价值学习（CIVL）方法，其主要贡献包括：
1）通过在更新过程中重新定义IVL的优势权重，揭示了V网络损失函数中缺失的一个约束项，即下一状态约束（NSC）。NSC为引入目标V网络提供了依据，使得价值网络训练更加谨慎。此外，还采用了基于NSC的样本过滤机制，以实现更谨慎的策略更新。
2）提出了轨迹位置加权（TPW）方法，以便在由多个行为策略收集的数据集中利用更多轨迹信息来辅助价值学习。TPW会根据样本在轨迹上的位置动态调整V网络损失函数中的不对称参数，从而实现对V网络悲观/乐观偏差的精细时间控制。
3）在策略学习中引入了负动作惩罚（NAP）机制。NAP会降低价值网络认为不值得学习的动作的概率密度，进而改善对次优动作的处理能力。由于NAP能够以随机方式对演员网络产生近似梯度惩罚，CIVL还引入了一个浮动项，以此协同增加这种梯度惩罚出现的概率。

本文的其余结构如下：第2节介绍强化学习的基础知识，包括IQL和IVR框架；第3节全面阐述CIVL方法，内容包括从更新顺序角度重新定义优势权重、目标V网络与NSC之间的关联，以及基于NSC的样本过滤在策略更新中的应用。该节还详细介绍了混合数据集下的轨迹位置加权技术，以及如何通过浮动项和负动作惩罚来增强隐式梯度惩罚效果；第4节展示实验结果与分析；第5节总结本研究得出的结论。

章节片段
强化学习
强化学习问题通常在马尔可夫决策过程（MDP）框架下进行建模。MDP可以用M=〈S,A,T,r,p0,γ〉来表示：S代表状态空间；A表示动作空间；T表示状态转移概率；r对应奖励函数；p0表示初始状态分布；γ则表示折扣因子。智能体根据策略π(a|s.)与MDP进行交互。强化学习的目标就是找到一个最优策略π*，使其能够最大化……

谨慎隐式价值学习
在本节中，我们将IVL理论与更新过程相结合，提出了CIVL方法。CIVL的设计理念是确保理论上的改进能够真正提升训练过程中的实际性能。

实验
在本节中，我们会对CIVL的算法性能进行评估。首先，我们会将CIVL与其他基准方法在标准离线数据集上进行比较。接着，我们对CIVL进行消融实验，并分析相关参数。此外，我们还会通过实验验证所提出的关键组件的有效性，包括过滤项wπ、浮动项以及TPW。最后，我们会比较CIVL与其他IVL方法的训练稳定性及训练成本。

结论
我们提出了CIVL，这是一种全新的离线强化学习方法。通过重新定义优势权重，我们明确了NSC与目标V网络之间的机制性关联，这为引入目标V网络提供了充分依据。CIVL还利用NSC作为过滤器，实现更为谨慎的策略更新。此外，我们还提出了TPW，用于根据混合数据集的特点动态调整不对称参数。在策略学习方面，我们提出了NAP机制，用于对具有负优势值的动作进行惩罚。

CRediT作者贡献声明
柯锦：撰写——初稿、软件、方法论、研究、概念设计。程宇虎：撰写——审阅与编辑、监督、资源支持、概念设计。孔毅：撰写——审阅与编辑、软件、资源支持、概念设计。陈C.L.菲利普：撰写——审阅与编辑、概念设计。王学松：撰写——审阅与编辑、监督、资源支持、资金获取、概念设计。

利益冲突声明
作者声明不存在任何可能影响本文研究成果的已知财务利益或个人关系。

致谢
本研究得到了中国国家自然科学基金项目62373364、62573416的支持，以及江苏省重点研发计划项目BE2022095的资助。

柯锦|程宇虎|孔毅|陈C.L.菲利普|王学松