方差自适应的分布式软Actor-Critic算法：结合期望值目标与双优先级回放机制

《Neurocomputing》：Variance-adaptive distributional soft actor-critic with expected-value targets and dual-priority replay

　　摘要
高维连续控制对于分布式软演员-评论家（DSAC）来说仍然具有挑战性，因为评论家的学习受到随机目标方差、奖励尺度依赖的数值行为以及信息性转换的低效重用的影响。本文提出了方差自适应分布式软演员-评论家（VADSAC），这是一种基于DSAC的离策略最大熵强化学习框架，用于连续控制。在稳定的DSAC框架内，VADSAC结合了在均值相关评论家更新中的期望值替换、双分布式评论家以及基于学习到的回报方差的移动平均统计的方差自适应裁剪和梯度缩放。为了提高重放效率，进一步引入了一种双重优先级采样机制，该机制通过联合利用时间差分误差和分布式Kullback-Leibler散度以及重要性采样校正来实现。在八个MuJoCo基准任务上的实验表明，VADSAC比代表性的无模型基线具有更平滑的优化、更可靠的价值估计和更高的样本效率。消融研究进一步表明，所提出的组件提高了评论家更新的稳定性，减少了对奖励尺度的敏感性，并加速了学习过程。

引言
高维连续控制[1][2]是智能决策和控制系统中的核心问题，因为它涉及强烈的非线性耦合、接触不连续性、模型不确定性以及外部干扰[3]。对于许多实际任务，包括运动和机器人操作，随着操作条件的变化，准确的分析模型很难构建和维护。尽管基于模型和优化驱动的控制器在结构化假设下可以取得良好的性能[4][5]，但它们的有效性通常取决于精确的动力学模型和任务特定的调整[6][7]。这些限制[6][7]促使人们开发数据驱动的控制方法[8][9][10][11][12][13]，这些方法可以直接从交互中学习反馈策略，并适应复杂的操作条件。
在强化学习范式中，连续控制问题已经使用确定性和随机演员-评论家方法进行了研究。典型的例子包括深度确定性策略梯度（DDPG）[8][9]，它将演员-评论家学习扩展到连续动作空间，以及近端策略优化（PPO）[10]，由于其实现简单性和稳定的策略更新而被广泛使用。然而，对于高维连续控制任务，如PPO这样的在策略方法通常需要大量的交互数据。相比之下，离策略演员-评论家方法[12][13][14][15][16][17]可以通过经验回放重用之前收集的转换，因此通常样本效率更高。最近的研究还改进了实际控制问题中的重放利用。例如，基于课程的轨迹能量优先级已经被纳入离策略移动机器人导航中，结合模糊逻辑控制，以提高在未知动态环境中的采样效率和鲁棒性[11]。
最初为基于价值的强化学习开发的技术，特别是双Q学习[12][13]，对现代离策略演员-评论家算法产生了深远影响。软演员-评论家（SAC）[14]将离策略学习与最大熵正则化相结合，提供了有效的探索、稳定的优化以及在广泛连续控制基准测试中的竞争力表现。基于SAC的方法也已被应用于机器人控制问题[15][16]。最近的研究通过评论家架构的重新设计和结构化的策略表示进一步改进了基于SAC的连续控制，旨在提高训练效率、价值近似和在复杂控制任务中的适应性[17][18]。
最近，双演员-评论家与TD误差驱动的正则化（TDDR）利用两个演员-评论家对来提高价值估计的质量，而无需引入额外的超参数[19]。这些研究表明，评论家设计、目标构建和估计误差控制仍然是连续控制强化学习的中心问题。同时，分布式强化学习[20]模型返回的概率分布而不仅仅是它们的期望值，从而为价值估计和不确定性感知的策略评估提供了更丰富的信息。分布式软演员-评论家（DSAC）[21][22]将分布式评论家纳入最大熵演员-评论家框架，并在风险中性和对风险敏感的连续控制中展示了优势[23][24]。还开发了多风格扩展，以在统一策略中表示多样的控制行为[25]，而面向应用的DSAC变体扩展了其在合作追逐、半导体过程控制和安全驾驶[26][27][28]中的用途。带有三次细化的DSAC（DSAC-T）[29]通过期望值替换、双值分布和基于方差的评论家调整进一步改进了分布式评论家学习。除了评论家优化之外，最近的研究还从互补的角度研究了强化学习的鲁棒性。熵引导的种群多样化已被用于在训练伙伴之间保持行为多样性，而政策网络在分布外状态的泛化行为也得到了系统的分析[40][41]。这些研究解决了超出训练分布的政策多样性和泛化问题，这与本文关注的分布式评论家稳定性和重放效率相辅相成。
尽管取得了这些进展，稳定和样本效率高的分布式演员-评论家学习仍然具有挑战性。随机目标样本在均值相关的评论家更新中引入了额外的变异性，来自单个分布式评论家的估计误差可能会通过自举目标传播，而固定的裁剪或梯度缩放规则对奖励幅度敏感。DSAC-T通过期望值替换、双分布式评论家和基于方差的评论家调整缓解了这些评论家方面的问题。然而，重放采样在很大程度上与评论家学到的信息脱节：均匀重放忽略了存储转换的不等学习价值，而仅基于TD误差的优先级考虑了对均值校正的需求，但没有考虑到目标和预测回报分布之间的不匹配。此外，TD误差和分布散度通常具有不同的数值尺度，而非均匀采样可能会引入估计偏差。这些限制促使了一种协调评论家优化与期望值和分布信息的重放机制的发展。
为了解决这些限制，本文开发了方差自适应分布式软演员-评论家（VADSAC），作为一个用于高维连续控制的协调评论家-重放学习框架。VADSAC不是将评论家优化和经验采样视为独立的程序，而是在两个互补的层面上操作。在转换内部层面，期望值替换减少了均值相关更新的条件变异性，双分布式评论家抑制了过估计的传播，而方差自适应裁剪和梯度缩放减少了对应奖励幅度的敏感性。在转换之间层面，学到的评论家生成均值残差和分布不匹配信息，以动态调整重放分布。这种反馈耦合将回报分布的角色从价值表示扩展到训练数据和优化努力的分配。
本工作的主要贡献总结如下：
1) 为分布式演员-评论家控制制定了一个协调的评论家-重放学习框架。VADSAC将稳定的转换内部评论家更新与自适应的转换之间更新分配联系起来，使学习到的回报分布能够参与价值估计和重放分布的适应。这种形式提供了一个统一的学习过程，而不是将评论家稳定化和重放利用视为独立的算法模块。
2) 使用两种互补的转换重要性度量开发了一种与评论家一致的双重优先级重放机制。期望值TD误差代表了均值校正的需求，而目标分布和预测回报分布之间的Kullback-Leibler（KL）散度衡量了整体分布不匹配[31]。指数移动平均（EMA）归一化用于协调这两个信号的数值尺度，而重要性采样（IS）校正减轻了非均匀重放引入的偏差。因此，得到的采样分布与评论家学习的均值相关和分布相关的目标保持一致。
3) 提供了正式分析，表明在均值相关评论家更新中用其条件期望值替换随机目标可以保持预期的梯度及其相应的稳态条件，同时减少目标-回报采样引入的协方差。在八个MuJoCo基准[30]上的比较、消融和奖励尺度敏感性实验进一步评估了学习稳定性、价值估计的可靠性、奖励尺度鲁棒性和样本效率，证明了评论家-重放设计的互补效应。
本文的其余部分组织如下。第二节回顾了强化学习公式，并简要介绍了SAC和DSAC。第三节介绍了所提出的VADSAC算法。第四节报告了实验设置和基准结果，包括比较研究和消融分析。第五节总结了本文。

初步介绍
本节概述了相关的初步知识。我们首先介绍了RL框架，然后简要回顾了SAC和DSAC。这些定义和结果建立了后续章节中使用的符号和概念。

VADSAC算法
高维连续控制任务使得分布式演员-评论家学习特别容易受到随机目标变异性、奖励尺度依赖的数值行为以及信息性转换的低效重用的影响。为了在这些条件下提高分布式策略评估的稳定性和效率，VADSAC结合了在均值相关评论家更新中的期望值替换、带有方差自适应裁剪和梯度缩放的双分布式评论家。

环境
为了系统地评估所提出的VADSAC在连续控制任务中的实际性能，构建了一个高效的基于MuJoCo的动力学仿真和基准测试平台，以支持统一的策略训练和性能验证[30]。该平台用Python实现，并封装了一个符合OpenAI Gym[37]规范的定制接口，从而实现了标准化的工作流程，用于训练、评估和指标报告。

结论
本文提出了VADSAC，一种用于高维连续控制的方差自适应分布式软演员-评论家框架。通过稳定分布式评论家学习并提高重放利用率，VADSAC在最大熵强化学习框架内实现了更可靠的价值估计、减少了对奖励尺度的敏感性以及提高了样本效率。在八个MuJoCo基准任务上的实验及其对应的消融研究证明了其有效性。

未引用的参考文献
[34]

CRediT作者贡献声明
周思慧：写作——原始草稿。高伟：验证。曹梓月：数据整理。王坤阳：形式分析。钱志辉：方法论。任磊：资金获取。周淼蕾：验证。

资助
本工作部分得到了中国国家重点研发计划（Grant gs1）和吉林省科技发展计划（Grant gs2）的支持。

利益冲突声明
作者声明他们没有已知的会对其报告的工作产生影响的财务利益或个人关系。
周思慧分别于2020年和2023年在中国大连理工大学获得自动化学士学位和辽宁工业大学控制科学与工程硕士学位。她目前在中国长春的吉林大学控制科学与工程系攻读博士学位。她的当前研究兴趣包括神经网络控制、强化学习控制和控制。

周思慧|高伟|曹梓月|王坤阳|钱志辉|任磊|周淼蕾
吉林大学控制科学与工程系，中国长春 130022