机器人操作中深度强化学习探索策略的实证比较：噪声调度对分布内外泛化的影响

《Scientific Reports》：Noise scheduling and out-of-distribution generalisation in deep reinforcement learning for 6-DOF robotic grasping

　　

摘要

探索策略是面向机器人操作的深度强化学习中一个基础但研究不足的设计选择。本文在 RoboSuite 仿真环境中使用 Universal Robots UR5e 机器人对三种异策略配置在 6 自由度机器人抓取任务上进行了受控的实证比较：带有自动熵调节的软演员 - 评论家（SAC）、带有分段线性噪声衰减的双延迟深度确定性策略梯度（TD3），以及带有恒定高斯噪声的 TD3。所有配置共享相同的网络架构、奖励函数和训练预算。两种 TD3 变体仅在动作噪声调度上有所不同，构成了研究的受控比较，而 SAC 则作为广泛使用的熵正则化参考基准。每种配置在五次独立运行中训练了 10,000 个回合，并在分布内和分布外均进行了 1,000 个确定性回合的评估。SAC 取得了最高的分布内成功率（89.6%）和训练效率，相对于两种 TD3 变体具有较大的效应量（\(d = 1.32\) 和 \(d = 1.47\)），并且在学习曲线下面积方面表现出完全的排名分离。在训练分布内，两种 TD3 变体在统计上无法区分（\(d = 0.04\)）。然而，在分布外评估下，这种对比发生了剧烈变化：噪声衰减变体的平均成功率达到 43.1%，而恒定噪声仅为 32.3% —— 效应量为 \(d = 1.08\)（而在训练分布内的相同比较可以忽略不计）—— 同时具备三种配置中最低的跨运行方差以及在工作空间上更均匀的成功分布。在每种配置五次运行的情况下，没有成对差异达到显著性水平，比较是通过效应量和置信区间进行解读的。这些结果表明，噪声调度设计对分布内性能和空间分布外泛化具有可测量的不同影响，并且标准的单指标评估协议可能无法捕捉到探索策略之间的有意义的差异。