PHER：一种解决机械臂抓取任务稀疏奖励问题的方法

《Technologies》：PHER: A Method for Solving the Sparse Reward Problem of a Manipulator Grasping Task Dianfan Zhang, Mutian Yang, Yuxuan Wang, Yameng Dong, Shuhong Cheng and Kunpeng Zhao

　　

离策略强化学习通常用于训练机械臂的抓取任务模型。然而，在训练过程中，很难收集到足够多的成功经验数据和奖励用于学习与训练，即存在稀疏奖励问题。事后经验回放（HER）允许智能体重新标注已完成的状态。但并非所有失败经验对学习与训练具有相同效果。面对运行过程中环境产生的大量转移，从经验回放缓冲区中采用随机均匀采样方法会导致数据利用率低和收敛缓慢。研究人员提出使用优先级采样方法对重新标注的转移进行采样，然后将其与多种离策略强化学习算法结合，在模拟环境中进行训练。研究人员使用优先级采样方法，使得智能体能够更早地访问更重要的转移，从而加速训练收敛。结果表明，优先事后经验回放（PHER）相比其他方法展现出显著更快的收敛速度。

**论文解读：基于优先级事后经验回放的机械臂抓取稀疏奖励问题解决方法**

**研究背景与问题**
深度强化学习（DRL）在机械臂控制任务中取得了显著进展，例如开门、操作等复杂场景。然而，训练过程中常面临稀疏奖励问题：在状态空间庞大且仅有少数特定任务能获得奖励的情况下，智能体难以收集足够的成功经验，导致学习效率低下。为缓解这一问题，事后经验回放（HER）被提出，它通过将失败经验中的目标重标为已达成状态，使失败经验也能获得非负奖励，从而扩充训练样本。但HER采用随机均匀采样从经验回放缓冲区中抽取转移，忽略了不同转移对学习贡献的差异，导致数据利用率低、收敛缓慢。为此，研究人员开展了本研究，旨在通过引入优先级采样机制改进HER，以加速机械臂抓取任务的训练收敛。该研究发表于《Technologies》。

**研究方法**
研究人员提出优先事后经验回放（PHER）方法，核心思路是结合优先级采样与HER。主要技术方法包括：（1）基于时序差分（TD）误差计算每个转移的优先级，优先级高的转移被更频繁地采样；（2）采用基于排序的优先级确定方式（rank-based prioritization），以增强鲁棒性并保证样本多样性；（3）使用求和树（sum-tree）数据结构高效存储和采样优先级，降低计算复杂度；（4）引入重要性采样权重（importance-sampling weight）调整损失函数，以补偿非均匀采样带来的偏差。PHER与三种离策略强化学习算法——深度确定性策略梯度（DDPG）、双延迟深度确定性策略梯度（TD3）和软演员-评论家（SAC）——结合，在OpenAI Gym的MuJoCo模拟环境中进行训练和评估，实验环境包括三个Fetch机器人任务（Reach, Push, PickAndPlace）。此外，在6自由度Z-Arm S622真实机械臂上部署了训练策略，验证了实际效果。

**研究结果**
**4.1 环境设置**
实验采用7自由度Fetch机器人臂，配备平行夹爪，执行三个任务：Reach（机械臂末端移动到目标位置，误差<0.05 m）、Push（推动方块到目标位置，误差<0.05 m）、PickAndPlace（抓取方块并移动至目标位置，误差<0.05 m）。奖励函数为稀疏二元奖励：成功得到0，失败得到-1。

**4.2 基线方法**
对比基线包括：DDPG/TD3/SAC结合HER或RHER（随机均匀采样），以及DDPG结合CHER（课程引导事后经验回放）。

**4.3 训练设置**
每个epoch包含50个episode，每个episode 50步。超参数与HER一致：小批量大小k=256，经验回放缓冲区大小R=10⁶。优先级指数α=0.6，重要性采样指数β=0.4（通过敏感性分析确定）。

**4.4 基准结果**
- **Reach任务**：PHER与HER/RHER结合三种算法时，收敛速度相近，但PHER在SAC下表现最佳。在DDPG和TD3下，PHER略有波动但总体加速。
- **Push任务**：PHER显著加快收敛速度。结合DDPG时，平均在53个epoch达到0.9–1.0成功率；结合TD3时，收敛更快且稳定；结合SAC时，表现最优。
- **PickAndPlace任务**：PHER在DDPG下于72个epoch，TD3下于52个epoch，SAC下于83个epoch快速收敛，成功率均达0.9–1.0。相比之下，HER和RHER收敛更慢，CHER在DDPG下未能收敛。
- **与CHER比较**：在Reach和Push环境中，PHER+DDPG可快速收敛，而CHER+DDPG无法收敛；在PickAndPlace中，PHER于约250个epoch收敛，CHER成功率逐渐上升但未收敛。
- **敏感性分析**：在PickAndPlace+TD3中，固定缓冲区大小时，α=0.6、β=0.4的组合收敛最快且稳定性最高。

**4.5 真实机器人实验**
在6自由度Z-Arm S622机械臂上部署PHER策略，采用CNN融合RGB与深度信息预测目标位置（mAP 95.2%），通过状态解耦和高保真建模缩小模拟到现实的差距。每个任务测试20次，容差5 cm。PHER在Reach、Push、PickAndPlace任务中成功率分别为100%、85%、75%，而HER分别为95%、65%、50%，PHER明显优于HER。

**讨论与结论**
讨论部分指出，PHER在复杂任务中表现出显著加速优势，但相比其他算法稳定性稍差，尤其是在DDPG下波动较大，而结合SAC后稳定性差异最小。未来工作需进一步提高精度和稳定性。研究结论翻译如下：
本研究提出一种方法（PHER）来解决机械臂抓取任务的稀疏奖励问题。该方法与离策略强化学习算法结合，应用于三种机械臂操作任务。该方法在HER基础上增加了两个步骤：经验优先级排序和按优先级采样，从而解决了HER中随机均匀采样导致的经验利用率低的问题。通过将PHER与三种离策略强化学习算法结合，在三种机械臂环境中进行实验，并与HER和CHER比较，中位成功率的收敛速度显著提升。然而，与其他算法相比，PHER稳定性相对较低。尽管在处理复杂任务时完成更快，但其精度仍需进一步提高。未来目标是寻找更好的稀疏奖励问题解决方法，提高经验利用率，使机械臂能在复杂环境中收敛。