《Technologies》：Additive Manufacturing in Space: Technologies, Flight Heritage, and Materials
Emilia Georgiana Pris?cariu,
Oana Dumitrescu and
Raluca Andreea Ro?u
编辑推荐：
离策略强化学习（off-policy reinforcement learning）通常用于训练机械臂的抓取任务模型。然而，在训练过程中，研究人员很难收集到足够多的成功经验数据和奖励用于学习和训练，即存在稀疏奖励（sparse rewards）问题。后见经验回
离策略强化学习（off-policy reinforcement learning）通常用于训练机械臂的抓取任务模型。然而，在训练过程中，研究人员很难收集到足够多的成功经验数据和奖励用于学习和训练，即存在稀疏奖励（sparse rewards）问题。后见经验回放（Hindsight Experience Replay, HER）允许智能体对已完成的状态进行重标。但并非所有失败经验对学习和训练都有相同效果。面对操作过程中环境产生的众多转移（transition），从经验回放缓冲区（experience replay buffer）中采用随机均匀采样方法会导致数据利用率低和收敛速度慢。研究人员提出使用优先采样（prioritized sampling）方法对重标后的转移进行采样，并将其与多种离策略强化学习算法结合，在模拟环境中进行训练。研究人员采用优先采样方法，使智能体能够更早地访问更重要的转移，加速训练收敛。结果表明，带有优先级的后见经验回放（Prioritized Hindsight Experience Replay, PHER）相比其他方法展现出显著更快的收敛速度。
**论文解读文章**
**研究背景与问题**
在强化学习（Reinforcement Learning, RL）领域，智能体通过与环境的交互改进行为，目标是最大化长期累积奖励。深度强化学习（Deep Reinforcement Learning, DRL）结合深度神经网络，在处理高维观测和复杂决策任务中取得突破，例如机械臂控制（开门、操作等）。然而，现实工程任务中，设计有效的奖励函数常面临困难，尤其在仅知结果而过程不可描述的场景（如解魔方）下，稀疏奖励问题突出：当状态空间巨大且仅少数特定任务能获得奖励时，智能体难以学习。后见经验回放（Hindsight Experience Replay, HER）通过将失败经历的目标重标为已实现目标，使失败经验也能获得非负奖励，从而缓解稀疏奖励问题。但HER在经验回放缓冲区中采用随机均匀采样，忽略了不同转移的重要性差异，导致数据利用率低、收敛缓慢。为此，研究人员提出了基于优先采样的后见经验回放（Prioritized Hindsight Experience Replay, PHER），以提升训练效率。该研究发表在《Technologies》。
**主要技术方法**
研究人员引入优先经验回放（Prioritized Experience Replay, PER）技术到HER中，通过时序差分（Temporal Difference, TD）误差计算每个转移的优先级，并使用基于排名的优先化方法（rank-based prioritization）确定采样概率，同时利用和树（sum-tree）数据结构高效存储和采样优先级。PHER与三种离策略强化学习算法——深度确定性策略梯度（Deep Deterministic Policy Gradient, DDPG）、双延迟深度确定性策略梯度（Twin-Delayed Deep Deterministic Policy Gradient, TD3）和软演员-评论家（Soft Actor–Critic, SAC）结合，在OpenAI Gym的三种MuJoCo仿真环境（Fetch-Reach, Fetch-Push, Fetch-PickAndPlace）中进行训练，并在真实6自由度机械臂（Z-Arm S622）上部署验证。仿真环境使用7自由度Fetch机器人臂，奖励函数为稀疏二元奖励（成功0，失败-1）。真实实验中，研究人员采用基于卷积神经网络（CNN）的模型融合RGB和深度信息预测目标与物体位置，训练集来自约1000张真实图像（8:2分割），验证集平均精度（mAP）达95.2%。
**研究结果**
- **Fetch-Reach任务**：PHER与DDPG、TD3、SAC结合，均表现出较快收敛。其中SAC算法表现最佳。PHER与HER的收敛轮数接近，成功率均保持1.0。
- **Fetch-Push任务**：PHER在三种算法下均比HER和RHER收敛更快。与DDPG结合时，不同随机种子下平均收敛轮数为53，成功率0.9–1.0。SAC算法在此任务中表现最优。
- **Fetch-PickAndPlace任务**：PHER显著提升收敛速度。与TD3结合时收敛最快，平均52轮，成功率0.9–1.0。与DDPG结合时约72轮收敛，与SAC结合时约83轮收敛。
- **与CHER对比**：在Reach和Push环境中，PHER+DDPG能快速收敛，而CHER+DDPG无法收敛；在PickAndPlace环境中，PHER+DDPG约250轮收敛，CHER+DDPG成功率逐渐上升但最终未收敛。
- **超参数敏感性分析**：在PickAndPlace环境中，固定缓冲区大小时，优先级指数α=0.6、重要采样指数β=0.4时收敛最快且稳定性最高。
- **真实机器人实验**：PHER在Reach任务成功率100%，Push任务85%，PickAndPlace任务75%；HER对应成功率分别为95%、65%、50%。PHER显著优于HER。
**总结讨论**
研究结论部分指出：本研究提出了一种解决机械臂抓取任务稀疏奖励问题的方法（PHER）。该方法与离策略强化学习算法结合，应用于三种机械臂操作任务。PHER在HER基础上增加了经验优先级排序和按优先级采样两个步骤，解决了HER中随机均匀采样导致的经验利用率低问题。通过将PHER与三种离策略强化学习算法结合，在三种机械臂环境中进行实验，并与HER和CHER比较，其中位成功率的收敛速度显著提升。然而，与其他算法相比，PHER稳定性相对较低。尽管在处理更复杂任务时完成更快，其精度仍需进一步改进。未来目标是寻找更好的方法解决稀疏奖励问题，提高经验利用率，使机械臂能在复杂环境中收敛。
