基于多智能体强化学习、势场引导优化与权重调度的人形五指机器人抓取技术

《IEEE Transactions on Automation Science and Engineering》：Humanoid Five-Digit Robotic Grasping via Multi-Agent Reinforcement Learning with Potential-Guided Optimization and Weight Scheduling

　　

摘要：

灵巧的多指机器人抓取面临两个主要限制：（1）传统的基于演示的学习方法需要为每种物体类型单独训练轨迹，这导致其在不同物体间的泛化能力有限；（2）单智能体强化学习难以协调拇指与手指在结构不同的关节上的异步动作，从而导致探索效率低下且收敛速度缓慢。为克服这些限制，本研究提出了两项核心创新，包括：（1）动态调制核运动原语算法（DM-KMP），该算法将动态运动原语与基于核的运动原语相结合，以保持轨迹的拓扑结构及局部概率调制特性；（2）一种新型的势场引导权重调度多智能体深度确定性策略梯度方法（PWS-MADDPG），在这种方法中，拇指和手指被建模为独立的智能体。这使得仅需少量演示即可为多种物体类别生成抓取轨迹。通过利用势场模型优化动作选择，该方法加快了模型的收敛速度。此外，还设计了一种带有权重调度的多模态奖励函数，以实现从个体优化到协同团队行为的无缝过渡。实验结果表明，所提出的PWS-MADDPG在11种物体类别的抓取任务中取得了85.48%的抓取成功率，优于现有方法——相比DDPG算法提升了40.31%，相比MADDPG算法提升了20.05%。此外，为验证该系统在真实场景下的抓取稳定性与适应性，还使用了一种内置五个六轴传感器的定制圆柱形装置进行了握力验证实验。这些结果表明，采用这种新方法的机器人手能够保持稳定的抓取能力并具备良好的适应性...

查看更多