基于强化学习的双软体操作器协同目标跟踪框架

《Electronics》：Centralized Reinforcement Learning for Shared-Target Tracking of Dual Soft Robotic Manipulators with B-Spline-Parameterized Distributed Actuation

　　

摘要

多软体机器人操作器的协同控制具有挑战性，因为连续变形、分布式驱动和非线性动力学同时增加了建模与策略学习的复杂度。本文提出了一种基于仿真的强化学习框架，用于两个软体操作器对共享目标进行协同跟踪。每条机械臂在 PyElastica 中被建模为三维可剪切 Cosserat 杆。一个集中的马尔可夫决策过程将两个操作器的状态与共享目标的运动整合在一起。为了降低动作维度同时保留分布式驱动能力，法向和副法向力矩分布通过低维 B 样条控制点进行参数化。协作奖励对两条机械臂的跟踪误差进行惩罚，并鼓励同步收敛，同时采用双延迟深度确定性策略梯度算法进行策略训练。策略在有界随机目标运动下进行训练，并在圆形、矩形和"8"字形轨迹上进行评估。仿真结果表明，两个末端执行器能够跟踪具有不同运动特征的目标，平均空间误差为 0.043–0.065 m。该框架在平滑运动下能保持稳定跟踪，并在急转弯附近能够快速恢复。这些结果证明了双软体操作器实现协同共享目标跟踪的可行性，并为具有碰撞感知的协同跟踪以及仿真到实物的迁移奠定了基础。