基于图同构注意力网络与图信息嵌入强化学习的双臂机器人远程操作及操控技能获取方法

《JOURNAL OF MANUFACTURING SYSTEMS》：A graph isomorphism attention network and graph information embedded reinforcement learning-based dual-arm robot teleoperation and manipulation skill acquisition method

　　曾福川|李龙江|彭骥|毛业兵|李航|张学健|胡晓兵•本文提出了一种具有运动学约束的图神经网络，用以提升重定向任务的精度与效率。•所提出的GIAN-KF方法无需手动进行关节映射，即可实现准确且稳定的重定向操作。•GIERL算法将人类示范与强化学习相结合，有助于高效获取技能。•此外，还设计了一种人工智能辅助的共享控制方法，用于实际任务中以降低认知负担。

引言在许多工业环境中，人们常常需要执行重复性或体力要求较高的任务，比如在狭小空间内长时间搬运物品或协调双臂动作，这些工作可能导致肌肉骨骼疾病并降低操作效率。尽管机器人技术和人工智能取得了显著进展，但在让机器人在复杂且不断变化的真实环境中替代人类并自主执行各种任务方面，仍存在诸多挑战[1]。机器人遥操作可以通过远程控制的实体化形象，使操作者能够在安全距离外执行复杂任务。通过将人类的感知、认知和领域专业知识与机器人精确可靠的执行能力相结合，遥操作使得在危险或人类无法进入的环境中也能有效作业[2]、[3]。此外，遥操作系统还能帮助构建高质量的机器人操控数据集，为机器人的模仿学习提供宝贵的训练样本，从而加速具身智能机器人的发展[4]、[5]、[6]。常见的遥操作技术包括基于主从结构的双向遥操作、利用虚拟现实（VR）和增强现实（AR）的遥操作，以及基于人类动作重定向的方法。双向主从遥操作通常依靠力反馈装置来推断人类意图、控制从属机器人，并为操作者提供触觉反馈[7]。以往的研究通过基于增强现实的反馈预测[8]、带有波浪变量修正的自适应力观测器[9]以及固定时间自适应控制策略[10]，解决了通信延迟和稳定性问题。与此同时，由于具备更强的沉浸感和情境意识，基于VR的遥操作越来越受到关注。相关研究包括将多模态交互用于机器人控制[11]、利用VR实现远程装配中的视觉增强和信息推荐[12]，以及结合VR/AR与数字孪生技术，以提高机器人任务的效率、安全性并降低认知负担[13]。与上述两种方法相比，重定向是一种更为灵活的遥操作策略，更适用于双臂机器人。然而，由于人类与机器人之间的运动学差异以及运动优化的高计算成本，实现精确的实时控制仍然具有挑战性。为了解决这些问题，张等人[14]将神经网络与基于优化的改进方法相结合，用于对 humanoid机器人进行手语教学的遥操作，但实时性能仍有限。苏等人[15]则采用增量学习框架实现了对7自由度机械臂的遥操作，该方法具有一定鲁棒性，但在运动映射过程中仍会出现运动学奇异性。此外，估计误差和传感器噪声也会引入干扰，进一步降低遥操作的精度。类似地，高等人[16]利用人类关键点及双手检测技术来控制机械臂，并在物体抓取和操控任务中验证了他们的方法。不过，郑等人[17]仅在对模拟环境进行测试，未在真实机器人上开展实时实验。

机器人可以通过遥操作数据获取操作模式和技能，从而实现技能克隆。早期的研究多依赖运动原语和高斯过程模型。例如，基于动态运动原语（DMPs）的轨迹和技能学习[18]、[19]通过微分方程来建模内在运动模式，但其泛化能力存在固有限制[20]。近年来，深度学习的进步显著推动了模仿学习的快速发展。例如，LION框架[21]可以直接从人类示范视频中学习动作策略，无需机器人交互即可在真实环境中高效实现技能模仿。为了解决冗余操作臂在轨迹生成过程中逆运动学的局限性，有研究将这一问题转化为马尔可夫决策过程，并提出了一种适用于任意自由度操作臂的通用深度强化学习方法[22]。同样，姚等人[23]引入了一种离散动作空间预测方法，结合数据增强和协同训练策略，大幅提升了策略的泛化能力和数据利用效率。作为一种具有前景的无监督策略发现与学习算法，强化学习已广泛应用于众多领域。例如，严等人[24]利用近端策略优化（PPO）算法实现了自动驾驶；何等人[25]开发了SurgIRL框架，将强化学习应用于手术任务的自动化；王等人[26]用它来实现机器人的避障运动规划；曲等人[27]则利用强化学习训练机器人掌握沿门导链拆卸螺栓的技能。此外，周[28]和刘等人[29]也分别探讨了强化学习在机器人装配和通用操控任务中的应用。目前，遥操作面临的主要瓶颈在于精度不足和计算速度较慢。此外，现有方法难以同时实现大范围内的粗略操控和小区域内的精细控制，这限制了其在多尺度操作任务中的适应性。这些性能缺陷会直接影响所收集数据的质量，进而制约机器人技能获取技术的进一步发展。另外，遥操作通常会带来较大的认知负担。操作者必须在不同的空间表征之间不断切换，要在延迟、有限的视觉反馈以及多自由度控制的情况下预判动作并实时进行调整。这很容易导致精神疲劳和操作失误。虽然直接的主从映射方式直观易懂，但由于运动尺度、自由度、视角和动力学方面的差异，可能会影响手眼协调能力。此外，在远程环境中，缺乏深度感知、触觉反馈不足、障碍物干扰以及接触互动的不确定性，都使得机器人与其环境之间实现精确、合规的互动变得十分困难，从而进一步增加了控制难度和认知负担。机器人可以通过专家的示范学习技能，以便在真实环境中完成任务[30]、[31]。然而，通过人类动作映射获得的遥操作数据往往缺乏与环境的真实物理交互。因此，直接将这些数据转换到机器人执行空间往往会导致失败，尤其是在需要精细操控的任务中。此外，当通过行为克隆学习人类技能时，示范数据本身存在的次优性可能导致分布偏移，一旦模型遇到未见过的场景，性能就会大幅下降。尽管强化学习具有广泛的适用性，但它仍存在一些固有挑战。首先，这类算法通常需要与环境进行大量交互，从而导致漫长的训练时间和高昂的计算成本。其次，强化学习方法的性能对奖励函数的设计极为敏感；设计不当的奖励很容易使智能体陷入局部最优解，从而阻碍其收敛到理想的最优策略[32]、[33]、[34]。为了解决上述问题，本文提出了图同构注意力网络（GIAN），用于将人类手臂动作编码为图拓扑特征。通过利用图空间中的结构对应关系，GIAN提升了遥操作的执行精度和计算效率，同时还能在无标签的跨形态场景中进行动作重定向。此外，我们还提出了图信息嵌入强化学习框架（GIERL），该框架将GIAN编码的图特征纳入观察空间，并根据编码后的人类动作特征设计奖励函数。这种设计通过引入基于人类示范的结构化运动先验来引导强化学习，从而提高了技能获取的效率。为验证所提出的协作框架的有效性，我们开发了一个整合了GIAN和GIERL的人工智能辅助共享控制系统。实验结果表明，该系统在提高任务执行效率的同时，也降低了遥操作带来的认知负担。本文的主要贡献如下：(1) 本文提出了一种基于GIAN的重定向方法，该方法将人类动作编码为图拓扑结构，从而实现双臂机器人的实时遥操作。在训练阶段，该方法无需手动标注的人机关节映射数据。通过将人类动作数据转换为图拓扑结构，并结合图神经网络与包含运动学约束的学习方法，该方案可实现精确的动作重定向。此外，引入强大的卡尔曼滤波器（RKF）进行状态估计，可以有效抑制噪声和异常值的干扰，显著提升动作重映射控制的精度和稳定性。(2) GIERL算法专为机器人操控任务的学习而设计。该方法结合了模仿学习和强化学习的优点。通过将GIAN提取的图表示特征作为观察值输入智能体，并根据人类动作数据的图编码特征设计奖励函数，智能体能够快速掌握相关的操作技能，从而大幅提升强化学习的学习效率。(3) 为验证这种协作设计的实际价值，我们基于GIAN和GIERL构建了一个用于人工智能辅助操作的共享控制系统，并在多种任务中进行了验证。实验结果表明，该方法不仅提高了任务效率，还降低了遥操作的认知负担。本文的其余部分安排如下：第2节详细介绍本文提出的方法；第3节对重定向方法进行对比与验证实验；第4节开展机器人技能学习与共享控制研究；最后，第5节给出结论。

章节摘录双臂机器人遥操作与技能学习架构本文提出了一种用于humanoid机器人遥操作和技能学习的架构，其基本原理如图1所示。该架构的主要组成部分将在下文中详细阐述。

重定向方法比较为评估所提重定向方法的实时性能和精度，本小节首先将该方法与另外两种方法进行比较。所比较的三种重定向方法分别是：(1) 基于所设计的RKF-GIAN模型的重定向方法；(2) 基于使用人类动作-机器人样本对进行自监督训练的方法；(3) 基于数值优化的解决方案。比较评估使用了AMASS数据集中的人类动作数据。

仿真训练为验证本文提出的GIERL算法的有效性，本章设计了一项机器人技能学习实验。实验任务如下：机器人必须通过协调双臂动作紧紧抓住一个盒子，利用接触面产生的摩擦力防止盒子滑动。随后，机器人需将盒子平稳抬起至指定高度并保持稳定。模型训练的参数设置如下：

结论本文提出了一种将遥操作与技能学习相结合的双臂机器人操作方法。在遥操作方面，引入了基于GIAN和RKF的双臂遥操作方法。该方法无需依赖手动标注的成对样本，即可实现精确的人类动作重定向。当与多信息融合精细操控模式结合使用时，该系统能够帮助双臂机器人实现高精度、低延迟的实时遥操作。

CRediT作者贡献声明曾福川：写作——审稿与编辑，写作——初稿撰写，可视化，验证，软件，方法论。李龙江：软件。彭骥：形式分析。毛业兵：监督，数据整理。李航：验证，监督。张学健：监督，软件。胡晓兵：监督，项目管理，调研，资金获取。

利益冲突声明作者声明不存在任何可能影响本文工作的已知财务利益或个人关系。

致谢本研究得到了四川省科技计划项目的重点研发项目支持，项目编号为2022YFG0072。此外，该研究还得到了四川省经济和信息化厅的重点技术装备突破项目支持，项目编号为2023-JXT-01。