基于图强化学习的可扩展去中心化协同导航控制器

《Robotics and Autonomous Systems》：Scalable decentralized controllers for cohesive navigation using graph reinforcement learning

　　

摘要

由于具备鲁棒性、可扩展性、高效性及恢复力等优势，大规模机器人集群在解决复杂任务方面发挥着越来越重要的作用。然而，仅依靠局部信息来控制这类系统极具挑战性。而基于全局信息的集中式方法则常常面临可扩展性问题，需要大量的计算和通信资源，实际应用性较差。本文提出了一种全新的多智能体强化学习与图神经网络相结合的方法，用于为大规模机器人集群设计去中心化的控制策略。图神经网络是一种具有良好迁移性和可扩展性的分布式架构，它以完全去中心化的方式在网络中运行，因此非常适合这项任务。这类网络能够从数据中学习状态信息和结构信息。我们采用了带有异构性约束的消息传递图神经网络作为模型结构，并使用多智能体图神经网络近端策略优化算法来训练这些网络，该算法利用图神经网络实现智能体间的可微通信。我们研究了三类2D和3D机器人——完整约束点质量机器人、非完整约束地面机器人以及四旋翼无人机——在不同数量和组合下的异构机器人集群的协同导航行为。我们在仿真环境中为完整约束点质量机器人训练出的控制策略，可直接应用于基于物理原理的Turtlebot3机器人集群、Pybullet仿真环境中的Crazyflie四旋翼无人机集群，以及真实环境中的移动机器人，这些机器人能够在避免相互碰撞的同时展现出协同（分离或聚集）导航行为。这类行为在群体机器人领域已被广泛研究，有望用于解决复杂的机器人任务。实验表明，仅依靠局部信息，我们就能有效实现不同动力学特性的异构机器人集群的分离或聚集导航。我们还通过构建更大规模的机器人集群以及最多30台机器人的不同组合，分析了课程学习机制和通信半径对控制器性能及系统可扩展性的影响。此外，我们还展示了如何在真实环境中将仿真环境中训练得到的图神经网络控制策略成功应用于非完整约束的移动机器人——Turtlebot3汉堡机器人。相关视频演示地址为：https://sites.google.com/view/graphrl-cohesivenavigation/。

引言

机器人集群由多个智能体组成，它们通过协作完成特定任务。由于其具备强大的鲁棒性、灵活性、可扩展性及容错能力，这类系统在解决现实世界中的复杂问题方面表现优异，应用范围日益广泛，包括按需无线网络、灾难救援、仓库管理、区域覆盖、侦察任务，还能在GPS信号缺失的环境中实现传感器覆盖。传统上，这类系统的控制与自主导航方法需要完整的状态信息，有时还需由中央智能体进行控制，同时还需要对机器人的运动特性有精确的了解，因此需要大量的计算资源。这类方法存在维度灾难问题，只有当智能体数量较少的情况下才具备实用性。此外，感知和通信方面的限制也使得现有方法在部分可观测环境及实时应用场景中的性能大打折扣。

在此，我们提出了一种完全基于端到端学习的解决方案，用于开发可靠的去中心化行为策略。这类策略仅依赖局部感知信息，却能有效控制大规模机器人集群。该方法基于图神经网络，是一种新颖的去中心化方案，能够让异构机器人集群在仅依靠局部感知信息的同时，实现分离或聚集以及导航行为，还能避免相互碰撞。我们将这种行为称为协同导航。在朝向目标位置移动的过程中，机器人集群会表现出两种不同的行为：(a) 分成不同的小组（分离行为）；(b) 形成同质混合的群体结构（聚集行为），如图1所示。我们对三类多机器人进行了相关研究——完整约束点质量机器人、非完整约束地面机器人以及四旋翼无人机。我们结合图神经网络与多智能体深度强化学习的优势，在真实的仿真环境中让完整约束机器人经历了数亿次环境状态变化后的训练。之后，我们将针对点质量完整约束系统训练得到的策略，应用到最多30台的非完整约束移动机器人及四旋翼无人机上。实验结果表明，由我们的图神经网络策略控制的这三类机器人，能够在执行任务时产生高效、平滑且无碰撞的轨迹，且计算量极小。我们还通过不同数量和组合的机器人以及多种目标位置的高保真仿真实验，证明了这些策略可以无需额外调整即可直接应用于真实的移动机器人集群——Turtlebot3汉堡机器人平台。据我们所知，这是首项同时满足以下条件的研究：(a) 使用端到端深度图强化学习，在真实的物理仿真环境中实现了机器人集群的可扩展性去中心化控制；(b) 利用深度图强化学习实现了地面机器人和空中机器人的分离及聚集导航功能；(c) 证明了所训练得到的策略可以应用到真实的移动机器人团队中。

章节要点

多机器人导航

多机器人导航是机器人学和人工智能领域的研究热点，其应用范围极为广泛，包括环境测绘[2]、灾难救援[3]、协同定位[4]、包裹运输[5]、多目标跟踪[6]以及农业领域[7]。多机器人导航面临的主要挑战之一，就是如何设计出既强大又安全、具备自主导航能力且能避免碰撞的策略，从而使每个机器人都能高效地达成自身目标或集体目标。

主要贡献

据我们所知，这是首项利用图强化学习实现三类机器人——完整约束及非完整约束地面机器人、空中机器人——的分离及聚集导航功能的研究。

因此，本文的主要贡献包括：

• •
  设计了一种新颖、可扩展且去中心化的方法，能够让异构机器人集群在仅依靠局部感知信息的情况下，同时实现分离或聚集以及导航行为，还能避开障碍物

问题定义

我们的目标是学习一种去中心化的控制策略，该策略能够将各个智能体的感知信息直接转换为2D机器人的加速度参数以及3D机器人的电机推力参数，从而在实现机器人分离或聚集的同时，将所有机器人的质心引导至目标位置，同时避免碰撞。我们将这项任务称为分离及聚集导航。与所有机器人都能获取其他机器人全局信息的集中式控制器不同，我们的方法采用去中心化设计

移动机器人集群中的分离及聚集导航

在本节中，我们重点研究移动机器人，尤其是完整约束和非完整约束的2D机器人集群的分离及聚集导航问题。我们在5.1节介绍了系统动力学模型与训练框架，5.1.2节阐述了观测空间，5.1.3节介绍了动作空间，5.2节展示了实验结果，5.3节则对性能进行了评估。5.1.4节则说明了如何将针对完整约束系统训练得到的策略迁移到非完整约束系统中。

四旋翼机器人集群中的分离及聚集导航

为展现图神经网络在为复杂机器人系统设计去中心化控制器方面的优势，我们研究了如何将点质量系统中所训练得到的控制器应用到四旋翼无人机上。我们的实验是在基于PyBullet²（gym-pybullet-drones）的OpenAI Gym环境中进行的，该环境由[102]开发，用于测试我们的图神经网络控制器在真实3D环境中的性能。该环境具备并行处理能力，可方便地进行实验执行

真实环境实验

为全面验证我们的方法，我们将所设计的控制策略应用到了非完整约束的Turtlebot3汉堡机器人平台上。我们在仿真环境中针对9台机器人分3组的情况所使用的GPPO控制器，被直接移植到了硬件设备上。我们测试了该控制器在分离和聚集两种模式下的表现，分别对应8台机器人分2组以及10台机器人分2组的场景。将仿真环境中训练得到的策略应用到真实环境中存在一定的挑战，首先，在真实场景中，感知数据中会存在噪声干扰

结论与未来工作

控制多个自主智能体组成的系统，核心难点在于设计出适合去中心化实现的控制器。我们的实验结果表明，通过图强化学习训练得到的机器人集群，能够在2D和3D空间的各种真实机器人动力学环境下，实现高效的分离及聚集导航功能，同时还具备出色的避碰能力。这些任务都是通过完全去中心化的方式完成的

CRediT作者贡献说明

Oyindamola Omotuyi： 数据整理、形式化分析、方法设计、项目管理、资源协调、结果验证、可视化处理、论文初稿撰写、论文审阅与修改。 Manish Kumar： 指导工作。

利益冲突声明

作者声明，他们不存在任何可能影响本文研究结果的已知财务利益冲突或个人关系。

Oyindamola Omotuyi于2021年在美国俄亥俄州辛辛那提大学获得机械工程硕士学位，2023年完成博士学位。2021年和2022年，她曾在NVIDIA公司实习，参与对话式人工智能及机器人相关项目的研发工作。她的研究兴趣涵盖机器人控制、单智能体及多智能体系统、深度强化学习、多传感器数据融合、工业应用中的人机数字孪生技术以及人工智能领域。

Oyindamola Omotuyi|Manish Kumar