基于图强化学习的可达性地图，用于通用移动操控

《IEEE Transactions on Cognitive and Developmental Systems》：Graph Reinforcement Learning-based Reachability Map for Generalized Mobile Manipulation

移动机械臂导航中提出了一种基于图强化学习（GRAM）的方法，利用图注意力网络（GAT）捕捉物体空间关系，结合预训练的价值网络生成可达性地图，解决长周期任务中的技能迁移问题。实验表明，在Fetch机器人平台上，GRAM在四个可变环境中平均性能提升16.3%，长周期任务成功率提高4.2%。

　　

摘要：

移动操作机器人在执行操作任务之前需要确定可行的导航位置。现实世界环境中的障碍物和物体种类繁多，这使得计算最佳导航位置变得极具挑战性。在这项研究中，提出了一种名为基于图强化学习的可达性地图（Graph Reinforcement Learning-based Reachability Map，简称GRAM）的新方法。首先，GRAM使用图注意力网络（Graph Attention Network，GAT）来捕捉物体之间的空间关系；随后，它利用预训练的评估网络（critic network）生成的Q值来构建可达性地图。该可达性地图被整合到长时序任务的导航策略中，有效解决了技能转换问题。在Fetch移动机器人平台上进行了广泛的仿真和实际实验。结果表明，GRAM具有显著优势：在四种不同环境中，仿真测试显示其性能平均提升了16.3%；在长时序任务中，GRAM的整体任务成功率提高了4.2%。该项目为开源项目，代码托管在https://github.com/nubotnudt/GrandRM。