《Advanced Intelligent Systems》：Graph Neural Network-Based Reinforcement Learning for Decentralized Multi-Robot Manipulation
编辑推荐：
在紧密协作的操控任务中，机器人操作臂必须遵循无碰撞且协调的轨迹。现有的多智能体学习框架通常依赖集中式规划器（centralized planner），其能够提供强协调性，但在较大团队中难以扩展。相比之下，分散式方法（decentralized approach
在紧密协作的操控任务中，机器人操作臂必须遵循无碰撞且协调的轨迹。现有的多智能体学习框架通常依赖集中式规划器（centralized planner），其能够提供强协调性，但在较大团队中难以扩展。相比之下，分散式方法（decentralized approach）具有更好的可扩展性，但通常缺乏通信，从而限制了其实现高度协作行为的能力。为解决这一不足，研究人员提出了一种基于图神经网络（graph neural network, GNN）的可扩展多智能体强化学习（multiagent reinforcement learning, RL）框架。在该框架中，每个操作臂被表示为GNN中的一个节点，消息传递边（message-passing edge）提供了一种通信机制，使智能体能够有效共享信息。该设计使团队能够实现灵活的分散式规划，同时保持强协作性。研究结果还证明了该方法的可扩展性，表明单一控制策略可经过一次训练后，无需重新训练即可成功应用于不同团队规模的紧密协作操控任务。
紧密协作的多机器人操控任务要求各机械臂遵循无碰撞且协调的轨迹。随着汽车制造、空间探索等任务复杂度提升，单机器人难以胜任，多机器人系统（MRS）需求增加。现有集中式多智能体学习框架（centralized MARL）能提供强协调性，但联合状态-动作空间随智能体数量指数增长，且单一全局奖励难以分配个体贡献；分散式框架虽可扩展，但缺乏智能体间通信，难以处理动作依赖。已有研究将GNN用于多机器人路径规划等，但多处理松散耦合任务或简单动作空间。因此，研究人员提出基于图神经网络（GNN）的分散式多智能体强化学习框架，用于紧密耦合操控任务，并验证其可扩展性。研究人员将每个机械臂表示为GNN节点，通过消息传递边实现通信，采用A2C算法训练控制策略，在Isaac Gym中模拟KUKA机械臂协同抬桌任务。结果证明，该框架在任务成功率、训练时间和不确定性处理上优于集中式和分散式基线；单一控制策略可应用于四、五、六臂团队，无需重新训练。
在关键技术方法方面，该研究采用基于GNN的分散式控制策略，每个节点由RNN和GNN组成，GNN包含两个图卷积层和一个MLP层，节点间通过密集连接的双向边传递聚合消息，使每个智能体在保持分散执行的同时获得全团队状态信息。训练使用A2C算法，actor和critic网络共享RNN/GNN结构。奖励函数由末端接近、物体提升、关键点接近和平衡四部分组成，并采用课程学习逐步缩小关键点目标容忍距离。训练在Isaac Gym仿真环境中进行，每个团队规模使用2048个并行环境，可扩展策略使用6144个环境。所有测试在NVIDIA 4090 GPU上进行。
研究结果部分。4.1专用训练结果。4.1.1训练性能：通过比较三种框架在四、五、六臂团队上的训练目标值曲线发现，四臂时三种框架均能收敛，集中式略优但存在机械臂不参与；五臂时分散式无法收敛，集中式虽收敛但训练步数更多且有一两臂不参与；六臂时仅GNN框架成功收敛。参数数量方面，集中式随团队增大显著增加，而GNN保持0.144M。4.1.2测试性能：在10kg桌面任务中，四臂团队集中式成功率98%最高，GNN为97.4%，分散式94%；五臂和六臂时GNN成功率分别为97%和98.6%，显著优于其他。在14-18kg表重和位置偏移不确定性测试中，GNN成功率下降最小，如18kg时仍达89%，而集中式仅0.4%。4.2协调性分析：定义了起始时间方差、智能体参与率和关键点离散度三个指标。消融实验将聚合消息置零后，任务成功率降至3%-6%，关键点离散度增加约17倍，证明通信边承载了协调行为。4.3可扩展性结果：训练了一个适用于四、五、六臂团队的可扩展控制策略，与专用策略相比成功率差异在2%以内；在四臂+五臂混合环境中成功率98.1%，四臂+六臂混合环境中95.5%。4.4决策质量评估：使用集中式critic评价GNN决策的优势函数，在四臂和五臂团队中，GNN决策非负优势比例分别为68.4%和70.5%，高于集中式的22.3%和47.6%，表明GNN决策质量更高。
讨论部分指出，多机器人协作可能形成闭合运动链，降低系统自由度，当前框架未建模该约束，导致控制策略避免抓握而选择从下方支撑。未来可探索将运动链约束编码到GNN中。研究结论总结：该研究提出了基于GNN的MARL框架，利用分散式RL高效训练专用控制策略；GNN实现团队内通信和改进协调；框架能处理不确定性、适应可变输入维度，并训练可扩展控制策略跨团队规模应用。实验表明，共享控制策略在四至六臂团队上与专用策略成功率无显著差异。未来需在真实环境验证并扩展到异构机器人团队。
