基于价值方法的CPH框架：面向分布式多智能体路径查找的碰撞风险主动缓解与动作冲突自适应解决

《Robotics》：CPH: Collision-Avoidance-Driven Coordination for Distributed Multi-Agent Path Finding via Multi-Agent Reinforcement Learning

　　

摘要

多智能体强化学习（MARL）为部分可观测环境下的分布式多智能体路径查找（MAPF）提供了一种有效范式。由于智能体之间频繁发生局部交互，基于有限局部信息作出的动作决策可能引发潜在碰撞风险，并进一步导致动作冲突，这对高效的多智能体协同构成了挑战。本文提出了CPH，一种基于价值的MARL框架，能够在路径决策过程中主动降低碰撞风险，并在执行前解决不可避免的动作冲突。具体而言，我们引入了一种碰撞风险驱动的通信机制，根据潜在碰撞关系选择通信伙伴，并通过交叉注意力机制将碰撞感知的空间上下文与以智能体为中心的观察信息进行融合。此外，我们提出了一种受势能启发的聚集奖励塑造方法，鼓励智能体从易发生碰撞的聚集状态中分散。同时，我们提出了一种冲突感知的混合后处理策略，通过局部动作调整自适应地解决不同冲突场景。实验结果表明，CPH优于所比较的基于分布式MARL的MAPF方法，同时消融研究证实了所有三个组件的有效性。这些结果表明，在执行前将主动碰撞风险缓解与自适应冲突解决相结合，能够提高分布式MAPF中的路径可达性和规划效率。