基于注意力与安全约束的联网自动驾驶多智能体近端策略优化方法

《Scientific Reports》：ASC-MAPPO: attention-based communication and safety-constrained multi-agent proximal policy optimization for cooperative path planning and dynamic obstacle avoidance of connected autonomous vehicles

　　

摘要

联网自动驾驶车队必须同时解决两个问题：它们必须就谁先通行达成一致，同时每辆车都必须避开任何不受控制的交通。本文提出了 ASC-MAPPO，一种基于注意力和安全约束的多智能体近端策略优化变体，专为解决这种耦合问题而设计。规划任务被建模为去中心化部分可观测马尔可夫决策过程，并通过集中训练和具备通信能力的去中心化执行来求解。每辆车将自身观测编码为128维嵌入，在50米半径内广播，并通过一个带掩码的四头注意力模块聚合其接收到的消息，该模块根据情境相关性对邻居车辆进行加权，而非等同对待。一个共享参数的执行器输出连续的转向增量和纵向加速度；按智能体划分的评论家和单调混合网络仅在训练期间用于解决信用分配问题。安全通过两个层面来保障。一个可微的高斯风险代理用于塑造奖励并提供平滑梯度，同时一个投影层将每个执行动作限制在由障碍物间隙、道路边界、车道保持和摩擦受限的车辆动力学所定义的允许集内。碰撞本身始终由二元接触测试判定，而不由该代理判定。在 CARLA 实验环境中，涵盖高速合流、四叉路口和弯曲乡村道路，采用四辆合作车辆和三种障碍物密度，ASC-MAPPO 在专用避免套件中达到了 99.2% 的避让成功率，与 MAPPO 相比，将高密度路口的平均车队到达时间缩短了 18.2%（在所有场景和密度上取平均为 11.6%），并取得了 0.93 的合作效率。消融实验分离了通信、注意力、价值分解和投影层各自的贡献；迁移测试、复杂度分析以及对多达十二辆车的延迟测量界定了该方法的运行包络。