基于风险感知双重掩码的多智能体协同决策方法及其在高速公路匝道合流中的应用

《Applied Sciences》：A Multi-Agent Cooperative Decision-Making Method with Risk-Aware Dual Masking for Highway On-Ramp Merging

　　

高速公路匝道合流在混合交通环境中是一个高维组合优化问题，需要联合考虑行车安全、交通效率和多智能体协调。为解决这一问题，本文提出了BQDOM（Beam-searched Q-learning with Dual-mask for On-ramp Merging），一种基于联合行动评分的多智能体Q学习方法。该方法首先从环境感知信息中构建历史观测序列，并利用其生成轨迹嵌入和短期未来轨迹预测。轨迹嵌入增强了个体行动价值估计，而预测轨迹则支持行动掩码的生成。通过将轨迹嵌入与实时观测相结合，共享个体Q网络评估每个智能体的行动价值。同时，未来轨迹用于构建风险掩码，并与合法性掩码结合形成双重行动掩码，过滤高风险和无效行动。随后采用固定宽度的束搜索策略构建候选联合行动序列。根据车辆空间位置分配关键行动权重，并对候选联合行动进行迭代评分。选择得分最高的联合行动执行，并将执行的联合行动用于构建系统级时序差分目标，以更新行动价值网络。在基于高速公路的仿真环境中，研究人员在Easy、Normal和Hard三种场景下将BQDOM与MAA2C、MAPPO和MAACKTR进行了比较。BQDOM在所有对比方法中取得了最佳的整体性能，相对于该指标的最佳基线，平均碰撞率分别降低了75.00%、22.22%和18.18%。这些结果表明，在所评估的仿真场景中，该方法在安全性和交通效率之间实现了良好的平衡。

一、研究背景与研究动机

高速公路匝道合流是交通系统中的典型瓶颈场景。车辆需在有限距离内完成速度调整和换道操作，不当决策易导致整体效率下降、冲突风险增加甚至拥堵传播。随着车路协同和自动驾驶技术的发展，网联自动驾驶车辆（Connected and Automated Vehicles，CAVs）具备车-车通信和车-基础设施通信与感知能力，有望实现更安全高效的协同驾驶。然而，在混合交通环境中，CAVs与人类驾驶车辆（Human-Driven Vehicles，HDVs）共存，后者的随机性和异质性行为显著放大了交互不确定性。此外，多车道匝道合流涉及纵向速度控制和横向换道决策的耦合。对于共享离散行动集A的N个智能体，完整联合行动空间包含|A|^N种组合，这体现了穷举式联合行动枚举的指数增长特性，也促使研究人员寻求计算上可控的在线决策搜索策略。

现有研究主要采用传统规则型或优化型方法，两者均存在明显局限。规则型方法在简单场景中可行，但在复杂环境下实用性迅速下降，难以准确刻画车辆交互的随机性和异质性，且缺乏宏观交通流调控能力，容易陷入局部最优。优化型方法依赖精确的车辆动力学和人类驾驶行为模型，通常需要在每个时间步进行在线滚动时域优化，计算开销巨大，在多车多约束场景中更容易成为瓶颈。因此，近年来深度强化学习（Deep Reinforcement Learning，DRL）凭借其强大的自学习能力被广泛应用于自动驾驶决策任务，并逐步从单车决策扩展到多智能体强化学习（Multi-Agent Reinforcement Learning，MARL）框架下的多车协同。

尽管MARL为多车协同合流提供了统一的学习建模途径，但直接应用于多车道匝道合流仍面临若干关键瓶颈：合作收益与个体收益常相互制约，若奖励分配或协调机制设计不当，可能出现“个体自私导致整体低效”或“过度利他损害个体可行性”等不稳定现象；混合交通中HDVs的不可控性和不确定性使得仅基于瞬时观测的决策更易误判；过大的联合行动空间导致联合行动搜索成本高昂；虽然集中训练分散执行（Centralized Training with Decentralized Execution，CTDE）可在训练时利用全局信息促进协调，但执行时的行动选择通常是局部的，在强耦合的合流情境中，显式比较候选联合行动可为间隙创造、让行和合流操作提供额外协调手段。

为应对上述挑战，研究人员提出了BQDOM，一种面向混合交通流的基于联合行动评分的多智能体协同决策方法。该方法基于值分解思想，通过预测增强观测、双重行动掩码和有限宽度联合行动搜索，实现了可扩展的协同控制。

二、主要技术方法

研究人员采用了以下关键技术方法：

1. 1.
   轨迹预测与个体行动价值估计：使用长短期记忆网络（Long Short-Term Memory，LSTM）对车辆历史观测序列进行编码，生成轨迹嵌入和短时未来轨迹预测。轨迹嵌入用于增强个体行动价值估计，未来轨迹则支持后续的风险评估。共享参数化的离散行动价值网络根据当前观测和轨迹嵌入输出每个智能体各行动的Q值。
2. 2.
   双重行动掩码机制：由合法性掩码和风险掩码组成。合法性掩码基于车道边界、道路限速和车辆动力学约束，过滤物理上不可达或违反交通规则的无效行动。风险掩码基于行动条件下的自车未来轨迹与周围车辆预测轨迹，计算最小距离和最小碰撞时间（Time-to-Collision，TTC），过滤短期内可能导致高碰撞风险的行动。若某智能体的安全候选集为空，则优先保留车道保持行动或风险最小的合法行动作为后备。
3. 3.
   加权评分与束搜索联合决策：根据车辆空间位置识别匝道关键车辆和主路辅助车辆，为促进合流的关键行动和释放合流间隙的辅助行动分配更高权重。在双重掩码约束后的安全行动空间中，采用固定宽度的束搜索（Beam Search）逐层扩展联合行动序列，使用加权评分函数评估候选部分联合行动，每层仅保留得分最高的B个候选，最终选择总得分最高的联合行动执行。

三、实验结果与分析

3.1 对比实验

研究人员在基于高速公路的混合交通匝道合流仿真平台上，将BQDOM与MAA2C、MAPPO和MAACKTR三种主流多智能体强化学习算法进行了对比。实验设置了Easy（3辆CAV+3辆HDV）、Normal（6辆CAV+6辆HDV）和Hard（9辆CAV+9辆HDV）三种典型交通密度场景。结果显示：

• •
  在Easy模式下，BQDOM的奖励曲线上升最快，最终收敛水平显著高于其他方法，最终奖励比MAA2C高约40%，比MAPPO高约55%。
• •
  在Normal模式下，BQDOM仍保持持续上升趋势且波动较小，最终奖励比MAA2C和MAPPO分别提高约140%和120%。
• •
  在Hard模式下，高密度混合交通虽降低了所有算法的整体奖励水平，但BQDOM仍保持领先的收敛结果和良好的训练稳定性。

进一步评估阶段的结果表明，随着交通密度增加，所有方法的碰撞率普遍上升，评价奖励普遍下降。BQDOM在所有三个密度场景中均保持了较低的碰撞率和最高的评价奖励，平均行驶速度保持在较高水平。具体量化数据为：在Easy模式中，BQDOM的碰撞率为0.02，平均速度为28.03 m/s，评价奖励为81.38，碰撞率较MAA2C、MAPPO和MAACKTR分别降低0.07、0.06和0.21；在Normal模式中，BQDOM的评价奖励为58.48，平均速度为26.58 m/s，碰撞率较MAA2C降低0.40；在Hard模式中，BQDOM的评价奖励为47.14，碰撞率较MAA2C降低0.36，平均速度较MAPPO提高111.58%。

补充的统计显著性检验（置换检验和McNemar检验，经Holm校正）显示，在全部27项比较中，BQDOM在评价奖励方面显著优于所有基线（p<0.001），在碰撞率方面也显著优于所有基线（p<0.05），在平均速度方面在9项比较中有8项显著更高。

3.2 参数敏感性实验

研究人员分析了轨迹预测视界H、风险掩码距离阈值d_safe、风险掩码TTC阈值TTC_safe、主路辅助行动增益λ_ml、安全正则化系数η_reg、碰撞惩罚系数c_col和束搜索宽度B的影响：

• •
  预测视界H=8时获得最低碰撞率（0.07）、最高平均速度（26.50 m/s）和最高评价奖励（60.97），被选为默认值。
• •
  风险掩码距离阈值d_safe=5 m和TTC阈值TTC_safe=3 s在Normal和Hard场景中取得最低碰撞率和最高合流成功率，被选为默认值。
• •
  主路辅助行动增益λ_ml=0.3在Hard场景中取得最低碰撞率和最高评价奖励及合流成功率。
• •
  安全正则化系数η_reg=0.01在Normal和Hard场景中取得最低碰撞率，在所有三个场景中取得最高评价奖励。
• •
  碰撞惩罚系数c_col=100在每个场景中均取得并列最低碰撞率，在Normal和Hard中取得最高合流成功率，在所有场景中取得最高评价奖励。
• •
  束搜索宽度B=4是在Hard场景中达到最佳碰撞率、评价奖励和合流成功率的最小测试宽度，且在搜索质量上达到100%最优分数命中率，同时相比更宽的束搜索显著减少了候选数量和搜索时间，因此被选为默认值。

四、结论

本研究针对混合交通流下多车道匝道合流中的多智能体协同决策问题，提出了BQDOM方法。该方法的核心贡献包括：（1）开发了适用于混合交通匝道合流的双重行动掩码机制，通过结合基于规则的合法性约束和基于轨迹预测的风险过滤，在联合行动搜索前排除无效和预测的高风险行动，缩减了协同决策的候选行动空间；（2）发展了一种面向合流的联合决策机制，融合了关键行动加权、联合行动评分和固定宽度束搜索，加权方案强调匝道关键车辆的合流行动和主路车辆的辅助行动，而搜索过程通过比较备选行动组合来支持协调合流，同时将保留的候选数量控制在有界范围内；（3）在基于高速公路的混合交通匝道合流环境中通过对比和消融实验评估了该框架，在不同交通密度和CAV渗透率下评估了其安全性和效率，消融实验考察了双重行动掩码、关键行动加权和联合行动评分在测试仿真条件下的贡献。

实验结果表明，在所采用的理想化高速公路仿真条件下，BQDOM在Easy、Normal和Hard三种场景中相较于对比方法取得了最低的平均碰撞率和最高的平均评价奖励，同时保持了较高的平均行驶速度。这些结果表明，所提出的双重行动掩码和基于束搜索的协同决策框架在仿真的匝道合流场景中为安全性和交通效率提供了有利的平衡。