RSMIX：基于通信辅助的风险筛选混合值分解方法，用于协作式车道变换决策制定

《ADVANCED ENGINEERING INFORMATICS》：RSMIX: Communication-assisted risk-screened mixing value decomposition for cooperative lane-changing decision making

　　摘要
在密集的高速公路交通中，协作式变道需要附近的连接型自动驾驶车辆（CAVs）在强耦合的相互作用下协调战术意图。尽管强化学习提高了战术驾驶性能，但许多现有方法仍然以自我为中心，或者主要通过奖励塑造和训练时的预期成本约束来调节风险。因此，在执行过程中仍可能出现罕见但影响较大的高风险联合意图。为了解决这个问题，我们提出了RSMIX，这是一个基于通信辅助的风险筛选混合价值分解框架，用于小团队的协作式变道决策。RSMIX学习独立的奖励和成本价值估计，并在执行时重新使用学习到的全局成本模型，在应用低级控制之前构建一个风险可接受的候选联合意图集合。此外，还引入了受害者感知的边际影响（MISC）成本，以量化切入操作对目标车道跟随车辆造成的额外风险。在八个随机的高速公路环境种子测试中，RSMIX相比协作的强化学习（MARL）基线改进了实证中的碰撞风险-舒适性-流动性权衡。操纵活动诊断、消融实验和风险预算分析表明，这种优势来自于选择性的执行时联合筛选，而不仅仅是变道 avoidance或成本学习本身。在不同背景交通需求下的额外零样本SUMO评估为这种高级战术筛选机制提供了受控的跨模拟器证据。RSMIX旨在进行高级战术意图筛选；它在学习到的成本估计下降低了实际交互风险，但不提供正式的安全保证。

引言
变道是自动驾驶中最具安全性和交互性的操作之一。与保持车道或简单的车辆跟随不同，变道必须在当前车道和目标车道上的车辆强耦合的情况下做出决策。这种对交互的敏感性在经典的交通建模中早已被认识到。例如，MOBIL不仅评估了自身车辆的好处，还评估了对周围车辆的制动成本[1]。同时，社交意识规划[2]和博弈论控制[3]强调，变道决策从根本上受到邻近车辆反应的影响，这一观点进一步得到了类人交互建模[4]的支持。这些研究共同表明，自动驾驶中的变道不是一个孤立的运动原语，而是一个可以影响附近交通参与者安全和效率的耦合决策过程。然而，这些传统方法通常依赖于手工制作的交互模型或显式的协调逻辑，这使得它们在多辆车同时作用的密集交通中难以扩展。强化学习（RL）提供了一种引人注目的数据驱动的替代方案，它直接从与复杂环境的交互中学习适应性决策策略[5]。特别是层次强化学习（HRL）非常适合自动驾驶，因为它将高级战术意图与低级控制执行分开[6][7]。先前的研究表明，这种结构化设计可以提高多车道场景中的操纵一致性，并更有效地组织驾驶行为[8][9][10][11][12][13][14][15]。尽管如此，大多数现有的RL和HRL方法仍然以自我为中心，关注单个受控车辆的行为，而不是多个附近自主代理之间的协调战术决策。这种限制在密集的高速公路交通中变得尤为关键，因为多个附近的自主代理可能需要同时协调变道意图。多智能体强化学习（MARL）为这种耦合决策提供了一个自然的框架，先前的研究表明，协作学习、通信辅助的协调和关系交互建模可以改善交通场景中的多车辆决策[16][17][18][19][20][21][22]。然而，在许多基于MARL的驾驶方法中，安全性仍然通过奖励塑造、惩罚或特定于场景的启发式方法隐式处理。Safe RL引入了明确的约束，改善了自动驾驶中的安全性-性能权衡[23][24][25][26]，但大多数现有方法仍然主要通过训练期间的预期成本目标来调节安全性。在协作式变道中，虽然失败很少见，但在代理间强耦合的情况下，可接受的平均性能并不一定能防止在安全关键交互中的危险联合操作。因此，当安全风险在多个附近代理间全局耦合时，如何在执行前评估和过滤候选的联合战术意图是一个关键的未解决的问题。这个问题在小型车队的高速公路场景中尤为相关，其中离散的联合战术空间仍然适合协调评估。如图1所示，在密集的高速公路交通中，多个附近的CAVs可能同时考虑战术意图，某些耦合的联合决策可能会对周围车辆，特别是目标车道跟随车辆造成额外的风险。
受此观察的启发，提出了RSMIX，作为一个基于通信辅助的风险筛选混合价值分解框架，用于小团队的协作式变道决策。与仅依赖奖励塑造或训练时成本规范不同，该方法在应用低级控制之前，会使用学习到的全局风险估计器显式筛选候选的联合意图。双分支价值分解和MISC机制被引入作为该执行框架中建模协作回报和社会诱导安全风险的支持组件。

主要贡献如下：
1. 问题设置：小团队联合战术意图筛选。我们将协作式变道视为在耦合交互风险下的高级联合战术意图筛选问题。与单智能体安全过滤或训练时受限优化不同，核心挑战在于实证风险在离散的联合行动空间中全局耦合在多个代理之间。
2. 方法：基于通信辅助的执行时联合风险筛选与双分支价值分解。我们提出了一个双奖励-成本价值分解框架，在其中学习到的全局成本被明确重新用于执行时联合可行集的筛选。这使RSMIX区别于主要在优化期间限制预期成本的训练时受限MARL方法，以及独立过滤单个动作的每个智能体动作屏蔽或防护机制。核心创新不在于双分支架构的存在，而在于在执行时重新使用学习到的全局成本模型进行联合战术行动筛选。
3. 风险建模：受害者感知的边际影响成本。我们引入了一个反事实风险指标，用于量化切入操作对目标车道跟随车辆造成的额外风险。这提供了超出自我中心碰撞惩罚的社会风险感知监督。
4. 实证分析：何时以及为何筛选重要。通过基线比较、操纵活动诊断、消融实验、风险预算敏感性分析、案例级解释和受控的跨模拟器评估，我们分析了执行时筛选如何改变协作决策，以及为何仅靠成本学习是不够的。
在安全强化学习分类中，RSMIX位于受限价值分解和执行时动作筛选之间。它学习独立的奖励和成本价值估计，如同成本感知或受限RL，但不同于纯粹的训练时受限优化，因为它在执行时重新使用学习到的全局成本来构建候选联合意图的可行集。该机制类似于防护盾，因为它在低级执行之前过滤高预测风险的意图，但它不是从经过验证的规范中合成的正式安全防护。它也不同于标准动作屏蔽，因为筛选是在联合战术行动空间AN上进行的，而不是在独立的局部动作上。这种联合筛选步骤对于协作式变道非常重要，因为在同时执行时，单独可接受的变道意图可能会变得危险。

范围和假设
本研究关注高级战术意图筛选，其中每个受控CAV从{Left, Keep, Right}中选择一个离散意图。它不解决完整的微观轨迹规划、连续车辆动力学控制或正式的安全验证问题。低级横向和纵向执行由比例-积分-微分（PID）控制器和模拟器动力学处理。该框架假设一个小型的连接CAVs团队，并通过通信辅助的协调执行来交换局部效用信息。在默认的实验设置中，四个CAVs和每个代理的三种战术动作产生了3^4=81个候选联合意图，使得穷尽性的执行时筛选成为可能。更大的团队、更丰富的动作空间和不完美的通信将需要额外的可扩展性和鲁棒性机制，如第5节所讨论的。

章节片段
变道建模和交互感知规划
经典的变道研究长期以来强调，操纵质量不仅取决于自我利益，还取决于周围车辆的响应。代表性模型如MOBIL通过激励和安全标准明确纳入了邻近车辆的影响[1]。此外，社交意识轨迹规划考虑了主体车辆和附近交通参与者的综合利益[2]，而博弈论公式则对混合交通中的变道进行建模。

初步工作和问题公式
多车辆协作式变道问题被表述为一个受限的多智能体扩展的分布式部分可观察马尔可夫决策过程（Dec-POMDP），并增加了车辆对车辆（V2V）通信阶段。考虑了一小组N个受控的连接型自动驾驶车辆（CAVs）在密集的高速公路环境中与周围交通互动。
在每个决策步骤t，通过聚合局部信息来定义一个中心化的状态表示st∈S。

实验设置
所有方法都在基于highway-env[49]构建的密集多车辆高速公路变道场景中进行评估。该环境包含四条车道的高速公路和背景交通，其中N=4个受控的连接型自动驾驶车辆（CAVs）必须在与周围车辆互动的同时做出协作式战术变道决策。每个受控代理从{Left, Keep, Right}中选择一个高级离散意图，然后由低级比例-积分-微分控制器执行。

限制和范围
几个限制定义了本研究的范围。主要的理论边界是RSMIX降低了实际交互风险，但不提供正式的安全保证。筛选规则是基于学习到的全局成本估计构建的，因此不能保证在可达性分析、控制屏障函数或正式验证控制方面的无碰撞操作。其可靠性取决于学习到的成本模型的准确性以及...

结论
本文研究了协作式变道决策作为高级联合战术意图筛选问题。RSMIX被提出作为一个基于通信辅助的风险筛选混合价值分解框架，它学习独立的奖励和成本价值估计，并重新使用学习到的全局成本来构建执行时候选联合意图的可行集。受害者感知的边际影响成本进一步提供了对额外风险的反事实衡量。

代码可用性
本研究开发的实现代码是正在进行的研究的一部分，将在合理请求下提供。

出版同意
“不适用”。

伦理批准和参与同意
“不适用”。

CRediT作者贡献声明
Jinghua Yu：撰写——原始草稿、验证、方法论、数据分析、概念化。
Hafiz Muhammad Raza ur Rehman：撰写——审稿与编辑、撰写——原始草稿、验证、监督、资源、方法论、调查、数据分析、概念化。
M. Zeeshan Jhandir：撰写——审稿与编辑、可视化、验证、软件、方法论、调查、资金获取。
Gyu Sang Choi：撰写——审稿与编辑、监督、软件。

利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

致谢
本研究得到了韩国国家研究基金会（NRF）的基础科学研究计划的支持，该计划由教育部资助（NRF-2021R1A6A1A03039493），以及韩国国家研究基金会的BK21 FOUR计划的支持，该计划由教育部资助（2120251015517）。

Jinghua Yu | Hafiz Muhammad Raza ur Rehman | M. Zeeshan Jhandir | Gyu Sang Choi