混合交通瓶颈的时空协同控制：结合注意力机制与先验活性界的多智能体强化学习

《TRANSPORTATION RESEARCH PART C-EMERGING TECHNOLOGIES》：Spatiotemporal synergistic control for mixed traffic bottlenecks: Multi-agent reinforcement learning with attention and prior liveness bounds

　　

•路边和车辆控制在一个共享决策框架中进行协调。
•注意力机制和分阶段动作校正指导早期学习。
•仅有 5% 的联网自动驾驶车辆在过饱和状态下抑制激波。
•控制设置隔离了每个框架组件的价值。
•重复模拟评估鲁棒性和跨路网直接迁移能力。
引言
高速公路交通拥堵是一个全球普遍面临的严重问题，它不仅显著削弱了交通系统的吞吐效率和机动性，还引发了巨大的能源消耗和环境负担 (Chowdhury et al., 2000)。在高速公路网中，拥堵往往不是随机发生的，而是在特定的瓶颈区域高度集中爆发。瓶颈通常源于物理车道减少、几何线形突变或高强度的合流/分流干扰，导致显著的能力下降和大量出行延误 (Cassidy and Bertini, 1999, Pan et al., 2026)。这些瓶颈可能由各种情况触发，如交通事故、道路施工以及匝道或交织段的合流/分流活动。在这些区域，由于车道减少或合流冲突，频繁的强制变道和车辆跟驰博弈会在交通流中产生严重的微观扰动。这些扰动极易演变为交通振荡和时空激波，从而引发广泛的严重拥堵甚至二次事故 (Zheng et al., 2011)。因此，针对瓶颈区域实施精确高效的交通流调节是缓解全球高速公路拥堵和提高整体安全性及运输效率的关键。

过去几十年，主动交通管理 (ATM) 策略作为缓解瓶颈拥堵的主要手段，引起了学术界和工业界的广泛关注。其中，可变限速 (VSL)、匝道控制 (RM) 和紧急车道控制 (ELC) 等宏观控制措施已被证明在平衡供需和优化宏观流态方面是有效的 (Khondaker and Kattan, 2015)。然而，传统的 ATM 策略主要依赖宏观交通流参数的集中调节，难以对单车微观轨迹实施精细化干预，并且面对高频复杂的微观交通交互时往往表现出滞后响应 (Yang et al., 2025)。近年来，随着无线通信、先进传感器和人工智能技术的快速发展，联网自动驾驶车辆 (CAVs) 的出现为突破这一限制提供了前所未有的机会。CAVs 不仅拥有优于人类的感知能力和更短的安全车头时距，还对交通控制单元发出的指令表现出极高的遵从性，从而实现单车层面的精确轨迹控制 (Shladover, 2018)。尽管 CAVs 为微观交通管理勾勒了充满希望的蓝图，但考虑到新技术逐步普及的过程以及制造成本和基础设施更新周期等实际因素，实现 CAV 全覆盖仍需很长时间。因此，由 CAVs 和人类驾驶车辆 (HDVs) 组成的混合交通流在未来相当长一段时间内都将存在 (Fagnant and Kockelman, 2015)。在这种复杂的交通环境下，设计有效的协同优化策略以适应人类驾驶员的复杂性，已成为当前智能交通领域极具挑战性的核心问题。

在实际交通场景中，人类驾驶员行为表现出高度的随机性、异质性和不确定性。HDVs 的这种不可预测性不仅削弱了 CAV 车队的协同效应，还极易对原始交通控制措施产生负面干扰 (Chang et al., 2020)。然而，在大多数现有混合交通流瓶颈优化研究中，学者们在构建模拟测试环境时，仍习惯性地采用标准智能驾驶员模型 (IDM) 来模拟 HDVs 的驾驶行为。标准 IDM 在其设置中包含理想化假设，假定所有人类驾驶员具有同质且恒定的反应时间 (Treiber and Kesting, 2012)。这一假设严重忽视了 HDV 驾驶员在实际路况下显著的感知偏差和个体差异。如果上层控制策略建立在这种过于理想化的微观基础之上，它在实际工程应用中必然面临安全性和控制效果严重退化的问题。因此，为了准确捕捉混合交通流中高频交互的真实动态关系，引入一个能够反映驾驶员反应时间随机性和异质性的高保真微观跟驰模型，是确保混合交通控制策略具备现实鲁棒性和泛化能力的重要前提 (Jiang et al., 2014)。

为了突破瓶颈路段的能力限制并平滑交通激波，学术界进行了广泛的探索。早期瓶颈区域的协调控制主要依赖基于规则或模型驱动的优化方法。Zhang 等人针对高速公路合流瓶颈的能力下降提出了一种基于规则的 VSL 控制策略 (Zhang et al., 2013)；Rios-Torres 和 Malikopoulos 利用虚拟映射技术优化车辆合流序列 (Rios-Torres and Malikopoulos, 2016)；Papamichail 等人设计了一种基于启发式规则的多匝道协同反馈逻辑 (Papamichail et al., 2010)。在更复杂的协同规划领域，模型预测控制 (MPC) 被广泛采用。Hegyi 等人率先构建了宏观交通流的 MPC 框架，实现了 VSL 和 RM 的协同优化 (Hegyi et al., 2005)；Kamal 等人利用 MPC 探索复杂交通条件下车辆的协同驾驶逻辑 (Kamal et al., 2012)。在微观层面，Tajalli 和 Hajbabaie 以及 Cao 等人提出了一系列分布式最优轨迹规划算法，通过精确计算瓶颈上游 CAVs 的运动状态，提高了车道资源利用率 (Cao et al., 2021, Tajalli et al., 2022)。尽管这些基于规则和优化理论的方法能提供具有严格数学证明的最优解，但它们在应用中存在固有局限性：基于规则的方法通常受限于特定场景，缺乏动态适应性；同时，优化方法（如 MPC）的求解过程消耗大量计算资源。特别是在处理涉及大规模非线性博弈和复杂多瓶颈拓扑的异构交通流时，由于需要连续滚动求解高维非凸优化问题，模型驱动方法往往遇到“维数灾难”，难以满足实际路网对毫秒级实时响应的严格要求 (Guanetti et al., 2018)。

近年来，随着人工智能技术（如用于交通状态估计的物理信息机器学习 (Lu et al., 2023)）的快速进步，深度强化学习 (DRL) 凭借其强大的在线推理速度和持续的试错自演化能力，为复杂交通流控制提供了全新的范式 (Kiran et al., 2021)。由于交通流本质上是由众多独立决策实体组成的复杂动态系统，多智能体强化学习 (MARL) 自然而然地成为了解决大规模协同交通优化的核心框架 (Chu et al., 2019)。许多学者基于该框架在不同维度的交通控制方面进行了深入研究生。在微观轨迹控制方面，Wang 等人设计了一种去中心化的多智能体 DRL 框架，证明只有少量比例的联网机器车辆就能有效抑制复杂交叉口的拥堵形成 (Wang et al., 2025)；针对混合交通流中的微观扰动，Wang 和 Yan 等人提出了一种基于轨迹预测的强化学习方法，通过预测下游人类驾驶车辆的停止行为，显著平滑了交叉口车辆的轨迹振荡 (Wang et al., 2022)。在宏观控制领域，强化学习也显示出巨大潜力：Ke 等人提出了一种基于双深度 Q 网络 (DDQN) 的可变限速策略，以提高合流瓶颈的吞吐效率 (Ke et al., 2020)；Zheng 等人利用集中训练分散执行 (CTDE) 的 MARL 架构来处理连续瓶颈的协同限速问题 (Zheng et al., 2023)；此外，Han 等人进一步将改进的 MATD3 算法引入包含多匝道瓶颈的混合交通流中，实现了大规模路网宏观设施的协同优化 (Han et al., 2025)。不可否认，上述基于强化学习的方法在其各自定义的场景中取得了显著成功，但当扩展到真实的高频交互多瓶颈混合交通环境时，现有研究仍表现出几个显著的方法论局限性。最突出的是关于“混合交通流”形式的过于理想化假设。许多当前的 CAV 协同控制研究在很大程度上假设了 100% 纯 CAV 流的环境，或者假设 CAVs 和 HDVs 在空间上遵循某种规律分布。然而，在真实的交通演化中，CAVs 和 HDVs 的分布完全是随机且离散的。这种随机混合交通流破坏了理想的车辆协同拓扑，并放大了人类驾驶员带来的随机扰动，导致许多基于理想车队假设的控制策略在现实中迅速失效 (Di and Shi, 2021)。

宏微观高速公路控制已通过几种互补的范式进行研究。基于模型的研究协调匝道控制和 VSL 等路边设施 (Hegyi et al., 2005)，检查联网环境 VSL 的微观响应 (Khondaker and Kattan, 2015)，或优化车道减少处的 CAV 轨迹和变道 (Tajalli et al., 2022)。基于学习的研究将协同 VSL 扩展到连续瓶颈 (Zheng et al., 2023)，并将混合交通控制扩展到多瓶颈走廊 (Han et al., 2025)。与当前控制范围最密切相关的是，博弈论轨迹规划也已整合到高速公路瓶颈的战术车道控制中 (Yang et al., 2025)。Han 等人结合截断 Q 函数和基于控制屏障函数的安全动作映射，在训练和执行过程中强制预定义的安全集 (Han et al., 2023)。Zhou 等人制定了混合自主车队的合作 CBF 约束，并通过可微二次规划层将其嵌入 MARL，结合周围车辆行为的符合性预测 (Zhou et al., 2025)。在这些方法中，策略输出的名义动作可以通过执行时的安全层进行修改，以满足明确定义的约束。这种机制与仅通过奖励函数促进安全不同，为准确定义 AC-IMPACT 安全相关结论的范围提供了重要参考。

因此，提出的框架，称为基于注意力机制和课程学习的前置活性约束集成重要性加权异步架构及裁剪目标网络 (AC-IMPACT)，提供了闭环宏微观协调的学习实现。与基于优化的集成控制器相比，AC-IMPACT 使用离线训练后的去中心化策略推理，而不是反复求解在线优化问题。它不是在单一尺度上进行控制，而是在一个受控交通转换中表示路边离散动作和车辆连续动作。在此确定的研究方向内，AC-IMPACT 的特点是 CAV 交互令牌注意力、评估期间零干预的早期动力学感知动作校正，以及对应不同物理角色的四种策略类型。

现有研究已为协同高速公路控制奠定了重要基础，包括路边设施的基于模型协调、CAV 轨迹规划和多瓶颈的基于学习控制。然而，在组合上仍有三个问题未被充分检验。首先，路边控制和车辆级控制通常在不同的建模假设下或单一控制尺度上进行优化。其次，随机分布的 CAVs 和 HDVs 创造了异构观测和混合离散 - 连续动作，这在一个可扩展的学习过程中难以容纳。第三，所得策略通常在标称通信、天气和网络条件下进行评估。这些组合挑战在高频强制变道和交织交互中尤为突出。直接连接许多周围车辆观测可能会模糊局部重要特征，而异构动作空间中的盲目探索可能在早期训练期间产生容易死锁或过于保守的策略 (Kiran et al., 2021, Zhu et al., 2020)。此外，实际的 V2X 操作受通信延迟和丢包影响，恶劣天气会改变车辆制动行为 (Khattak et al., 2023)。因此，本研究调查异构路边和车辆策略如何在一个异步多智能体环境中训练，通过闭环交通状态反馈进行协调，并在选定的非理想条件和未见网络下进行评估。

为应对这些挑战，本文开发了 AC-IMPACT，这是一个面向交通的分布式异步 IMPACT 框架扩展。AC-IMPACT 专为高速公路瓶颈混合交通的动态交互定制，协调代表 VSL、ELC、主线 CAVs 和匝道 CAVs 的四种异构策略类型。CAV 策略使用多头注意力机制来优先处理相关交互的观测，而动力学感知的动作校正计划指导早期探索，并逐步将控制权转移给学习到的策略。

该框架使用源自德国 exiD 自然驾驶数据集的高速公路网络以及 HDV（人类驾驶车辆）跟车行为的随机 2D-IDM 表示进行评估。除了匹配的算法和交通领域对比之外，我们还在选定的通信干扰、恶劣天气配置、未见过的路网以及驾驶模型变化下评估了训练后的策略。核心研究贡献总结如下：

•开发了一种增强型 AC-IMPACT 强化学习框架，通过在多智能体分布式 IMPACT 架构中集成多头空间注意力和基于课程学习的前置活性约束来实现。注意力模块使 CAV（联网自动驾驶车辆）策略能够在动态瓶颈交通中优先关注与交互相关的观测信息，而逐步衰减的动作校正机制则融入了交通领域知识，以降低异构离散-连续动作空间中容易出现死锁和过度保守探索的问题。

•针对异构混合交通制定了一种宏观-微观集成的交通控制策略。所提出的架构在一个共享的多智能体决策环境中协调 VSL（可变限速）、ELC（电子匝道限流）、主线 CAV 和匝道 CAV 策略。两个控制尺度通过闭环交通状态转换和对齐的系统目标进行交互，而随机 2D-IDM 则表征了 HDV 跟车行为的差异。该框架支持路网级效率和车辆级安全的联合优化，而无需将任一控制尺度孤立对待。

•在选定的非理想条件和未见过的路网下，系统性地评估了鲁棒性和零样本迁移能力。我们考察了通信延迟、数据丢失、恶劣天气配置、跨路网拓扑变化和驾驶模型变化。所得实验在不针对特定场景重新训练的情况下，刻画了 AC-IMPACT 在所评估条件下的有效性和迁移性能。

本文其余部分组织如下：第 2 节详细介绍了基于德国 exiD 数据集的场景构建以及多智能体协同问题；第 3 节介绍了 AC-IMPACT 架构、注意力机制、动作校正模块和分层理论表征；第 4 节通过仿真实验分析了有效性、鲁棒性和迁移行为；最后，第 5 节总结了主要发现并展望了未来研究方向。

**章节片段**

**场景描述**

本研究基于 exiD1（出口与入口无人机数据集）进行，这是一个德国高速公路场景的真实交互式轨迹数据集。该数据集由 Moers 等人于 2022 年发布（Moers et al., 2022），利用高空无人机拍摄真实记录了高速公路出口和入口区域的车辆交互行为，为自动驾驶的开发提供了高精度和高交互性的自然驾驶数据。

**仿真环境与训练设置**

尽管 DTALite（Zhou and Taylor, 2014）等宏观和介观开源平台为快速交通模型评估提供了强大的工具，但我们基于开源微观交通仿真平台 SUMO（Behrisch et al., 2011）构建了一个高保真混合交通流仿真环境，并以 exiD 数据集的场景 2 作为基准路网，以促进强化学习智能体与仿真环境之间的实时交互。

**基线模型对比**

为了在原本相对顺畅的 exiD 数据集中重现真实的交通瓶颈拥堵及其演化过程，我们通过在路网入口施加额外的交通需求来模拟过饱和条件。实验首先探索了在没有优化控制的情况下基线场景中诱发持续拥堵的关键需求阈值。仿真结果表明，当额外交通需求达到 150 辆/小时时，路网的供需平衡……

**结论**

针对混合交通高速公路瓶颈处的拥堵演化与协同调控问题，本文提出了 AC-IMPACT，这是一个集成多头注意力和基于课程学习的前置活性校正的多智能体异步强化学习框架。该框架将宏观路边调控与微观 CAV 轨迹规划置于共享决策环境中。路边动作改变速度和车道可用条件，而 CAV 动作则重塑……

**CRediT 作者贡献声明**

Yuan-Bo Su：撰写——初稿，方法论。Xing Lü：撰写——审阅与编辑，撰写——初稿，方法论。

Yuan-Bo Su | Xing Lü