基于P-DQN+HER+TD3的自适应交通控制：面向实际部署的混合深度强化学习框架

《Signals》：Adaptive Traffic Control Based on P-DQN+HER+TD3: Toward Real-World Deployments

　　

城市交通拥堵对车辆机动性、燃料消耗和环境可持续性产生不利影响。经典交通控制方案——固定时间和感应控制方法——存在僵化和响应能力有限的缺陷，无法适应动态、随机的交通需求，也难以捕捉路网范围的时空相关性。尽管强化学习已成为一种有前景的替代方案，但普遍存在的纯离散方法将控制器限制在粗粒度的相位选择上，在连续交通动态下表现欠佳。为解决这些局限性，本研究提出了一种混合深度强化学习框架，集成了参数化深度Q网络(Parameterized Deep Q-Network, P-DQN)、双延迟深度确定性策略梯度(Twin Delayed Deep Deterministic Policy Gradient, TD3)和后见经验回放(Hindsight Experience Replay, HER)，用于智能交通信号优化。该模型在统一的参数化动作空间中联合处理离散相位选择和连续相位时长。一个解析的状态依赖排队模型为该框架提供了交通流理论基础，捕捉了动态排队转换和服务能力。合成交通数据和预处理后的下一代仿真(Next Generation Simulation, NGSIM)轨迹数据共同推导出包括密度、速度、排队长度和延误在内的状态变量。该框架在与PressLight、最大压力(Max-Pressure)和全相位竞争框架的基于帧的强化学习(Frame-based Reinforcement Learning with All-Phase competition, FRAP)模型的交叉口仿真中进行评估。所提出的方法在实现更高通行能力的同时，获得了更低的延误、排队长度和行程时间。这些发现表明，将基于轨迹的状态建模、解析排队公式与混合离散-连续强化学习相结合，为实际自适应交通信号控制提供了一种有效且可扩展的解决方案。

一、研究背景与问题

城市道路交通拥堵日益严重，导致出行延误增加、人为排放升高、燃油效率下降以及车辆安全性降低。开发经济有效的交通信号灯控制(Traffic Light Control, TLC)优化策略对于缓解拥堵的经济和社会影响至关重要。然而，交通环境本质上是动态、非线性和不确定的，交通需求的随机波动、异质性车辆交互以及随时间变化的网络条件进一步加剧了实现高效自适应信号控制的难度。传统交通信号控制(Traffic Signal Control, TSC)策略主要包括预定时、感应式、自适应和基于优化的控制四类。固定时间和协调信号配时策略在交通需求模式相对稳定时可提供有效进展，但其适应随机和空间异质性交通条件的能力有限，在高变异和波动的交通需求下会导致次优的网络性能。近年来，基于强化学习的交通信号控制技术逐渐兴起，但在多个方面仍存在挑战：现有方法大多聚焦于离散相位选择或连续绿灯时间优化的单一任务，难以充分挖掘交通信号的控制空间；同时，在拥堵和高动态交通环境中有效利用稀疏奖励信号仍具挑战性，可能导致收敛缓慢和策略稳定性差。因此，有必要集成离散相位选择与连续绿灯时间优化，这正是本研究所提出P-DQN+HER+TD3框架的动机。

二、研究内容与结论

研究人员提出了一个混合强化学习模型，通过结合参数化深度Q网络(Parameterized Deep Q-Network, P-DQN)与双延迟深度确定性策略梯度(Twin Delayed Deep Deterministic Policy Gradient, TD3)，联合优化离散交通相位选择和连续相位时长，从而实现更高效的交通信号控制。研究利用预处理后的下一代仿真(NGSIM)轨迹数据进行了数据驱动的评估，捕获了车道级交通动态（如速度、密度、排队长度和延误），以确保策略学习的现实性。通过集成后见经验回放(Hindsight Experience Replay, HER)，实现了目标导向的经验重用机制，提升了样本效率。研究将所提出的混合智能体与最新的基线交通控制模型（包括PressLight、Max-Pressure和全相位竞争框架的基于帧的强化学习(FRAP)）进行了全面对比评估，使用了多项指标，并比较了计算时间以评估模型效率及其与其他性能指标的权衡关系。结果表明，所提出的方法在延误、排队长度和行程时间方面均优于基线模型，同时实现了更高的通行能力。这些发现表明，将基于轨迹的状态建模、解析排队公式与混合离散-连续强化学习相结合，为实际自适应交通信号控制提供了一种有效且可扩展的解决方案。

三、关键技术方法

研究人员采用了以下几项关键技术方法：

1. 1.
   参数化深度Q网络(P-DQN)：用于处理交通信号控制中的混合动作空间，统一表示每个离散信号相位动作及其关联的连续参数（如绿灯时长）。
2. 2.
   双延迟深度确定性策略梯度(TD3)：用于提升连续参数学习的稳定性，通过孪生评论家架构、延迟策略更新和目标策略平滑机制，减少价值估计误差和策略振荡。
3. 3.
   后见经验回放(HER)：通过将未成功轨迹重新标注为替代实现目标，增加重放经验的多样性和有用性，提升在稀疏或延迟奖励环境下的学习效率。
4. 4.
   NGSIM轨迹数据集预处理：研究使用了来自Lankershim Boulevard和Peachtree Street两个站点的NGSIM车辆轨迹数据（访问日期：2026年2月20日）。原始轨迹数据经过清洗、滤波、转换为等效乘用车单位(Passenger Car Units, PCU)度量并归一化，得到适用于强化学习的状态变量，包括密度、速度、排队长度和延误。
5. 5.
   状态依赖排队模型：建立了基于运动特定排队守恒、相位依赖饱和流量、信号损失时间、有限排队存储容量和溢流效应的解析交通环境模型，为强化学习提供闭环交互机制。

四、研究结果

4.1 合成数据实验结果

研究人员在合成数据场景下，将所提P-DQN+HER+TD3模型与PressLight和FRAP进行了50个训练回合的比较。累积奖励曲线显示，所有模型在前10个回合行为相似，之后明显分化：所提模型获得最高最终奖励（约-60）且收敛最快；FRAP达到中等性能（约-120）；PressLight学习最慢且最终奖励最低（约-170）。在平均排队长度方面，所提模型比FRAP和PressLight分别降低了约15%和25%，收敛到约6辆车。在平均行程时间方面，所提模型比FRAP基线降低了19.2%，收敛到40秒以内。在平均车辆延误方面，所提模型实现了24%的降幅，收敛到约7秒。总体而言，与PressLight相比，所提模型在排队长度上降低26.0%，等待时间降低21.4%，通行能力提升14.2%，平均延误降低24.1%，行程时间降低19.2%，总奖励提升28.4%。

4.2 NGSIM轨迹数据集实验结果

研究人员在Lankershim和Peachtree两个真实数据集上评估了模型性能。在Lankershim数据集上，所提方法在大约100个回合后进入稳定策略改进阶段，在350个回合后建立明确的收敛平台，累积奖励稳定在正值区域；相比之下，PressLight未能在此环境下优化，迅速下降并稳定在高度次优的负奖励区域。这一性能差距源于动作空间的结构性限制：PressLight受限于其离散相位切换架构，而所提方法采用混合动作设计，能够同时进行连续的纵向和横向轨迹控制。此外，HER的集成有效缓解了稀疏奖励问题，防止了基线的负奖励停滞现象。

五、总结讨论

研究人员的总结讨论指出，所提出的P-DQN+HER+TD3框架通过将参数化动作空间学习、目标导向经验重放和稳定连续优化相结合，有效解决了现有强化学习方法在真实交通信号控制优化中的核心局限。利用预处理后的NGSIM轨迹数据，该方法在延误降低、通行能力提升、行程时间和排队管理方面均优于PressLight、Max-Pressure和FRAP等基线模型。据研究人员所知，此前尚无研究将P-DQN、HER和TD3集成在一个统一的参数化强化学习框架中，并使用NGSIM（Lankershim和Peachtree）交通数据集进行数据驱动的交通信号控制。研究结论强调，将基于轨迹的状态建模、解析排队公式和混合离散-连续强化学习相结合，为实际自适应交通信号控制提供了一种有效且可扩展的解决方案。