基于领航者参考的异质队列信号交叉口协同生态驾驶：一种领导者参考深度强化学习策略

《Green Energy and Intelligent Transportation》：Cooperative Eco-Driving of Heterogeneous Platoons at Signals: A Leader-Referenced Deep Reinforcement Learning Strategy

　　

提出了一种面向异质队列的领航者参考生态驾驶策略。建立了一种异质兼容的能源模型，以适应多样化的动力总成系统。引入了一种队列完整性预测机制，以防止协作车队在信号相位间发生分裂。 城市交通中提升交通效率已成为关键优先事项，而信号交叉口极易导致交通拥堵和额外能源消耗。生态驾驶作为一种轨迹规划策略，旨在最小化怠速时间并避免交通信号灯附近的急加速，已在实际应用中反复展现出显著的节能效果。更重要的是，此类策略可直接在软件层面实施，并适用于传统动力总成和电动化动力总成。近期综述研究证实，在明确纳入信号相位与配时（SPaT）信息的前提下，平滑化信号交叉口处的车辆轨迹可在不降低交通通行能力的情况下实现稳健的能耗削减。尽管针对单车策略已验证有效，但网联自动驾驶车辆（CAVs）的快速发展为将这些效益从单车轨迹扩展至协调队列动力学提供了独特机遇，从而在走廊层面放大节能效果。 在城市走廊中，交通通常由不同动力总成的混合队列组成，导致能源消耗特征呈现显著异质性，这需要高保真建模。然而，这种异质性带来了显著的建模挑战，因为不同动力总成对坡度、速度和瞬态加速度的响应方式各不相同。在控制策略领域，协同自适应巡航控制（CACC）提供了利用这些动力总成模型进行队列级优化的基本运行逻辑。尽管基于模型的控制策略（如模型预测控制（MPC）和动态规划（DP））取得了理论上的成功，但它们无疑面临着"维数灾难"问题。也就是说，随着异质队列规模增大和规划时域增长，实时求解高维状态空间问题的计算复杂度显著增加，限制了实时实施。 为应对这一固有的高维复杂控制挑战，人工智能的最新进展催生了生态驾驶和能源管理的新方法。尽管基于学习的方法已展现出强大的生态驾驶性能，但现有的深度强化学习（DRL）框架在优化异质队列多样化能源动态的同时，仍难以保证跨信号相位的队列完整性。 现有协同生态驾驶方法在队列级决策的组织方式上也存在差异。集中式优化可通过联合控制问题显式协调所有车辆，但其联合决策维度和在线计算负担随队列规模增大而增加。多智能体和分布式方法将控制分散到多辆车之间，但仍需跨车辆级决策进行协调。领航者-跟随者架构通过将主要决策集中于领航车辆，同时跟随车辆通过跟驰动力学响应，提供了一种更紧凑的替代方案。然而，将此架构扩展至信号交叉口处的异质队列，还需进一步考虑动力总成异质性、信号约束以及可行协作车队的选择。这些耦合挑战值得进一步研究。 综上所述，为提升队列级能源效率和可扩展性，必须解决以下若干局限性：1）队列异质性使建模复杂化，尤其是插电式混合动力汽车（PHEVs），其策略相关的能源消耗涉及非凸动力学和高计算成本，因此应建立适当的模型以权衡保真度、效率和实时可解性；2）据研究人员所知，大多数策略是针对单车或同质场景调优的，限制了向异质队列的迁移；3）集中式队列级优化或多智能体控制会因联合状态-动作空间的扩展而增加计算和协调需求，可能限制泛化能力和实时适用性。为弥合这一差距并克服上述不足，本研究提出了一种面向信号交叉口异质CAV队列的领航者参考协同生态驾驶策略。首先，建立了一种统一的异质兼容能源消耗模型，在平衡保真度和计算效率的同时，将电动汽车（EVs）、内燃机汽车（ICVs）和PHEVs的度量标准化，以支持实时队列优化。在此基础上，一个连续动作DRL智能体利用信号信息和跟随车辆状态优化领航车辆的轨迹，而跟随车辆通过基于智能驾驶员模型（IDM）的控制器跟踪领航车辆。此外，集成了一种队列完整性预测机制，以预测交通吞吐量并防止所选协作车队跨信号相位分裂。仿真结果表明，所提策略在保持队列完整性的同时有效降低了能源消耗，且不损害行程时间，验证了其实时控制的潜力。

论文解读

一、研究背景与问题提出

城市交通效率提升已成为亟待解决的关键问题，而信号交叉口是导致交通拥堵和额外能源消耗的主要瓶颈之一。生态驾驶作为一种轨迹规划策略，通过最小化怠速时间和避免信号灯附近的急加速，已在实际应用中展现出显著的节能效果，且可直接通过软件实施于传统动力总成和电动化动力总成。随着网联自动驾驶车辆（CAVs）的快速发展，如何将单车生态驾驶效益扩展至协调队列动力学层面，从而在走廊级别放大节能效果，成为一个重要的研究方向。

然而，现有研究面临三大核心挑战。第一，城市走廊中的交通通常由不同动力总成组成的混合队列构成，电动汽车（EVs）、内燃机汽车（ICVs）和插电式混合动力汽车（PHEVs）在能源消耗特性上存在显著异质性，不同动力总成对坡度、速度和瞬态加速度的响应方式各不相同，这给高保真建模带来了巨大困难。第二，大多数现有策略是针对单车或同质场景调优的，难以直接迁移至异质队列场景。第三，集中式队列级优化或多智能体控制会因联合状态-动作空间的扩展而急剧增加计算和协调需求，面临"维数灾难"问题，限制了实时适用性和泛化能力。

基于上述分析，该论文提出了一种面向信号交叉口异质CAV队列的领航者参考协同生态驾驶策略，旨在解决异质队列建模复杂、策略迁移受限以及集中式优化计算负担过重等关键问题。该研究发表在《Green Energy and Intelligent Transportation》期刊上。

二、主要技术方法

研究人员采用深度强化学习（DRL）框架中的深度确定性策略梯度（DDPG）算法作为核心控制方法，其连续动作空间适合平滑纵向轨迹生成。研究中建立了三种动力总成模型：EV采用直流电机简化模型，ICV基于测功机试验数据进行离散插值建模，PHEV采用反向传播神经网络（BPNN）建立数据驱动能源消耗模型，训练样本由详细PHEV动力总成数学模型在代表性工况下的动态规划（DP）解离线生成。所有能源消耗统一映射为参考价格货币成本。跟随车辆采用智能驾驶员模型（IDM）跟踪领航车辆轨迹。此外，研究引入了队列完整性预测机制，基于加速度-匀速启发式估计领航车辆到达时间，结合信号相位和IDM跟随车辆平均通过间隔预测可行协作车辆数。

三、研究结果

A. 队列完整性逻辑验证

研究人员设计了两个不同初始条件的单交叉口场景进行验证。场景一中，信号周期较长，预测器输出全部十辆车均可纳入协作车队，所有车辆在同一绿灯相位内通过交叉口，且最后一辆车通过停车线后仍剩余约29秒绿灯时间。场景二中，信号周期较短，预测器仅将领航车辆和四辆跟随车辆纳入协作车队，该协作车队在红灯开始前约6秒全部通过，其余四辆非协作跟随车辆停车等待下一绿灯相位。结果表明，队列完整性预测逻辑能够根据信号状态和接近条件动态调整协作车队规模，确保所选协作组不被信号相位分裂。

B. 异质性消融实验：排列顺序的影响

研究人员选取了一个由两辆EV、一辆ICV和两辆PHEV组成的代表性五车队列，在相同渗透率下测试两种不同排列顺序。结果表明，领航车辆的速度轨迹在早期阶段因信号约束主导而相似，随后因排列顺序不同而出现分化。在排列一中，ICV位于队列前部，经历了更平滑的速度过渡，其比例能源成本最小化；在排列二中，ICV位于队尾，遭受放大的轨迹振荡，导致更高的燃油消耗。反事实交叉应用测试进一步证实，将排列二的轨迹应用于排列一会使累计成本增加0.014元，反之增加0.024元。这表明策略确实具有顺序依赖性，显式编码排列信息使策略能够针对特定异质顺序定制动作。

C. 敏感性分析

研究人员对IDM期望时间间距从1.0秒到5.0秒进行了全范围扫描。在代表性的4.0秒期望间距设置下，实测通过间隔为4.87秒，单车辆精度内准确率为92.4%，平均绝对误差为0.28辆车。较短的间距产生保守的欠预测，而最长测试间距引入了轻微过预测倾向。在算法敏感性方面，DDPG、TD3和SAC在相同环境下实施，SAC实现了最高成本节约16.28%，DDPG为14.00%，TD3为4.68%，三者均无红灯违规和碰撞，完成率均为1.00。该对比验证了领航者参考协作结构在测试条件下与多种离策略连续控制算法兼容。

D. 真实多交叉口交通场景仿真测试

研究人员从真实驾驶环境提取了一条全长5.07公里、包含9个信号交叉口的测试路线，划分为10个特征路段。基于真实交通数据提取各交叉口的红绿灯时长和周期，设计了四组对比仿真测试，每组由三辆异质车辆组成：领航EV、中间位置ICV和跟随PHEV。通过与不协作和集中式协作策略的对比，验证了所提策略在真实多交叉口场景中的有效性。

四、讨论与结论

研究结果表明，所提出的领航者参考协同生态驾驶策略在保持队列完整性的同时有效降低了能源消耗，且不损害行程时间。该策略通过将复杂联合优化解耦为可管理的领航-跟随车辆交互，有效缓解了维数灾难问题，提高了可扩展性。异质兼容的能源建模方法在保真度和计算效率之间取得了平衡，为实时队列优化提供了可行的度量标准。队列完整性预测与惩罚机制确保了所选协作车队在同一信号相位内完整通过交叉口。研究验证了该框架与多种DRL算法的兼容性，其中SAC展现出最高的成本节约潜力，为未来算法级优化提供了方向。总体而言，该策略验证了其在实时控制中的潜力，为异质CAV队列在信号交叉口的协同生态驾驶提供了有效的解决方案。