提升生态驾驶策略：将IDM的先验知识整合到TD3强化学习框架中，应用于联网车辆

《CHAIN》：Enhancing eco-driving strategies: Integrating IDM prior knowledge into the TD3 reinforcement learning framework for connected vehicles

　　

摘要：

发展低碳交通对于生态保护和能源安全至关重要。本文通过提出一种基于模型的深度强化学习框架，解决了联网车辆中的生态驾驶挑战，从而提高了生态驾驶策略的实用性和可靠性。该方法结合了模型引导和数据驱动的方法，首先基于智能驾驶模型（IDM）设计了一种速度引导算法，通过参数调整灵活地调整驾驶保守性。随后，提出了一种基于双延迟深度确定性策略梯度（TD3）的强化学习框架。IDM生成的参考速度被嵌入到状态空间中作为先验知识，以指导代理在训练过程中快速收敛。这种策略显著优化了车辆能耗，同时严格保证了驾驶安全，并对行驶效率的影响最小。实验结果表明，与基线方法和传统的深度强化学习策略相比，所提出的方法在节能、驾驶平稳性和交通连续性方面表现更优。该方法平均节能率为7.96%，行驶时间仅增加了0.44%，验证了其在生态驾驶任务中的有效性和实用性。