《Scientific Reports》：Adaptive primal–dual Q-learning for electric vehicle route optimization on real-world charging networks
编辑推荐：
电动汽车（EV）正在成为内燃机车辆的可持续替代品；然而，由于有限的行驶里程、稀疏的充电基础设施和变化的能量消耗模式，高效的路径规划仍然是一个主要挑战。传统的短路径算法，如Dijkstra和A*，通常无法考虑电动汽车特有的因素，包括充电站可用性、连接器兼容性和能
电动汽车（EV）正在成为内燃机车辆的可持续替代品；然而，由于有限的行驶里程、稀疏的充电基础设施和变化的能量消耗模式，高效的路径规划仍然是一个主要挑战。传统的短路径算法，如Dijkstra和A*，通常无法考虑电动汽车特有的因素，包括充电站可用性、连接器兼容性和能量约束。本研究提出一个综合的电动汽车路径优化框架，将强化学习（Reinforcement Learning, RL）与基于图的方法相结合。研究人员提出了一种新颖的双Q自适应加权模型（Dual Q–Adaptive Weighting model），通过原对偶学习机制（primal–dual learning mechanism）平衡奖励和成本。该框架从历史导航经验中学习能量感知的路径策略。将该模型与标准强化学习方法——Q学习（Q-Learning）和双Q学习（Double Q-Learning）——以及增强版的A*和Dijkstra算法（考虑了充电密度和时间惩罚）进行比较。使用来自替代燃料数据中心（Alternative Fuels Data Center, AFDC）和Placekey数据集的真实电动汽车充电基础设施数据，通过DBSCAN构建聚类导航图。跨多条城市间路线的实验结果表明，所提出的双Q自适应模型实现了最高的路径准确率78.66%，优于双Q学习（76.27%）、Q学习（77.52%）以及传统的A*（74.26%）和Dijkstra（60.92%）算法。改进版的A*和Dijkstra使用的充电停靠点少于传统算法。改进算法相对于其基线版本有显著改进。结果表明，强化学习与图论优化相结合可以实现可扩展、基础设施感知且高效的电动汽车路径规划。
以下是为您撰写的论文解读文章，严格基于原文内容，不包含推测，并按照要求格式输出。
---
**研究背景与问题**
电动汽车（Electric Vehicle, EV）作为内燃机车辆的可持续替代方案正迅速普及，但其高效路径规划仍面临重大挑战。有限的行驶里程、稀疏的充电基础设施以及多变的能量消耗模式，使得传统的最短路径算法（如Dijkstra和A*）难以直接适用，因为它们无法动态考虑充电站可用性、连接器兼容性、电池荷电状态（State of Charge, SoC）等电动汽车特有约束。不合理的路径规划不仅加剧驾驶员的“里程焦虑”，还影响电动汽车长途出行的整体效率与可靠性。现有研究虽然通过简化模型、地形集成、电价优化或元启发式方法取得了进展，但大多缺乏轻量级、可解释且能实时适应SoC约束和充电站可用性的学习机制。为此，本研究提出了一种基于原对偶强化学习（primal–dual reinforcement learning）的框架，旨在平衡行驶效率与能量约束，从而实现可扩展、基础设施感知且高效的电动汽车路径规划。该论文发表在《Scientific Reports》。
**主要技术方法**
研究人员使用了来自美国能源部替代燃料数据中心（Alternative Fuels Data Center, AFDC）及Placekey组织的真实充电站数据集，覆盖美国和加拿大。通过DBSCAN算法（
ε-球半径为20 km）对充电站进行空间聚类，并基于5-近邻（5-nearest neighbor）方法构建了约2076个代表性节点的充电网络图，边权重采用Haversine距离并结合充电桩数量进行加权。研究中设计了三种强化学习（RL）模型：标准Q-Learning、Double Q-Learning以及提出的原对偶Q学习（Primal–Dual Q-Learning with Adaptive Weighting）。该模型维护两个独立的Q表（奖励Q
r和成本Q
c），通过拉格朗日乘子（μ）进行自适应加权，以动态平衡累积奖励与成本约束。此外，研究还实现了两种经典算法（A*和Dijkstra）及其改进版（融入电池续航和充电站约束），作为对比基线。所有模型均在同一图环境中训练（600个回合）和测试，并使用OpenRouteService（ORS）获取真实道路距离进行验证。
**研究结果**
**Training performance of models for the first route**
针对旧金山至波特兰的首条路线，研究人员分析了各RL模型的训练过程。Primal–Dual Q模型在600个回合中表现出从高探索性波动到稳定利用的清晰转变；其累积奖励逐步收敛至较高值，每回合步数显著减少，表明该模型在满足充电、连接器和距离约束的同时，能够简洁高效地识别路径。标准Q-Learning和Double Q-Learning同样在训练过程中表现出累积奖励增加、步数减少的趋势，但Double Q-Learning的探索期略长，因其交替更新两个Q表进行更广泛采样。
**Test performance and route visualization**
在旧金山至波特兰的测试路线中，Primal–Dual Q模型取得了最高准确率84.41%，显著优于Dijkstra（70.59%）。研究还显示，RL模型倾向于选择距离较远的充电节点以减少不必要的停靠，而经典算法（A*和Dijkstra）的路径因未考虑电动汽车约束而无效；改进版A*和Dijkstra由于遵循相同的约束条件，在多项指标上结果一致。通过可视化（图8、9），Primal–Dual Q模型生成的路径具有更好的现实可行性，减少了充电停靠次数。随后对RL模型输出进行距离过滤（确保充电间隔在175–250 km之间），进一步提升了实用性。
**Quantitative comparison across proposed models**
研究人员对10条真实城市间路线进行了定量分析。在迈阿密至休斯顿的路线中，Primal–Dual Q模型准确率达86.42%，改进后提升至93.30%，优于所有基线。Dijkstra在多数路线上表现最差，而A*由于启发式函数效率略高。总体而言，Primal–Dual Q模型在10条路线上的平均准确率为78.66%，高于Double Q-Learning（76.27%）、Q-Learning（77.52%）、A*（74.26%）和Dijkstra（60.92%）。经过距离优化后，Primal–Dual Q的准确率提升至89.25%，进一步验证了其优越性。此外，在50次独立运行的成功率测试中（洛杉矶至旧金山），Primal–Dual Q模型成功率为72%，优化后达到86%，高于标准Q-Learning（70%）和Double Q-Learning（66%）。
**Ablation study**
消融实验表明，若仅使用距离惩罚的简化奖励函数，模型性能显著下降；完整的奖励函数（包含进度、充电站兼容性、节点重复惩罚等）是引导代理学习可行高效路径的关键。
**Sensitivity analysis of DBSCAN epsilon parameter**
敏感性分析显示，DBSCAN的聚类半径
ε对路由性能有影响：
ε=10 km导致停靠站过多，
ε=30 km则过度聚合，降低空间分辨率；
ε=20 km可平衡细节与冗余，因此被选为默认参数。
**Implications for transportation systems and infrastructure planning**
研究结果对交通运输系统具有重要启示：数据驱动的路由策略可增强长途出行可靠性，减少里程焦虑；路由模式可反映充电网络覆盖的薄弱区域，帮助规划者识别欠服务走廊；同时，智能路由可通过均衡充电站负载缓解拥堵和电网压力。该框架的轻量级、可解释特性使其易于集成至导航平台和车队管理系统。
**Comparative analysis**
对比分析表明，Primal–Dual Q模型通过自适应惩罚机制，在低电量或能量瓶颈情况下自动提高成本值函数的权重，引导代理选择维持可行SoC的路径，从而避免不可行路段，相比仅依赖奖励信号的Q-Learning基线更稳定高效。与现有研究（如静态启发式、元启发式、深度RL等）相比，该框架在可解释性、计算效率和对稀疏充电网络的适应性方面具有明显优势。
**结论与未来展望**
研究结论部分翻译如下：
“本研究旨在检验强化学习模型在电动汽车路径规划领域相对于基准模型（A*和Dijkstra）的效率。从分析中推断，所提出的自适应加权的原对偶Q学习（Primal-Dual Q-Learning with adaptive weighting）在提供最优路径方面确实优于经典A*和Dijkstra以及标准RL模型，其准确率为78.66%；经过优化后，它以89.25%的准确率大幅超越标准和改进模型，表明其在实际实施中具有较强的现实可行性。因此，所提出的强化学习框架为下一代电动汽车导航系统提供了一种稳健、灵活且智能的替代方案。总体而言，通过结合轻量级表格型RL与原对偶自适应机制，该框架提供了一种可扩展、可解释且基础设施感知的电动汽车路径规划解决方案，弥合了静态优化方法与计算繁重的深度强化学习方法之间的差距。它能够实现实时、约束敏感的路径决策，适用于现代电动汽车导航和智能交通系统。”
