《Expert Systems with Applications》：A Two-Stage Deep Reinforcement Learning Strategy for Shared Autonomous Vehicles’ Pickup and Delivery Problem with Dynamic Wireless Charging
编辑推荐：
研究人员提出了一种新颖的两阶段深度强化学习（TDRL）框架，用于解决采用动态无线充电（DWC）方法的共享自动驾驶车辆（SAV）的动态交通路径规划问题。研究人员基于真实交通数据和道路网络开发了一个车辆-道路模型，为TDRL的训练和测试提供了关键数据。在初始出发交
研究人员提出了一种新颖的两阶段深度强化学习（TDRL）框架，用于解决采用动态无线充电（DWC）方法的共享自动驾驶车辆（SAV）的动态交通路径规划问题。研究人员基于真实交通数据和道路网络开发了一个车辆-道路模型，为TDRL的训练和测试提供了关键数据。在初始出发交通快照下的路径构建中，研究人员使用异构多层感知器注意力机制（HMLP-Att）来增强TDRL-1对多个任务节点、车辆状态和与DWC相关的充电机会的处理能力。结果表明，与流行的启发式算法相比，采用HMLP-Att的TDRL-1将路径成本降低了4.2%至17.4%，并实现了更好的电池稳定性。此外，与先进的深度强化学习（DRL）算法相比，TDRL-1不仅将成本降低了8.1%至15.0%，还显著减缓了电池老化并将训练效率提升了一倍。在动态场景中，研究人员使用专门设计的掩码方案来约束TDRL-2在节点对移除和重新插入过程中的操作。研究人员的发现表明，与在相同出发交通状态下构建的初始TDRL-1路径相比，当运行过程中交通状况发生变化时，TDRL-2将50个节点和100个节点实例的路径成本分别降低了16.2%和23.7%。这些结果证明了第二阶段神经邻域搜索在修复剩余可执行路径方面的价值，而非暗示TDRL-1是从不变的交通状态中生成的。通过比较固定和随机时间点，进一步证明了TDRL-2中动态掩码的鲁棒性，并且TDRL-2在变化的交通条件下也稳定了荷电状态（SOC）波动。最后，对动态交通的敏感性分析揭示，速度限制、拥堵程度和乘客分布都会影响SAV路径规划和DWC道路使用，而TDRL-2在拥堵条件下显著改善了SOC分布。
**论文解读：基于两阶段深度强化学习的共享自动驾驶车辆动态无线充电取送货问题研究**
**1. 研究背景与问题提出**
共享自动驾驶车辆（SAVs）作为解决当前交通挑战的创新方案，旨在通过智能调度系统实现无人驾驶车辆的共享服务，以当前私家车车队三分之一或更少的数量满足全天24小时的随机出行需求。然而，电动SAV的持续运行面临续航里程受限的重大挑战，这不仅受电池容量影响，更与充电方式密切相关。传统充电方式如导电插电式充电和电池更换均存在固有缺陷：插电式充电效率低（平均约86%），且车辆需静止充电，导致服务中断；电池更换虽可在五分钟内完成，但存在电池健康监测、换电站建设成本及交通安全等问题。动态无线充电（DWC）技术通过在路面嵌入感应充电基础设施，实现车辆在行驶过程中无线传输电能，从而有效解决充电与行驶之间的固有矛盾，使SAV可能实现全天候连续运行。然而，现有研究未能实现灵活路线系统（即SAV取送与充电问题，SPDCP）的连续运行，其中SAV需在维持稳定电池荷电状态（SOC）的同时，根据出行需求自适应地接送乘客。
在动态交通条件下，DWC环境下的SPDCP本质上是一个新颖且具有挑战性的优化任务。与传统车辆路径问题（VRP）和取送货问题（PDP）相比，SPDCP不仅需要满足乘客容量约束、先后顺序约束和SOC可行性，还引入了多目标和非极值优化需求，如通过稳定能量补给维持连续运行，同时最小化路径和服务成本。此外，交通状况随时间动态变化，初始规划的SAV路径可能因道路条件演变而不再最优，因此需要具备自适应局部路径调整能力。尽管集成调度与充电模型在结构化电动公交系统中显示出价值，但直接将其应用于面向SAV的SPDCP面临困难，因为该问题涉及灵活取送服务、异构任务节点、可重复DWC节点使用、SOC/健康状态（SOH）感知路径以及基于交通的在线路径调整，且这些决策发生在不同时间尺度上。因此，本研究采用两阶段框架，将全局路径-能量规划与交通响应式局部重规划分离，聚焦于DWC支持下的SAV路径规划、充电利用和交通响应式重规划。
**2. 研究内容与结论**
该论文发表在《Expert Systems with Applications》上，提出了一种新颖的两阶段深度强化学习框架（TDRL），用于解决动态交通条件下采用DWC的SAV取送与充电问题。在第一阶段（TDRL-1），研究人员利用结合节点注意力的多层感知器（HMLP-Att）处理不同类型的节点（包括取货、送货和DWC节点），以确定DWC的最优使用策略，确保SAV连续运行并生成初始全局路径。第二阶段（TDRL-2）基于更新的交通状态，通过神经邻域搜索和专门设计的掩码方案对剩余路径进行重规划。研究基于新西兰奥克兰北岸的真实交通数据和道路网络，构建了包含345.3公里机动车道路的案例区域，其中6.35%的道路（21.9公里）设置为25kW DWC路段。主要结论包括：TDRL-1在路径成本上比启发式算法降低4.2%-17.4%，比先进DRL算法降低8.1%-15.0%，同时显著改善SOC稳定性和电池健康（SOH）保护；TDRL-2在动态场景下比TDRL-1进一步降低路径成本16.2%-23.7%，并有效稳定SOC波动；敏感性分析表明速度限制、拥堵程度和乘客分布均影响SAV路径和DWC道路使用，TDRL-2在拥堵条件下显著改善SOC分布。
**3. 主要关键技术方法**
研究人员主要采用了以下关键技术方法：（1）**两阶段深度强化学习（TDRL）框架**：TDRL-1基于出发交通快照通过异构多层感知器注意力（HMLP-Att）编码器进行全局路径构建，TDRL-2基于更新交通状态通过移除-插入解码器和动态掩码进行局部路径修复；（2）**异构多层感知器注意力机制（HMLP-Att）**：整合位置编码、车辆状态嵌入、自注意力、取送节点间注意力、PDP节点与DWC节点间注意力，通过多层感知器融合提升异构节点表示能力；（3）**专门设计的动态掩码方案（Masking2）**：在TDRL-2中约束节点对移除和插入，确保路径可行性、容量约束、先后顺序约束、历史路径不可更改性以及SOC安全边界；（4）**动态交通流量模型**：基于奥克兰（Auckland）交通数据（来源：Planning & Transport [38]及Auckland Transport Asset Inventory Database [4]）和Google API数据，通过BPR函数将小时交通流量转化为旅行时间，构建准动态交通环境；（5）**SAV状态模型**：包括基于纵向动力学公式的能耗模型、安时积分法SOC更新模型以及基于A123 LiFePO
4电池的半经验老化模型（SOH监测）。
**4. 研究结果**
**4.1 TDRL-1与启发式算法对比**：在小规模（20节点）中，SISR启发式算法路径成本最低（54.5），TDRL-1采样策略为55.2；在50节点中，TDRL-1采样将路径成本从SISR的126.5降至122.3（降低3.3%）；在100节点中，两者成本相当（233.9 vs 234.9），但TDRL-1将ΔSOC控制在0.16%-0.22%，远优于SISR的15.3%，且ΔSOH更低。计算时间上，TDRL-1贪婪策略仅需2.8秒（100节点128实例），而SISR需4.2小时。
**4.2 TDRL-1与先进DRL算法对比**：TDRL-1采样策略在20/50/100节点下路径成本分别为55.2、122.3、233.9，优于POMO采样（59.5、138.8、257.4）和DACT（56.2、130.5、245.1）。在SOC稳定性方面，TDRL-1采样在100节点下ΔSOC仅0.16%，优于POMO采样的0.69%和DACT的0.51%；ΔSOH为3.3136‰，优于POMO采样的3.9302‰（相对降低15.7%）。训练效率方面，TDRL-1比DRL-AM和DRL-HAM节省至少50%时间。
**4.3 消融实验**：对比不同注意力组合，包含{自注意力、PDP注意力、PDP-DWC注意力、位置编码}的Set4表现最佳，在100节点下路径成本233.94、ΔSOC 0.04%、ΔSOH 2.084‰。训练收敛曲线显示HMLP-Att比AM-Att和HAM-Att更平滑稳定。
**4.4 大规模泛化测试**：在200/300/500节点下，TDRL-1采样策略比贪婪策略路径成本分别降低0.57%、2.30%、4.96%，且优于其他DRL算法。TDRL-1训练时间为10 epoch 45/69/146分钟，评估128实例时间分别为52.1/96.1/111.2秒，内存消耗随问题规模近似线性增长。
**4.5 TDRL-2动态场景结果**：基于历史数据和Google API数据，TDRL-2在50/100节点下分别比TDRL-1降低路径成本16.24%/23.74%（历史数据）和13.39%/7.82%（Google数据）。在固定时间点测试中，TDRL-2有效控制ΔSOC，而TDRL-1出现显著波动。TDRL-2评估128实例时间从20节点1.98秒到500节点62.08秒（约0.49秒/实例）。
**4.6 动态交通敏感性分析**：随拥堵指数从2.17降至0.22，SAV路径从拥堵区域向高速公路和快速路转移，DWC道路使用频率在低拥堵时更集中于高乘客密度区域。TDRL-2在动态场景下将SOC分布稳定在初始50%附近，而TDRL-1在交通变化后SOC偏离目标值。
**4.7 真实出租车运营对比**：基于奥克兰出租车数据（450次行程，原由47辆出租车服务），DWC模式仅需7辆SAV即可完成24小时服务，而插电式充电需14辆，电池更换需10辆。在固定7辆SAV时，DWC模式平均延迟0.5分钟（最大<7分钟），插电式充电和电池更换分别导致90分钟和25分钟充电中断，延迟显著累积。
**5. 讨论与结论**
**讨论部分**：研究指出TDRL框架的有效性强烈依赖于城市空间特征与基础设施布局的协调。在乘客需求相对集中、主要服务走廊与DWC设施高度重叠、交通流量动态变化的城市环境中，该框架能实现最佳运营效率和能量稳定性。DWC的实际效益与其在需求高区域的空间布局密切相关，车辆更倾向于沿现有取送路径寻求充电机会而非大范围绕行。动态交通条件下，TDRL-2的重规划机制是维持系统鲁棒性的核心，在交通波动显著的城市场景中，仅依赖静态初始路径常导致SOC大幅偏离目标值。该方法为具有明确需求走廊、高可达性充电设施和强动态交通的城市提供了高效SAV运营方案，对未来城市规划者将DWC设施部署在高需求且动态可达性好的路段具有启示意义。
**研究结论部分翻译**：本文提出了一种新颖的两阶段深度强化学习（TDRL）框架，用于解决采用DWC充电方法的SAV的动态交通路径规划问题。研究人员基于真实交通数据和道路网络开发了一个车辆-道路模型，为TDRL的训练和测试提供了关键数据。在初始出发交通快照下的路径构建中，异构多层感知器注意力（HMLP-Att）用于增强TDRL-1对多个任务节点、车辆状态和与DWC相关的充电机会的处理能力。结果表明，与流行的启发式算法相比，采用HMLP-Att的TDRL-1将路径成本降低了4.2%至17.4%，并实现了更好的电池稳定性。此外，当与先进DRL算法进行基准测试时，TDRL-1不仅将成本降低了8.1%至15.0%，还显著减缓了电池老化并将训练效率提升了一倍。在动态场景中，使用专门设计的掩码方案来约束TDRL-2在节点对移除和重新插入过程中的操作。研究人员的发现表明，与在相同出发交通状态下构建的初始TDRL-1路径相比，当运行过程中交通状况发生变化时，TDRL-2将50节点和100节点实例的路径成本分别降低了16.2%和23.7%。这些结果证明了第二阶段神经邻域搜索在修复剩余可执行路径方面的价值，而非暗示TDRL-1是从不变的交通状态中生成的。通过比较固定和随机时间点，进一步证明了TDRL-2中动态掩码的鲁棒性，并且TDRL-2在变化的交通条件下也稳定了SOC波动。最后，对动态交通的敏感性分析揭示，速度限制、拥堵程度和乘客分布都会影响SAV路径规划和DWC道路使用，而TDRL-2在拥堵条件下显著改善了SOC分布。
