《Energy》:An online risk-adaptive energy management for heavy-duty hybrid vehicles under demand and execution uncertainties
编辑推荐:
•提出了一种面向实际不确定性工况的重载混合动力车辆风险自适应能量管理策略。•利用在线不确定性信息来调节功率分配决策,减少激进的电池功率修正。•所提策略在不确定驾驶工况下改善了燃油经济性、SOC稳定性和电池功率安全性。引言重型车占全球车辆总数的不足5%,却贡献了全球道路交通CO
- •
提出了一种面向实际不确定性工况的重载混合动力车辆风险自适应能量管理策略。
- •
利用在线不确定性信息来调节功率分配决策,减少激进的电池功率修正。
- •
所提策略在不确定驾驶工况下改善了燃油经济性、SOC稳定性和电池功率安全性。
引言
重型车占全球车辆总数的不足5%,却贡献了全球道路交通CO2排放的约22%[1]。因此,混合动力动力总成和有效的能量管理策略为减少重型运输的燃油消耗和排放提供了一条重要途径[2]、[3]。然而,其实际应用受到车辆质量与道路坡度变化、电池退化以及瞬态动力总成响应等复杂因素的影响,这些因素可能导致与标称工况产生显著偏差[4]、[5]、[6]、[7]。
基于规则的策略、等效消耗最小化策略(ECMS)和模型预测控制已被广泛用于实时功率分配研究[8]、[9]、[10]、[11]。基于规则的方法实现简单,但严重依赖预定义的标定参数;而ECMS和MPC则依赖于等效因子调整、模型精度或在线优化。这些特性限制了它们在工况变化时自主适应的能力,尤其是在需求侧和执行侧不确定性同时发生时。
为提高在不同工况下的适应性,深度强化学习(DRL)最近被引入混合动力车辆能量管理领域。Ganesh和Xu[12]系统地综述了电动动力总成的基于DRL的能量管理系统,并总结了其在连续功率分配问题中的潜力。Zhang等人[13]提出了一种结合驾驶工况识别的自适应DRL能量管理策略。Zhang等人[14]进一步将改进的SAC算法应用于具有双发动机系统的重载混合动力车辆的能量管理。
然而,大多数现有的基于DRL的能量管理方法是在固定循环下离线训练的,并在同分布工况下进行验证。此外,忽略瞬态动力总成动力学特性也限制了其实用性。Wang等人[15]系统分析了驾驶循环分布偏移对预训练DRL策略的负面影响,揭示训练与部署循环之间的分布不匹配可能导致燃油经济性恶化5%–20%。Liu等人[16]观察到跨循环转移过程中终端SOC偏差从1.2%扩大至8.7%,表明预训练策略在面对陌生的功率需求分布时无法有效调节终端SOC。Gao等人[17]对混合动力车辆策略进行了跨拓扑转移实验,发现源车辆上训练的策略在目标车辆上的燃油消耗比分开训练的策略高约6.5%。
一些初步研究尝试解决能量管理系统中的不确定性问题。在需求侧不确定性方面,Chen等人[18]将贝叶斯神经网络嵌入MPC框架,以概率方式预测驾驶员需求功率并实现风险约束优化,但该概率模型严重依赖大量离线数据集,无法适应在线分布变化。Li等人[19]提出了一种基于高斯过程回归的需求功率不确定性量化方法,结合随机MPC时可改善WLTC循环下的鲁棒性,但存在过大的在线计算负担。在动力总成退化感知方面,Zhang等人[20]将电池容量衰减模型引入DRL优化目标,通过多目标强化学习同时优化燃油经济性和电池寿命;然而该方法需要对特定退化机制进行显式建模。在跨循环迁移学习方面,Zhou等人[21]提出了一种元强化学习快速适应方法,利用新循环的有限数据实现策略迁移,但元训练中的高计算成本限制了其在车上的实时应用。
表1从五个对实际重型车部署至关重要的维度系统地比较了所提方法与现有代表性方法。现有方法均未能同时解决需求侧和执行侧不确定性并实现在线风险敏感适应,这构成了本研究旨在填补的核心空白。
为填补这一空白,本文提出了一种双不确定性感知的在线自适应强化学习框架。主要贡献总结如下:
(1) 建立了针对两种物理上不同的部署不确定性——需求感知误差和指令执行误差——的统一在线表述方法。
(2) 开发了一种协调的两层风险自适应机制,其中在线双不确定性信息在决策层共同引导基于CVaR的值学习,在执行层实施自适应动作衰减。
(3) 大量的扰动阶段、消融、跨循环和计算实验表明,该方法无需针对特定场景重新训练即可实现适应。
本文其余部分组织如下。第2节建立重型车辆模型并描述本研究采用的扰动。第3节详细介绍不确定性驱动的在线学习能量管理策略。第4节进行实验验证与结果讨论。最后,第5节得出本文结论。
章节摘要
数学模型
本文选择重载串联混合动力车作为研究对象。动力总成包括发动机-发电机单元、电池组、驱动电机和轮边减速器。发动机与车轮机械解耦,仅驱动发电机供电,电力通过直流母线分配给驱动电机或电池。作为唯一的车轮驱动部件,驱动电机同时实现车辆驱动和制动能量回收。
不确定性驱动的在线学习能量管理策略
所提策略采用双层架构:不确定性自适应门控(UAG)在动作层面衰减执行侧不确定性的影响,而基于CVaR的风险敏感评论家(RSC)在决策层面应对需求侧估计误差,如图5所示。
UAG、CVaR和SAC均为成熟技术。本研究的贡献不在于这些单个组件,而在于将它们协调用于双不确定性感知的能量管理。
结果与讨论
本节首先在需求侧和执行侧不确定性场景下评估所提算法(见4.2重载变道路场景验证和4.3动力总成退化场景验证)。4.4节呈现各模块的消融实验。最后,4.5节评估在C-WTVC、JE05和HHDDT重载驾驶循环中的泛化能力。对比方法包括基于规则的基线(RB)、SAC、Safe-RL、Lag-PPO以及……
结论
本研究提出了针对重载串联混合动力车的双不确定性感知SAC(DUA-SAC)能量管理框架。首先,通过指数移动平均估计在线联合表征需求侧和执行侧偏差。其次,以基于CVaR的风险敏感评论家替代标准Bellman目标,作为决策层软引导。第三,不确定性自适应门控对强化学习功率修正进行乘法衰减,作为动作层风险缓解机制。
CRediT作者贡献声明
张伟伟(Junwei Zhang):撰写初稿,调查研究,形式分析,概念构思。李学源(Xueyuan Li):撰写审阅和编辑,指导监督,研究方法,形式分析。崔海旭(Haixu Cui):可视化,软件。王红泽(Hongze Wang):软件,形式分析。石鹏洲(Pengzhou Shi):数据整理,概念构思。
利益冲突声明
作者声明不存在已知的竞争财务利益或个人关系可能影响本文报告的工作。
Junwei Zhang|Xueyuan Li|Haixu Cui|Hongze Wang|Pengzhou Shi