通过基于偏好的协调,为混合动力电动汽车实现基于电池健康状态的预测性分层节能驾驶控制
《Journal of Energy Storage》:Battery health-aware predictive hierarchical eco-driving control for hybrid electric vehicles via preference-aware coordination
【字体:
大
中
小
】
时间:2026年08月29日
来源:Journal of Energy Storage 10.7
编辑推荐:
摘要
对于混合动力电动汽车(HEVs)而言,具备电池健康意识的节能驾驶至关重要,因为交通引起的功率需求波动会直接影响发动机-电池的功率分配、电池电量状态(SOC)调节以及电池健康状态(SOH)的退化。现有的基于马尔可夫决策强化学习(MARL)的分层节能驾驶框架通常依赖于局部观察和
摘要
对于混合动力电动汽车(HEVs)而言,具备电池健康意识的节能驾驶至关重要,因为交通引起的功率需求波动会直接影响发动机-电池的功率分配、电池电量状态(SOC)调节以及电池健康状态(SOH)的退化。现有的基于马尔可夫决策强化学习(MARL)的分层节能驾驶框架通常依赖于局部观察和同质化合作假设,因此无法充分反映未来驾驶需求的变化以及自适应巡航控制(ACC)和能源管理策略(EMS)代理的异构目标。这一限制可能会影响车辆运动、燃油经济性和电池相关能源管理的协同优化。为了解决这些问题,本文提出了一种基于优先级感知MARL的电池健康意识预测分层节能驾驶控制框架。车道级别的预测交通信息被用于辅助ACC的决策,而状态感知的个性化分解策略通过奖励重构和加权动作价值分解来协调ACC和EMS代理。在EMS层中,联合考虑了燃油消耗、SOC偏差、SOH退化和电池功率约束,以在耦合的交通-能源条件下促进基于电池的发动机-电池功率分配。混合交通仿真和硬件在环(HIL)验证表明,与代表性的MARL基方法相比,所提出的方法实现了更平滑、更紧凑的跟随行为,燃油消耗减少了4.11%-5.30%,保持了稳定的SOC调节,抑制了电池功率波动,并更好地保护了电池健康。
引言
全球能源短缺和环境污染加剧了对交通运输行业实现低碳转型的压力[1]。具有优异燃油经济性和较低排放量的混合动力电动汽车(HEVs)已成为实现更绿色交通系统的重要途径[2]。同时,智能 connected 车辆和智能交通系统的进步使得HEVs能够利用预测的交通信息进行更主动的能源管理。分层节能驾驶策略是HEV节能控制的核心,因为它将纵向驾驶行为与车载能源管理相结合。上层负责速度规划和跟车控制,而下层通过能源管理策略(EMS)在发动机和电池之间分配功率。由于速度变化决定了未来的功率需求,而功率分配又影响燃油消耗、电池耗尽和运行效率,因此这两层必须共同优化[3]。
现有关于上层驾驶行为规划的研究主要集中在自适应巡航控制(ACC)上。早期的ACC方法通常采用动态规划(DP)和模型预测控制(MPC)开发。Li等人[4]提出了一种基于动作依赖启发式DP的生态ACC策略,而Zhang等人[5]开发了具有鲁棒性约束的车辆轨迹跟踪自适应MPC方法。Zhao等人[6]进一步引入了数据驱动的ACC框架来估计未知动态并在线求解Riccati方程。尽管这些方法在特定场景下取得了良好的控制效果,但它们通常依赖于精确的模型或足够的先验信息,这限制了它们在复杂和不确定交通环境中的适应性。最近,深度强化学习(DRL)由于其无模型优化能力和在动态场景中的强大适应性而受到了越来越多的关注[7],[8]。代表性的研究包括基于深度确定性策略梯度(DDPG)的ACC设计用于跟车控制[9],用于提高训练效率的引导DDPG[10],以及基于DRL的交通冲突评估和场景感知轨迹控制[11]。此外,软演员-评论家(SAC)和双延迟深度确定性策略梯度(TD3)也被证明在多样化的ACC场景中表现出稳健的性能[12]。尽管有这些进展,大多数基于DRL的ACC方法仍然主要是反应性的,因为它们主要依赖于即时或历史性的局部观察,缺乏对视线之外交通演变的预测意识。
在下层,EMS已被广泛研究用于优化多种能源之间的功率分配[13]。现有的EMS方法通常可以分为基于规则的、基于优化的和基于学习的策略。基于规则的方法易于实现且计算负担低,但其确定性逻辑在变化的操作条件下的适应性往往有限[14]。基于优化的方法(如DP和庞特里亚金最小原理)在准确的未来信息可用时可以提供强大的控制性能。例如,Liu等人[15]提出了一个混合旅行模型以支持全局最优燃油消耗,Li等人[16]开发了基于驾驶周期预测的自适应EMS。随后开发了实时优化策略,包括等效消耗最小化策略(ECMS)和MPC,以减少对完整行程信息的依赖。Piras等人[17]将ECMS与基于长短期记忆(LSTM)的速度预测结合使用,Hu等人[18]将驾驶模式识别纳入EMS设计,Ruan等人[19]提出了一个显式的MPC框架以提高在线效率。然而,这些方法仍严重依赖于模型精度和环境预测质量。为了解决这些限制,基于DRL的EMS方法受到了大量关注[20],[21],[22],[23]。最近的研究进一步结合了短期速度预测[24],[25],[26]、迁移学习[27],[28]、专家知识[29]和优先采样[30]以提高适应性和训练效率。尽管这些研究显著推进了基于DRL的EMS,但大多数研究仅关注单层能源分配,并未明确模拟上层驾驶行为与下层能源管理之间的耦合。
认识到这种耦合,最近的研究开始研究集成或分层节能驾驶框架。Peng等人[31]基于DDPG开发了一个集成的ACC-EMS框架以实现多目标优化。Li等人[32]进一步提出了一个分层节能控制框架,其中上层处理节能驾驶ACC,下层处理EMS,并使用城市移动性模拟(SUMO)构建了混合交通仿真环境。随后,Peng等人[33]将ACC和EMS建模为独立的代理,并基于多代理深度确定性策略梯度(MADDPG)开发了一个分层协作框架[34],[35]。这些研究确立了使用多代理强化学习(MARL)来协调HEV节能驾驶中上层和下层决策的可行性。然而,大多数现有的分层MARL方法隐含地假设代理之间的同质化合作,通过一个共享的或强耦合的优化目标[36]。这种表述与分层节能驾驶的结构并不完全一致,因为ACC代理和EMS代理具有根本不同的控制角色、状态敏感性和奖励重点。ACC代理关注纵向安全、交通效率和舒适性,而EMS代理关注功率分配、燃油经济性和电池相关约束。当这些异构目标被强制纳入完全合作的框架时,两层的不同控制偏好可能会被削弱,从而限制了协作优化的有效性。
除了上述问题外,现有的分层节能驾驶框架仍然缺乏足够的预测交通意识。在实际交通环境中,上层控制器不仅需要对前车的当前状态做出响应,还需要对车道级别交通条件、信号状态和上游拥堵的未来演变做出响应。没有这样的预测信息,上层策略往往会表现出短视行为,可能导致不必要的加速和减速,从而降低下层能源优化的效果。因此,当前分层节能驾驶研究仍存在两个关键限制:缺乏上层决策的预测交通意识,以及缺乏针对部分目标对齐的异构代理的明确协调机制。
为了解决这些问题,提出了一种称为交通感知个性化MATD3(TA-PeMATD3)的分层框架,该框架将预测交通意识与状态感知的个性化多代理协调相结合。如图1所示,上层ACC代理根据预测的车道级别交通信息进行节能速度规划,而下层EMS代理根据计划的速度曲线在不同能源源之间分配能量。引入了一种状态感知的个性化分解策略,从联合状态中推断动态偏好权重,以在异构代理学习过程中平衡自我意识和协作意识。该机制实现了奖励重构和加权加法动作价值分解,从而提高了上层和下层决策之间的协调性。同时,设计了一个车道级别交通感知模块,以提供视线之外的交通预测,使上层控制器能够做出更具有前瞻性的节能驾驶决策。本研究的主要贡献总结如下:
- 通过将预测交通意识与偏好感知的多代理强化学习相结合,开发了一个用于HEVs的分层节能驾驶框架。该框架共同解决了前瞻性速度规划和协调能源管理问题。
- 引入了一种状态感知的个性化分解策略,用于异构的ACC和EMS代理,其中偏好网络从联合状态中推断动态自我意识和协作意识权重,以重构即时奖励并分解动作价值,从而在部分目标对齐的情况下提高协调性。
- 设计了一个基于自适应时空图学习的车道级别预测交通感知模块,以捕捉来自多源交通信息的短期交通演变,并为上层节能驾驶决策提供视线之外的支持。
- 进行了广泛的实验,包括混合交通仿真、计算效率分析和硬件在环(HIL)验证,以验证所提出框架的有效性、计算效率和部署可行性。
本文的其余部分组织如下。第2节介绍节能驾驶问题的构建。第3节介绍所提出的TA-PeMATD3框架。第4节报告实验结果和分析。第5节对本文进行总结。
**绿色驾驶问题建模**
所提出的节能驾驶框架主要由一个分层结构组成,其中上层和下层之间的协调优化确保了驾驶安全并提高了能源效率。下面详细分析了节能驾驶框架的基本配置。
**TA-PeMATD3节能驾驶框架**
TA-PeMATD3框架的流程如图1所示,通过上层和下层代理之间的状态感知个性化协调来实现最优决策。此外,还获取实时交通信息(如交通速度、信号和流量)以指导代理决策。
**仿真场景设置**
训练场景使用表2中的配置,车辆速度根据实时交通情况波动。测试场景包括两部分:(1)与图2(c)相同的道路网络,但背景交通不同,如表3所述,其中汽车和公交车的速度限制分别为15 m/s和12 m/s,并添加高斯噪声???(0,3) km/h以模拟驾驶员的变异性;(2)基于HWFET周期的新SUMO段落。
**结论**
本文提出了一种用于HEVs的分层节能驾驶框架,称为TA-PeMATD3,旨在解决上层驾驶行为规划中缺乏预测交通意识和传统基于MARL的ACC-EMS控制协调灵活性不足的问题。在所提出的框架中,将车道级别预测交通感知模块集成到ACC代理中,以提供视线之外的交通信息,同时嵌入了状态感知的个性化分解策略。
**CRediT作者贡献声明**
Shijie Cai:撰写——原始草稿、软件、方法论。
Jianxiong Liao:可视化、验证。
Ranjun Huang:调查、数据管理。
Yuhang Liu:可视化、调查。
Siquan Yuan:可视化、调查。
Pei Zhang:撰写——审稿与编辑、资金获取。
Jie Hu:撰写——审稿与编辑、资源管理、资金获取。
**利益冲突声明**
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文所述的工作。
**致谢**
本工作得到了中国国家自然科学基金(项目编号52305069)、中国广西重大科技项目(项目编号AA23062062)以及湖北省技术创新计划(项目编号2025BAB083)的资助。
Shijie Cai | Jianxiong Liao | Ranjun Huang | Yuhang Liu | Siquan Yuan | Pei Zhang | Jie Hu
中国武汉理工大学光超合金国家重点实验室,湖北武汉430070
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号