《Energy》:Deep Transfer Learning Based Energy Management Strategy for Distributed Drive Electric Vehicles Considering Execution Constraints
编辑推荐:
•提出了一种基于DTL(深度迁移学习)的方法,用于高效部署和场景适应。•融入了扭矩分配和能量回收的执行约束。•建立了多速度和多场景驾驶循环用于智能体训练。•在不同测试循环下验证了所提出EMS的优越性能。引言随着能源短缺和环境污染问题日益凸显,电动汽车(EVs)作为具有巨大潜力
- •
提出了一种基于DTL(深度迁移学习)的方法,用于高效部署和场景适应。
- •
融入了扭矩分配和能量回收的执行约束。
- •
建立了多速度和多场景驾驶循环用于智能体训练。
- •
在不同测试循环下验证了所提出EMS的优越性能。
引言
随着能源短缺和环境污染问题日益凸显,电动汽车(EVs)作为具有巨大潜力的低碳交通解决方案,在过去十年中获得了广泛关注和快速发展 [1], [2], [3]。双电机电动汽车(DDEVs)以其独特的驱动架构为特征,具有独立控制的电机和简化的传动结构,可以有效提高能源利用效率 [4], [5]。因此,它们在智能驱动系统中具有广阔的应用前景,被认为是未来电动汽车的理想架构。然而,DDEVs面临的复杂驾驶环境和执行处理约束使得能量管理问题极具挑战性。此外,其模块化架构有利于策略的智能集成。因此,研究DDEVs的EMS具有重要意义。
EMS的核心目标是通过优化算法最大化能源利用效率,从而提高车辆的经济性能。随着电动汽车产业化的不断推进,如何进一步降低能耗和延长续航里程已成为该领域的核心问题。在此背景下,学者们对具有不同驱动架构的车辆进行了系统性探索。文献[6], [7], [8]采用了多目标求解和二次规划(QP)等数值优化方法,以最大化电动汽车的能量效率。在此基础上,文献[9], [10]分别结合了基于规则的策略、枚举算法和动态规划(DP)等离线优化方法,优化多源电动汽车的工作模式和扭矩分配。为应对强系统非线性和时变参数带来的挑战,文献[11], [12]设计了基于模糊逻辑的EMS,有效降低了电动汽车的行驶成本和荷电状态(SOC)消耗。为进一步克服现有方法在预测驾驶循环和车辆状态方面的不足,文献[13], [14], [15], [16]设计并改进了基于模型预测控制(MPC)的EMS,从而提高了电动汽车的运行效率和续航里程。文献[17], [18]引入了驾驶行为识别方法,并通过自适应能量分配和MPC实现了乘坐舒适性、燃油经济性和动力耐久性的平衡。尽管上述研究在降低能耗方面取得了一定成效,但其优化过程主要基于已知的驾驶条件。并且它们高度依赖于被控对象模型和实时动态计算。当面对复杂或极端交通环境时,这些方法往往难以适应驾驶条件的未知变化。此外,它们容易出现模型失配和响应滞后,导致整体性能下降。
近年来,DRL(深度强化学习)作为一种具有自主学习和决策能力的无模型算法,在多执行器系统中展现出了显著优势。该算法不依赖于精确的模型描述,并且具有良好的实时性能和鲁棒性,这使其逐渐被应用于该领域。文献[19]提出了一种基于深度Q网络(DQN)算法的电动汽车EMS,通过驾驶行为感知和分层扭矩分配显著降低了能耗。文献[20], [21]专注于深度确定性策略梯度(DDPG)和软演员-评论家(SAC)算法,并将最优控制求解平台(GOPS)与局部敏感哈希(LSH)方法相结合,显著提高了电动汽车的整体行驶效率。为进一步改善EMS的训练效率和泛化能力,文献[22], [23]为电动汽车提出了离线学习和双智能体协作框架。此外,我们基于DDPG和孪生延迟深度确定性策略梯度(TD3)开展了研究,并通过数据驱动的驾驶循环拟合、粒子群优化(PSO)和Gumbel-Softmax算法优化了EMS [24], [25], [26], [27]。这提高了多模式电动汽车的节能性能和驾驶循环适应性。尽管这些研究减少了对手动条件和计算资源的依赖,但其策略设计通常局限于单一标准化循环。因此,当驾驶场景发生变化时需要重新训练,并且缺乏对复杂情况的适应性。此外,训练效率和泛化能力仍然有限。而且,它们大多基于理想车辆状态假设,未充分考虑动态执行约束。
综上所述,现有EMS都有其固有的局限性,包括依赖确定性环境、跨条件适应性有限以及约束考虑不足。在连续动作的DRL算法中,在线PPO无法通过经验回放重用历史数据,导致计算资源消耗高。此外,尽管SAC引入了熵正则化以增强探索,但容易导致策略振荡和结构复杂。为此,本文提出了一种基于TD3的迁移学习(TL)EMS,用于DDEVs并融入执行约束。本文的整体框架如图1所示,主要贡献如下:
- (1)
以能量优化为目标,通过知识共享和策略更新机制设计了DTL方法,提高了EMS的收敛效率和场景适应性。
- (2)
为了解决动态约束未充分考虑的固有缺陷,引入了扭矩分配和能量回收的执行约束,提高了EMS的适用性和可靠性。
- (3)
通过实测数据构建多特征驾驶循环,对开发的策略进行配置和训练,提高了EMS的驾驶条件覆盖范围和场景泛化能力。
本文其余部分结构如下。第2节建立DDEVs的动态模型。第3节设计基于DTL的能量优化方法,通过融入动态执行约束,在构建的驾驶循环上完成参数配置和迭代训练。第4节在各种驾驶条件下验证所提出的策略。第5节提供本文工作的结论和讨论。
章节摘要
DDEVs动态模型
本节详细阐述了DDEVs的完整建模过程,旨在为后续的EMS研究奠定基础。该模型涵盖车辆、电机、电池和制动系统,其整体结构如图2所示。
能量管理策略设计
本节为DDEVs提出了一种EMS。基于DTL的能量优化,该策略融入了动态执行约束。通过在构建的驾驶循环上进行持续交互和迭代训练,提升了其整体性能。
验证与分析
为验证所提出策略的优越性和有效性,本节通过图9所示的HIL测试平台对DDEVs进行了全面的对比测试。在各种未知条件下进行验证和分析,评估EMS的性能。
结果与讨论
为验证所提出EMS的有效性并便于系统性对比分析,本节在表3和表4中总结了不同策略在各种测试循环下的性能指标,并在此基础上进行了进一步讨论和分析。
大多数基于DRL的现有EMS采用独立训练范式。其固定的网络参数无法实现跨场景的良好适应性。所提出的DTL策略有效降低了训练成本
结论
为实现DDEVs在不同驾驶场景下的高效能量利用,本文提出了一种考虑执行约束的基于DTL的EMS框架。具体来说,该策略通过参数传递和策略更新实现了EMS的自适应能量优化。同时,充分考虑了扭矩分配和能量回收中涉及的动态约束。最后,从平台运行数据中构建了覆盖多速度和多场景的驾驶循环。并
CRediT作者贡献声明
刘凯:可视化、概念构思。韩泽轩:撰写 – 审阅与编辑、撰写 – 初稿、可视化、验证、软件、方法论、调查、形式化分析、数据整理、概念构思。阮家庚:撰写 – 审阅与编辑、监督、资源、项目管理、资金获取、形式化分析、概念构思。侯天澈:撰写 – 审阅与编辑、可视化、概念构思。梁兆文:可视化、概念构思
利益冲突声明
? 作者声明他们没有任何已知的竞争经济利益或个人关系,这些关系可能会影响本文所述的工作。
韩泽轩|阮家庚|侯天澈|梁兆文|刘凯