随着人们对环境可持续性和能源安全的日益关注，减少碳排放和提高能源效率已成为全球优先事项。对化石燃料的严重依赖和石油资源分布不均进一步加速了替代动力系统技术的发展[1]。混合动力电动汽车（HEV）被认为是应对这些挑战的有效解决方案，因其具有降低燃油消耗和排放的潜力[2]。
然而，多种能源的集成使混合动力电动汽车成为具有非线性、多变量和时变特性的复杂系统[3]，[4]。此外，有效的能量管理策略（EMS）需要在考虑多个目标的同时协调不同能源之间的功率分配，包括燃油经济性、电池健康和电池能量利用效率[5]，[6]，[7]。因此，设计良好的能量管理策略对于确定适当的功率分配决策至关重要，以便在满足驾驶员功率需求的同时平衡燃油经济性和电池健康[8]，[9]。相应地，能量管理策略可以表述为序贯决策问题，需要在不同驾驶条件下实现不同性能目标之间的最优权衡。
在过去的几十年中，已经开发了各种能量管理策略方法来提高混合动力电动汽车的能源利用效率，这些方法通常可以分为三类：基于规则、基于优化和基于学习的方法。基于规则的策略根据预定义规则或阈值确定功率分配，在特定工况下激活相应的控制动作[10]。虽然这些方法易于实现且计算要求低，但其性能高度依赖于手动设计的规则和工程经验，这限制了其对不同驾驶条件的适应性。
基于优化的算法将能量管理表述为优化问题，由于其能够获得近最优控制策略的能力而被广泛研究。代表性方法包括全局优化方法，如动态规划（DP），以及实时优化方法，如庞特里亚金最小原理（PMP）、等效消耗最小化策略（ECMS）和模型预测控制（MPC）[11]。Xu等人提出了一种"信息层-物理层-能量层动态规划"框架来减少基于DP的能量管理策略的计算负担；然而，实时性能验证和电池退化考虑仍然缺乏[12]。为了提高基于优化的能量管理策略的适应性，后续研究将额外信息（如交通状况和驾驶预测）引入ECMS和MPC框架，从而提高了不同驾驶条件下的燃油经济性和优化性能[13]，[14]，[15]，[16]，[17]，[18]。此外，电池退化也被纳入基于优化的能量管理策略中，以实现燃油经济性和电池寿命之间的更好平衡[19]。然而，基于优化的算法通常依赖于准确的系统模型和预定义的优化设置，这可能在一定程度上限制了其在不同驾驶条件下的适应性。此外，获得的控制策略往往对预测精度和参数调整敏感。
目前，基于学习的能量管理策略因其通过与环境交互直接学习控制策略的能力而受到越来越多的关注。随着强化学习和深度神经网络的发展，各种强化学习算法（包括时序差分（TD）学习、Q学习、深度Q网络（DQN）、深度确定性策略梯度（DDPG）及相关方法）已被应用于能量管理策略[20]。
为了提高基于强化学习的能量管理策略的学习效率，一些研究引入了额外的模型或规划机制。Guo等人利用云平台提出了面向互联车辆编队的基于DDPG的能量管理策略[21]。Yang等人开发了多种基于学习的策略，包括基于DQN的方法、高阶马尔可夫模型规划、基于Dyna的自适应学习和蒙特卡洛树搜索方法[22]，[23]，[24]，[25]，[26]，[27]。这些方法通过引入额外模型或规划过程来提高收敛速度；然而，其性能仍然取决于所引入模型的准确性。
另一系列研究将专家知识融入强化学习以提高学习效率。文献[28]提出了一种知识辅助的DDPG框架，而Li等人将基于规则的控制和ECMS经验转移给DQN智能体[29]。最近，基于规则的专家策略通过KL散度正则化被纳入强化学习，以引导燃料电池混合动力电动汽车（FCHEV）的策略学习[30]。Fan等人进一步利用DP生成的专家策略训练基于PPO的对抗学习框架[31]。
这些研究展示了专家引导强化学习在提高能量管理策略学习效率方面的潜力。然而，现有方法仍面临一些挑战。基于规则的专家知识严重依赖手动设计的控制原则，可能无法完全捕捉燃油消耗、电池状态调节和退化之间的最优权衡。同时，基于DP生成专家策略的方法通常引入额外的专家网络或复杂的训练过程，增加了实现复杂度。因此，一种能够有效利用基于优化的专家知识，同时保持强化学习探索能力和计算效率的有效框架仍然是连续能量管理问题所需要的。
最近考虑电池健康的能量管理策略采用了更准确的电池退化模型。例如，文献[32]中的电池退化模型是基于Arrhenius电化学公式建立的，而文献[33]进一步将电化学退化模型与热电模型耦合，以提高电池老化估计的准确性。
基于上述分析，本研究将SAC的探索能力与高效DP框架生成的专家知识相结合。首先，采用DP方法生成计算成本较低的专家动作，然后将获得的专家知识纳入SAC训练过程以引导策略学习。通过学习高质量优化派生动作，所提出的方法加速了策略收敛，同时保持了SAC的连续控制能力和实际应用性。
本研究做出了三个主要贡献：
- (1)
通过减少状态离散化，开发了一种计算高效的基于DP的专家生成策略，能够以较低的计算成本获得高质量专家动作。
- (2)
提出了一种模仿学习SAC框架（ILSAC），将生成的DP专家动作纳入策略优化过程，以加速收敛，同时保持SAC的连续控制能力。
- (3)
进行了仿真和硬件在环（HIL）实验以验证所提出的策略，与基准方法相比，展示了燃油经济性、电池健康保持和控制稳定性的提升。
本文其余部分组织如下：第2节描述了用于后续仿真的混合动力电动汽车配置；第3节提出了模仿学习SAC算法框架和实施细节；第4节展示并讨论了仿真结果；第5节对论文进行了总结。
