燃料电池公交车的低温能源管理：一种融合动力系统电热老化特性与车厢热舒适度的深度强化学习方法

《Energy》：Low-temperature energy management for fuel cell buses: A DRL approach integrating powertrain electro-thermal-aging characteristic and cabin thermal comfort

　　高思辰|鞠飞|王群|宗玉华|张成瑞|赵震|戴泽林|王良模
中国南京，210094，南京科技大学机械工程学院

摘要
为解决低温环境下燃料电池公交车存在的燃料电池热管理不足、车厢废热利用不充分以及动力总成健康状态衰退加速等问题，本文提出了一种基于深度强化学习的能量管理策略，该策略充分考虑了低温环境对系统性能的影响。具体而言，通过构建动力总成的电老化耦合模型、低温燃料电池热管理模型以及车厢热负荷模型，为软 Actor-Critic 算法设计了多目标奖励函数。该奖励函数综合考量了动力总成健康状态、燃料电池温度和车厢温度等因素，从而实现动力总成耐久性、燃料电池热安全性和车厢舒适度的同步优化。此外，针对固定路线运行的燃料电池公交车，还构建了典型的驾驶循环以用于策略训练，旨在提升整体能源效率与环境适应性。仿真结果表明，所提出的策略优于传统方法，能够有效降低动力总成健康状态衰退幅度（8%–15%）、温度异常情况（28%–45%）、电池电量偏差（67%）以及驾驶成本（8%）。

引言
氢燃料电池混合动力公交车作为清洁能源交通领域的关键载体，在推动全球能源转型和实现碳排放减排目标方面具有重要意义[1][2]。这类车辆采用燃料电池与锂离子电池相结合的混合动力架构，充分利用了燃料电池的高能量密度和锂离子电池的快速响应特性，显著提升了车辆的整体效率与续航里程。然而，在低温动态驾驶条件下，燃料电池热管理不足、车厢废热利用效率低下以及动力总成健康状态衰退加速等问题仍制约着车辆的性能、舒适度及使用寿命[3][4]。因此，开发能够同时兼顾动力总成耐久性与低温热特性的能量管理策略，对于提升系统效率与可靠性、加速氢基交通方式的商业化具有重要意义。

燃料电池混合动力公交车的能量管理策略主要分为基于规则的方法、基于优化的方法以及基于学习的方法。由于计算需求低且易于实现，确定性规则[5]和模糊逻辑规则[6]在商用车辆中应用较为广泛。不过，这些方法的性能受限于参数和阈值精确校准的需求。基于优化的策略可进一步分为全局优化方法和局部优化方法。全局优化方法如动态规划[7]和凸优化[8]，由于依赖先验信息且计算量大，主要用于性能评估。而局部优化方法，包括等效能耗最小化策略[9]和模型预测控制[10]，则更适用于实时应用。等效能耗最小化策略通过引入等效因子来降低燃料电池系统与锂离子电池的总等效能耗，但其效果在很大程度上取决于所选的等效因子。为提升该策略的适应性，现有研究致力于开发自适应等效因子调整方法，例如基于驾驶条件识别[9]、电池电量反馈[10]以及未来功率需求预测[11]的方法。但这些方法均存在一定的局限性，如识别精度、道路复杂性或预测准确性问题，可能导致实际应用中的策略性能不佳。相比之下，模型预测控制作为一种预测型能量管理策略[12]，通过动态规划在预测范围内寻求最优控制序列。尽管该方法对未知驾驶场景具有较强鲁棒性，但其性能仍高度依赖于车辆速度预测模型的准确性。基于学习的方法，如深度 Q 网络[13]、深度确定性策略梯度算法[14]、TD3[15]以及软 Actor-Critic 算法[16]，因其无需依赖特定模型且具有很强的环境适应性而备受关注。陈等人[17]提出了基于 SAC 的考虑健康状态的能量管理策略，虽能降低成本并减缓动力总成健康状态衰退，但未考虑动力总成的热安全性。杜等人[18]提出了考虑电池老化和温度因素的预测型能量管理策略，有效降低了整体能耗和电池老化速度。张等人[19]提出了结合动力总成耐久性与热特性的 SAC 基能量管理策略，使动力总成健康状态分别提升了14.01%和3.45%，同时还能控制燃料电池系统与锂离子电池的峰值温度。贾等人[20]则将能源系统与车厢热管理相结合，利用 TD3 算法协同调控燃料电池系统的功率变化率与空调系统的制冷能力，从而在耐久性、热安全性和舒适性之间取得平衡。

基于以上分析，现有的基于深度强化学习的燃料电池混合动力公交车多目标能量管理策略主要侧重于常温条件下的动力总成健康状态管理与热管理。而在更为恶劣的低温环境下，燃料电池系统的功率分配还需充分考虑车厢的舒适性需求。在低温条件下，燃料电池系统的功率分配不仅会影响动力总成的性能与工作温度，还会决定可用于车厢供暖的废热量。目前的策略往往将车厢供暖视为独立负载，使得燃料电池系统的功率控制与车厢热需求相互脱节。这种缺乏协调的做法限制了在低温条件下同时提升车辆整体能源效率与乘客舒适度的潜力。此外，针对固定路线运行的燃料电池混合动力公交车，其能量管理策略通常基于标准驾驶循环进行训练，这进一步限制了其节能潜力。为应对这些挑战，本研究提出了一种基于 SAC 的能量管理策略，该策略综合考虑了动力总成的电-热-老化特性以及车厢热舒适性，适用于实际的低温驾驶场景。本文的主要贡献如下：
(1) 为固定路线运行的燃料电池混合动力公交车构建了典型驾驶循环，便于策略训练，从而充分发挥其节能潜力；
(2) 构建了动力总成电老化耦合模型、低温燃料电池热管理模型以及车厢热负荷模型，分别用于描述动力总成健康状态衰退规律以及燃料电池系统和车厢的低温热行为；
(3) 设计了一种基于 SAC 的多目标能量管理策略，旨在提升驾驶经济性、动力总成耐久性、燃料电池系统热安全性以及车厢舒适性。进一步分析表明，使用所构建的典型驾驶循环进行训练，能有效提升该策略的适应性与鲁棒性。

第2节详细介绍了动力总成电老化耦合模型、低温燃料电池热管理模型以及车厢热负荷模型的构建方法。第3节阐述了典型驾驶循环的构建流程。第4节介绍了 SAC 算法的基本原理及数学表达式。第5节系统阐述了所提出的基于 SAC 的多目标能量管理策略框架。第6节分析了仿真结果，第7节总结了研究的主要发现。

**动力总成结构**
图1(a)展示了燃料电池混合动力公交车的动力总成结构示意图，其中燃料电池系统通过直流/直流转换器与直流母线相连，而锂离子电池组则通过直流/交流逆变器为驱动电机供电。图1(b)展示了车辆的运动动力学特性，反映了多种力共同作用的效果。驱动功率需求Pd由公式(1)给出：
Pd = mgf cosαi + mg sinαi + CdA2/15ν2 + δmdν/dt·ν
其中，m为车辆静止质量，A为车辆正面面积，αi为道路坡度。

**典型驾驶循环的构建**
如图5所示，从云平台系统中获取了一周内固定路线燃料电池混合动力公交车的行驶数据，随后通过插值法填补缺失的数据点。怠速阶段车速低于1公里/小时时，将其数值设为零。之后，应用Savitzky–Golay滤波算法对数据集进行平滑处理。基于预处理后的车速数据，将驾驶过程划分为不同的运动阶段。

**SAC算法**
SAC是一种基于最大熵框架的离线深度强化学习算法，它通过同时最大化预期累积收益与动作分布的熵值来优化随机策略，从而鼓励算法进行探索。而DDPG则采用确定性策略，并通过离线批评值更新来学习动作价值，虽然效率较高，但由于其确定性特点，容易出现价值高估及探索行为不够灵活的问题。TD3则是对SAC算法的改进。

**基于SAC的考虑动力总成电-热-老化特性与车厢热舒适性的能量管理策略**
本章系统介绍了所提出的基于SAC的多目标能量管理策略的整体框架，如图7所示。该策略使用典型驾驶循环进行训练，其适应性与鲁棒性则在两个未知驾驶场景下进行了验证，如图8所示。此外，还通过与其他训练方法的对比，验证了所构建的典型驾驶循环在提升策略节能性能方面的有效性。

**最优性验证**
本章在-10℃的环境温度下，对三种基于SAC的能量管理策略的全面性能进行了比较评估。EMS @A仅考虑氢气消耗与电池电量维护问题；EMS @B在EMS @A的基础上增加了防止动力总成健康状态衰退的机制；EMS @C则在EMS @B的基础上进一步对燃料电池系统与车厢的温度设置了约束条件。图10(a)–(c)展示了在不同工况下燃料电池系统与锂离子电池的输出功率变化曲线。

**结论**
本研究提出了一种基于SAC的燃料电池混合动力公交车能量管理策略，该策略在低温环境下综合考虑了动力总成的电-热-老化特性与车厢热舒适性，有效解决了低温动态驾驶场景中的若干关键问题，如燃料电池热管理不足、车厢废热利用效率低以及动力总成健康状态衰退加速等问题。此外，本研究还为这类车辆构建了典型的驾驶循环，为策略优化提供了有力支撑。

**作者贡献**
高思辰：论文撰写——初稿、可视化、验证、软件开发、方法设计；鞠飞：验证、软件开发、实验研究、形式化分析；王群：验证、软件开发、实验研究、形式化分析；宗玉华：验证、软件开发、实验研究；张成瑞：可视化、数据整理、概念设计；赵震：可视化、数据整理、概念设计；戴泽林：可视化、数据整理、概念设计；王良模：论文撰写——审稿与编辑。

**利益冲突声明**
作者声明不存在任何可能影响本文研究结果的已知财务利益或个人关系。

**致谢**
本研究得到了国家自然科学基金（52402476）和中国江苏省自然科学基金（BK20240677）的支持。