基于Q学习强化学习的双模型预测控制策略提升燃料电池混合电动汽车能量管理与性能优化

本文提出了一种基于Q学习强化学习的自适应双模型预测控制（QMPC）策略，用于优化燃料电池混合电动汽车（FCHEV）的能量管理。该策略通过Q学习动态调整双MPC框架的权重系数，实现了氢耗经济性提升（最高17.8%）和燃料电池效率优化（约45%），并通过实时仿真验证了其实际应用价值。研究为FCHEV的多目标协同控制提供了创新性解决方案。

　　

Highlight

本研究的主要创新点如下：

• •
  (1) 建立了包含关键辅助系统的简化质子交换膜燃料电池（PEMFC）电堆模型，其中QMPC的状态变量包括电池荷电状态（SOC）、电堆温度、效率和输出功率。控制变量包括电堆功率、电流和冷却循环泵转速。
• •
  (2) 通过分析电流和温度对PEMFC性能的影响，绘制了功率和效率图谱，并确定了最佳工作点和可行范围。
• •
  (3) Q学习为上下层MPC提供权重系数，同时利用MPC优化反馈更新Q表，实现了自适应协调。
• •
  (4) 在NEDC和HWFET标准循环下的仿真结果表明，与三种基准EMS相比，所提出的QMPC在性能和实时适用性方面均表现出优越性。

Section snippets

系统建模

所研究的FCHEV配置如图1所示，主要部件的关键配置见表1。PEMFC电堆作为系统的主要动力源，通过电化学反应将氢气和氧气的化学能转化为电能，副产物为水和热。它通过单向DC/DC转换器连接到车辆直流母线以提供电力。同样，锂离子电池（LIB）可以通过双向DC/DC转换器与母线进行交互。

用于FCHEV的QMPC能量管理策略（EMS）

FCHEV的功率需求在运行期间变化很大。为了实现最佳能量管理和PEMFC电堆的最佳性能，本研究提出了一种基于Q学习和MPC（QMPC）集成的方法。所提出的QMPC的实施包括以下四个步骤：

• •
  (1) 上层EMS采用MPC方法构建，具有三个优化目标：稳定LIB的SOC、最小化PEMFC电堆功率以及最小化PEMFC电堆功率波动。

结果与讨论

为了评估QMPC EMS，在两种驾驶场景下进行了验证研究：NEDC和HWFET。并与三种基准策略进行了比较分析：等效消耗最小化策略（ECMS）、通用MPC（GMPC）和双MPC（DMPC）。评估指标包括：功率分配、SOC轨迹、燃料电池电堆效率波动及其退化。三种比较方法的参数配置如下：

• •
  (1) ECMS EMS [58]：电池SOC的变化被转换为等效氢耗，等效因子根据驾驶循环预先设定。

结论

在这项工作中，开发了一种结合Q学习算法的双MPC方法，用于FCHEV的能量管理优化和PEMFC效率提升。QMPC采用两个多目标函数共同优化系统性能的几个方面。具体而言，它们旨在最小化氢耗、将电池SOC维持在期望范围内并最大化PEMFC的效率。同时，它们减少功率波动并优化电堆工作温度，以确保系统稳定高效运行。