基于强化学习自适应二次规划的燃料电池混合动力汽车氢耗实时验证研究

《Energy Conversion and Management-X》：Real-Time validation of Reinforcement Learning-Based adaptive quadratic Programming for hydrogen consumption reduction in fuel cell hybrid electric vehicles

　　

针对燃料电池混合动力电动汽车（FCHEV），研究人员提出了一种基于强化学习（RL）自适应权重调度的二次规划（QP）能量管理策略。Q学习算法根据实时运行工况自适应调整QP中氢耗权重系数。该策略改善了动态驾驶循环下燃料电池、蓄电池与超级电容之间的功率分配。基于OPAL-RT（RT-LAB）平台与TMS320F28379D数字信号处理器（DSP）的控制器硬件在环（CHIL）测试证实了该策略的实时可行性。与采用固定权重的传统QP能量管理策略相比，该策略实现了更低的氢气消耗量和更小的蓄电池电量损耗。

论文解读文章

一、研究背景与问题

交通运输领域是空气污染与温室气体排放的主要来源之一。尽管纯电动汽车（BEV）是重要的替代方案，但其续航里程有限、电池衰减和充电时间长等问题制约了大规模推广。质子交换膜燃料电池（PEMFC）电动汽车凭借高能量密度、快速加注和零尾气排放等优势，成为颇具竞争力的替代选择。然而，燃料电池动态响应能力有限，在快速负载波动下效率下降明显，因此必须与辅助储能系统配合使用以确保可靠高效运行。

在燃料电池混合动力电动汽车（FC-HEV）中，通常采用锂电池与超级电容组成的混合储能系统（HESS）。燃料电池承担平均功率需求，电池和超级电容则补偿加速和再生制动过程中的瞬态功率波动。这种混合架构提升了系统整体效率，但多能源共存显著增加了功率流协调的复杂性，使得有效的能量管理策略（EMS）不可或缺。

现有EMS方法可分为基于规则和基于优化两大类。基于规则的方法如比例积分（PI）控制和状态机控制策略（SMCS）虽实现简单，但鲁棒性有限或存在模式切换突变问题；模糊逻辑方法灵活性较高但依赖启发式参数整定。全局优化方法如动态规划（DP）虽能保证全局最优，但计算负担大，难以实时实现；庞特里亚金最小值原理（PMP）效率有所提升但仍需预测性驾驶信息。在线优化方法如等效消耗最小化策略（ECMS）和外部能量最大化策略（EEMS）性能优于规则方法，但严重依赖固定或启发式整定的参数，在多变工况下性能可能退化。

近年来，强化学习（RL）和深度学习（DL）方法被引入EMS设计，但完全基于学习的策略在安全性、可解释性、泛化能力和嵌入式实时可行性方面存在隐忧。二次规划（QP）在凸优化框架下兼顾了优化性能与计算效率，但其性能高度依赖代价函数中权重系数的选取，固定权重难以适应工况变化。

二、研究内容与意义

针对上述问题，本研究提出了一种混合QP-RL能量管理框架，用于包含燃料电池、电池和超级电容的氢能混合动力系统。该架构采用分层结构：QP作为核心实时优化层，依据预定义代价函数和显式系统约束确定功率分配；监督层中，Q学习根据当前运行工况和储能状态动态调整与氢耗相关的权重系数。RL智能体不直接生成功率控制指令，而是自适应优化目标，QP层则负责约束功率分配和直流母线电压调节。这种分离设计兼具学习式参数自适应的灵活性与QP优化的确定性和约束处理能力。

本研究在NEDC和FTP-75两种驾驶循环下，与QP、PI、EEMS、SMCS和ECMS等策略进行了对比仿真研究，并在实时控制器硬件在环（CHIL）环境中验证了所提控制器的实时可行性。研究意义在于：首次将监督式Q学习自适应与约束QP功率管理集成于燃料电池/电池/超级电容多源架构，而非将RL与优化作为独立技术使用；评估不仅涵盖氢耗和电效率，还涉及约束感知功率管理和实时计算可行性。

三、关键技术方法

研究人员采用了以下主要技术方法：一是严格凸的一步QP优化框架，通过软约束和可行集为空时的回退机制实现约束感知功率分配；二是监督式Q学习算法，用于动态调整QP代价函数中的氢耗权重系数（w_H2）；三是基于OPAL-RT（RT-LAB）实时仿真平台和TMS320F28379D数字信号处理器（DSP）的控制器硬件在环（CHIL）实验验证。系统参数沿用Ferahtia等人和Rezk等人已发表研究中使用的燃料电池/电池/超级电容混合动力车辆基准配置，该配置源自Motapon等人的基准模型。

四、研究结果

系统架构与建模。 研究构建了包含PEMFC、锂电池和超级电容的多能源电驱动系统。PEMFC通过单向DC/DC升压变换器接入直流母线，承担平均功率需求；锂电池通过双向DC/DC变换器连接，提供中期能量缓冲并回收再生制动能量；超级电容耦合至直流母线以吸收高频功率波动。燃料电池氢耗通过法拉第定律由瞬时电流积分计算。

QP-RL能量管理框架。 研究人员设计了分层控制架构，QP作为核心实时优化层，根据代价函数和系统约束确定功率分配；Q学习在监督层根据运行工况和储能状态动态调整氢耗权重系数。这种分离设计使RL不直接生成功率控制动作，而是自适应优化目标，QP层负责约束功率分配和直流母线电压调节。

仿真对比评估。 在NEDC和FTP-75驾驶循环下，研究人员将所提QP-RL策略与QP、PI、EEMS、SMCS和ECMS等策略进行了系统对比。结果表明，QP-RL策略在原始氢耗方面较ECMS分别降低55.18%（NEDC）和57.74%（FTP-75），电效率分别提升9.00个百分点和12.00个百分点。经电荷维持校正后，QP-RL策略在NEDC下氢耗降低21.0%–29.2%，在FTP-75下降低3.8%–22.1%，仍保持最低水平。

CHIL实时验证。 研究人员在OPAL-RT（RT-LAB）实时仿真平台配合TMS320F28379D DSP的CHIL环境中实现了所提QP-RL控制器，验证了其嵌入式实时实现的可行性，确认了低计算复杂度适合实时应用。

五、讨论与结论

讨论部分指出，与传统固定权重QP相比，Q学习对氢耗权重的自适应调节是QP-RL策略性能提升的关键贡献因素。该策略在两种驾驶循环下均实现了更低的氢耗和更小的电池电量损耗，同时保持了约束感知的功率管理能力。研究结论表明，所提出的QP-RL分层能量管理框架将学习式参数自适应与约束QP功率分配相结合，在氢耗降低和实时可行性方面均优于传统固定权重QP方法，为燃料电池混合动力汽车能量管理提供了一种兼具适应性与确定性的有效解决方案。未来研究方向包括进一步扩展驾驶循环覆盖范围以及探索更复杂的RL算法在EMS中的应用。