基于近端策略优化算法的混合方法预测实车工况下质子交换膜燃料电池退化

《Energy and AI》：Predicting PEMFC degradation under real vehicle conditions using a hybrid method based on proximal policy optimization

　　

在复杂实车运行工况下对质子交换膜燃料电池（PEMFC）长期退化进行预测，是系统健康管理的关键环节。现有方法往往难以同时保证预测精度与非稳态载荷下退化趋势的一致性。本文提出一种混合预测框架，将半经验电压模型与近端策略优化（PPO）算法相融合。该框架利用半经验模型提取老化参数，引入PPO算法动态跟踪关键老化参数的退化过程，并最终通过半经验模型推导衰减电压。为提升趋势预测精度，研究人员设计了一种基于梯度的奖励函数，引导模型不仅关注预测精度，也关注退化趋势的一致性。研究人员采用真实城市公交运行数据对模型进行训练与验证。结果表明，所提方法能有效捕捉复杂动态工况下的电压衰减行为，在两个数据集上的均方根误差（RMSE）分别为0.0062 V和0.0047 V，优于无梯度奖励模型的0.0083 V和0.0075 V，也优于传统方法。本文开发的混合模型提升了燃料电池退化预测的精度。

研究背景方面，质子交换膜燃料电池（PEMFC）作为零排放、高能效、低噪声的绿色能源技术，在交通、航天及军事领域应用广泛，但其商业化仍受限于系统退化预测难题。PEMFC退化受运行工况、环境变化与电化学反应等多因素耦合影响，准确预测实车复杂工况下的退化行为对构建预测健康管理（PHM）框架、实现在线健康评估与维护决策至关重要。现有方法分为模型驱动、数据驱动与混合三类：模型驱动依赖机理建模但难构全要素机理；数据驱动（如长短期记忆网络（LSTM）、双向门控循环单元（BiGRU））精度高却缺乏物理可解释性且泛化受训练数据限制；混合方法虽结合二者优势，但多数基于实验室加速老化数据，与实车动态载荷、频繁启停差异大，且传统滤波或监督学习难以刻画退化的时序演化，早期强化学习（如优势演员-评论家算法（A2C））存在训练不稳定、优势估计方差大、步长难控等问题。为此，研究人员开展本研究，成果发表于《Energy and AI》，提出半经验模型耦合PPO的混合框架，以解决实车数据下趋势一致性与训练稳定性问题。

关键技术方法上，研究人员采用苏州商用氢电混动公交真实运行数据，选取额定功率80 kW的F&1、F&2两堆栈各约3500 h数据，按10/20/30/40 kW对应90/195/270/370 A近稳态电流±1 A片段提取老化特征；以半经验电压模型（含能斯特方程开路电压、Butler-Volmer活化极化、欧姆损失、浓度损失）表征电压，用全信息搜索算法（FISA）初始化交换电流密度（ECD）、泄漏电流密度（LCD）、电化学活性面积（ECSA）、面积比电阻（ASR）四类物理老化参数；将PPO作为序列决策器动态更新老化参数，以广义优势估计（GAE）算优势、裁剪替代目标控步长、多轮mini-batch更新稳训练，并设计基于电压梯度的奖励函数兼顾精度与趋势一致性。

研究结果部分，实验与数据小节指出，F&1前期稳定衰减、2000–2750 h加速后可逆恢复，F&2前期稳态衰减、1250 h短暂恢复后加速，370 A衰减更显著；半经验电压模型小节给出总压V_fc=E?V_loss及三项极化解析表达式，明确ECD/LCD/ECSA/ASR与催化活性损失、膜氢跨漏、欧姆上升的机理对应，FISA拟合初值相对误差低于0.105%；PPO算法小节阐明策略梯度目标、GAE递归式、连续高斯动作空间、裁剪概率比r_t(θ)=exp(logπ_θ?logπ_θold)与策略损失?E_t[min(r_tA_t, clip(r_t,1?ε,1+ε)A_t)]，价值损失采用L^VF?CLIP；混合框架小节说明PPO输出老化参数增量→半经验模型算压→与实测压比对→梯度奖励回传的闭环。

讨论与结论翻译总结：研究人员讨论指出，实车非稳态载荷下传统监督映射易失趋势，PPO的裁剪机制与梯度奖励弥补了该缺陷；两公交堆栈超3500 h数据验证显示RMSE分别0.0062 V、0.0047 V，较无梯度奖励版本（0.0083 V、0.0075 V）及传统混合方法更优，且能复现F&1电压恢复、F&2阶段性加速等可逆/不可逆退化形态。研究结论为：所提半经验电压模型与PPO耦合框架，借助物理老化参数动态跟踪与梯度奖励引导，在实车复杂工况下实现了高精度且退化趋势一致的PEMFC电压衰减预测，为燃料电池预测健康管理提供了兼具机理可解释性与数据驱动精度的混合建模路径。