基于并行深度确定性策略梯度学习的燃料电池混合动力汽车健康与行为感知能量管理策略

为解决燃料电池混合动力汽车（FCHEV）能量管理策略（EMS）优化问题，研究人员提出了一种结合驾驶员行为与电源健康状态的双层并行深度确定性策略梯度（DDPG）学习框架。该研究通过机器学习实时识别驾驶员行为，并利用庞特里亚金极小值原理（PMP）计算最优等效因子，同时引入自适应模糊滤波器和多目标自适应等效消耗最小化策略（A-ECMS）模型。结果表明，所提策略将燃料电池（FC）效率提升至56%，电池（BAT）退化率从0.42%降至0.28%，总使用成本降低9.24%，显著优于传统深度Q网络（DQN）方法。

　　

随着全球极端天气频发，交通运输业的碳排放问题日益严峻。燃料电池混合动力汽车（FCHEV）因其清洁能源特性成为研究热点，但其能量管理策略（EMS）面临优化性能与计算效率的权衡难题。传统方法如规则基、优化基策略难以兼顾两者，而强化学习（RL）技术虽展现出潜力，却鲜少考虑驾驶员行为与电源健康状态等关键因素。为此，国内某研究团队在《Engineering Applications of Artificial Intelligence》发表论文，提出了一种创新性解决方案。

研究团队采用并行深度确定性策略梯度（DDPG）算法，构建了双层能量管理框架。关键技术包括：（1）上层通过机器学习识别驾驶员行为，结合庞特里亚金极小值原理（PMP）计算行为相关等效因子；（2）下层设计自适应模糊滤波器分割功率需求，并建立健康与行为感知的多目标A-ECMS模型；（3）改进DDPG算法，引入动作筛选机制、自适应噪声和并行学习结构，提升算法效率与稳定性。

研究结果

1. 动力系统模型：基于BAIC EV160平台构建多源FCHEV模型，涵盖燃料电池（FC）、电池（BAT）和超级电容（UC）的功率输出与退化数学模型。
2. 分层管理框架：上层通过驾驶信号（如踏板位置、车速）识别行为模式，下层利用自适应模糊滤波优化功率分配，结合健康成本函数降低电源损耗。
3. 改进DDPG算法：提出的DP-ACTCASE（动态规划-执行网络协同动作选择）技术将FC效率提升至56%，电池退化率降低34%，总成本减少9.24%，显著优于DQN基线。
4. 仿真验证：在WLTC、NEDC等典型工况及复合驾驶循环中，算法表现出鲁棒性，硬件在环（HIL）实验进一步验证了实时应用可行性。

结论与意义
该研究首次将驾驶员行为与电源健康状态融入FCHEV能量管理框架，通过并行DDPG算法实现了计算效率与优化性能的双重突破。其创新点包括：（1）行为感知的EF表优化了动态工况适应性；（2）健康成本模型延长了FC和BAT寿命；（3）改进的DDPG机制为连续控制问题提供了新思路。成果不仅推动了FCHEV的实用化进程，也为复杂系统的多目标优化提供了范式。未来可进一步探索多源信息融合与边缘计算部署，加速商业化落地。