基于强化学习的自适应控制方法，通过时空水含量估计来调节质子交换膜燃料电池中的水分充放电过程

《ENERGY CONVERSION AND MANAGEMENT》：Reinforcement learning based adaptive control of flooding/dehydration in proton exchange membrane fuel cell by spatiotemporal water content estimation

质子交换膜燃料电池（PEMFC）长期运行稳定性受限于缺乏内部感知的水管理策略。本研究结合3-D CFD模型与1-D瞬态模型，提出动态水管理策略：通过3-D CFD准水平正交仿真确定电极水含量及关键参数敏感性，建立1-D瞬态模型准确预测电压与内部水含量变化，并基于DDPG算法开发自适应控制策略。实验验证表明，该策略在NEDC工况下有效缓解脱水（电压提升29.301%）和水淹（电压提升6.314%），实现动态负载下多参数协同调控。

　　

高斌|周月娟|曾健

香港科技大学（广州）可持续能源与环境研究团队，功能中心，中国广东省广州市511400

摘要

质子交换膜燃料电池（PEMFC）由于应用范围广泛而受到越来越多的关注。然而，其长期运行稳定性仍受到缺乏基于内部特性理解的水分管理策略的限制。在本研究中，我们建立了一种动态水分管理策略，该策略结合了经过实验验证的三维计算流体动力学（CFD）模型和一维瞬态模型。基于三维CFD模型的准水平正交模拟确定了适当的电极含水量和敏感的操作参数，以实现有效的水分调节。一维瞬态模型准确预测了输出电压和内部含水量。随后，我们利用深度确定性策略梯度（DDPG）算法开发了一种自适应控制策略，该算法以一维瞬态模型模拟的内部瞬态特性作为输入。在阳极液相饱和度为0.012–0.024时获得了最佳电性能，同时最小化了阴极液相饱和度。此外，由于氧气浓度和膜脱水之间的权衡，在中等阴极化学计量比（CSR）下输出功率达到最大。所提出的控制策略在新欧洲驾驶循环（NEDC）下得到了验证，并发现在高峰负荷期间有效缓解了脱水现象（电压提高了29.301%）和积水现象（电压提高了6.314%），这得益于在动态负荷下对溶解水含量、阳极液相饱和度和阴极液相饱和度的协同调节。总体而言，本研究提供了一种基于内部微观传输机制的PEMFC水分管理新方法，并为内部含水量控制提供了参考范围。

引言

近年来，在气候变化和能源安全的背景下，可再生和清洁能源技术取得了显著进展[1]。氢能因其零排放、高焓值、长时储能能力和多种生产来源等显著特性，被视为重塑能源结构的变革性技术[2]。低温质子交换膜燃料电池（PEMFC）通过电化学反应将氢能转化为电能和热能，在氢能产业链中发挥着关键作用[4]，并已广泛应用于汽车、船舶、飞机和航空航天等领域[5]。

尽管PEMFC应用广泛，但由于缺乏实时的水分管理策略，其在长期运行中保持高效率仍然具有挑战性。作为电化学装置，降低PEMFC的内部电阻以减少过电位和能量损失是非常重要的[5]，但这具有挑战性，因为过电位受到多种内部特性的影响，包括通道结构[6]、多孔介质中的气体传输[7]、聚合物电解质中的质子传输[8]等。特别是，PEMFC中的含水量在其内部特性中起着至关重要的作用，需要精细的实时控制。一方面，高含水量有助于通过促进氢氧根离子的产生和质子的跨膜传输来降低欧姆损耗[9]；另一方面，过多的水分会导致积水[10]，堵塞催化剂和气体扩散层中的孔隙，阻碍反应物向三相催化位点的传输[11]。因此，开发在线监测和控制策略以维持PEMFC中的水分平衡对于长期效率至关重要。

最近的研究中广泛探讨了PEMFC的水分管理问题，因为这可以有效地探测瞬时含水量。Kim等人[12]通过原位实验研究了声压波在缓解阴极气体流道积水问题中的应用潜力，发现声压波能有效减少内部积水并降低压降。Hasheminasab等人[13]研究了阳极化学计量比、阴极化学计量比和进气温度对PEMFC水分管理的影响，结果表明提高阴极化学计量比和进气温度可以降低阴极含水量并增加功率输出。Xiao等人[14]开发了一种原位监测系统，用于测量PEMFC的区域能量、温度和湿度，并分析了积水/脱水条件下的性能退化、电化学阻抗谱（EIS）和电压。值得注意的是，尽管欧姆过电位降低，但积水会导致质量传输阻抗增加。尽管现场实验研究将有效含水量与电池的电化学性能联系起来，但它们未能提供电池内部关键参数的时空分布，如空间含水量和反应物浓度，这限制了对PEMFC中关键传输现象的理解以及开发精确控制三维（3-D）水流的高级水分管理策略。

这一挑战可以通过PEMFC的三维数值模拟部分解决，该模拟可以动态可视化物质、水流和能量流的分布。更重要的是，它使得通过内部特性的等值线对电池内部的三维液体流动进行预测控制成为可能，这与电分析测量中的简化含水量假设形成对比。Liu等人[15]建立了一个大规模的PEMFC三维计算流体动力学（CFD）模型，用于分析三种类型的冷却剂流场以进行水分和热管理。结果表明，增加温度梯度并提高沿气体流动方向的温度均匀性可以降低积水风险。Ceballos等人[16]采用了一个三维非等温多相模型来分析不同冷凝率和负荷下的阴极水分分布，发现积水区域位于陆地区域的肋条中，氧气消耗的增加导致多孔介质中的反应物受限。尽管三维数值模型成功表征了燃料电池内部特性的详细分布，但由于非线性迭代计算，计算成本较高。因此，基于三维水分分布的PEMFC长期动态控制策略尚未建立。尽管通过采用一维或二维模型可以大大加快模拟速度（如先前的温度分布[17]、多分散液滴去除[18]、催化剂降解[19]、不可逆电压损失[20]、电压欠冲缓解[21]等研究所示），但这些方法会丢失三维信息，从而影响建模精度。

显然，现在迫切需要开发一种基于瞬态三维建模的燃料电池水分控制策略，该策略能够在可承受的计算成本下同时揭示内部特性的时空分布，并动态缓解长期运行中的积水/脱水现象。这可以通过整合深度强化学习（DRL）方法和三维模拟的降阶模型来实现。DRL方法已广泛应用于PEMFC控制，包括气体和压力阀控制[22]、突变频率[23]、瞬态峰值电流缓解[24]、容错改进[25]、热管理[26]等，其中深度确定性策略梯度（DDPG）算法在控制冷却剂温度超调[27]和氢气过剩[28]方面被证明特别有效。然而，基于DRL的PEMFC水分控制策略尚未建立。总之，基于时空解析的内部特性的PEMFC自适应控制策略尚未开发，这限制了对内部机制的可视化以及积水 and 脱水现象的缓解。

在本研究中，我们建立了一个经过实验验证的三维CFD模型，以确定PEMFC操作参数、内部含水量和输出性能之间的关系。设计并进行了包括31种情况的准水平正交模拟，以进行敏感性分析并揭示控制积水/脱水现象的关键参数。随后，建立了一个一维瞬态模型，并通过三维CFD模型进行了验证，以解析关键内部物质的行为，从而实现长时间内的瞬态控制。然后提出了一种基于DDPG算法和一维瞬态模型的自适应控制策略，以即时调节内部含水量，以缓解积水/脱水现象。根据新欧洲驾驶循环（NEDC）负荷曲线，在积水和脱水条件下验证了该控制策略的有效性。研究结构如下：第2节介绍了建模概述、准水平正交设计、一维瞬态建模过程和控制策略开发；第3节介绍了一维瞬态模型的验证、操作参数的敏感性分析以及策略有效性验证；第4节是结论。

方法

为了基于三维CFD模型分析PEMFC操作参数的敏感性，设计了一种包含标准正交组和用户自定义组的准水平正交模拟。由于计算效率和内部特性预测精度之间的权衡，建立并验证了PEMFC的一维瞬态模型，以开发长期控制策略，同时考虑了动态传输

结果与讨论

在本节中，将验证PEMFC的一维瞬态模型，并将其与实验结果和三维CFD模型结果进行比较，以评估模型阶数的降低对输出电池电压和内部含水量的影响。随后，将通过与无主动控制系统的比较来验证自适应控制策略在防止积水/脱水方面的有效性。

结论

在本研究中，建立了PEMFC的三维CFD模型，基于准水平正交模拟分析了关键操作参数对内部含水量和输出性能的敏感性。该模型还确定了适当的液相饱和度范围和最有价值的控制参数。随后，建立了一个PEMFC一维瞬态模型来表征内部物质的传输行为。基于一维

CRediT作者贡献声明

高斌：撰写——原始草稿、软件开发、资源获取、方法论、调查、正式分析、概念化。周月娟：撰写——审稿与编辑、可视化、监督、资源管理、调查。曾健：撰写——审稿与编辑、监督、资源获取、正式分析、数据整理。

利益冲突声明

作者声明他们没有已知的可能会影响本文报告工作的竞争性财务利益或个人关系。

致谢

本工作得到了香港科技大学（广州）启动基金、广州市科学技术局（编号：2025A03J3951和2025A04J4329）以及国家自然科学基金（编号：52505525）的支持。我们感谢香港科技大学（广州）Wilson Tang Brilliant Energy Science and Technology Lab（BEST Lab）的支持。