强化学习与元启发式优化方法在质子交换膜燃料电池驱动单端初级电感转换器PID加微分滤波器控制器设计中的应用

《ARABIAN JOURNAL FOR SCIENCE AND ENGINEERING》：Reinforcement Learning and Metaheuristic Optimization Approach to PID with Derivative Filter Controller Design for PEMFC-Driven SEPIC Converter

　　

对可再生能源日益增长的兴趣加速了基于电力电子控制系统的研究。本研究中，研究人员采用带微分滤波器的PID控制器，对连接至质子交换膜燃料电池（PEMFC）输出的单端初级电感转换器（SEPIC）进行控制。在第一阶段，对SEPIC转换器进行建模，之后根据PEMFC的最大功率点（MPP）确定其参数。研究人员采用近年来提出的优化算法，如人工原生动物优化算法（APO）、非洲秃鹫优化算法（AVOA）、山地瞪羚优化器（MGO）、几何均值优化器（GMO）、小龙虾优化算法（COA）和人工蜂鸟算法（AHA），设计了一种文献中尚未应用于该系统的带微分滤波器的PID控制器。通过统计比较各控制器在积分绝对误差（IAE）、积分平方误差（ISE）、积分时间加权绝对误差（ITAE）、积分时间加权平方误差（ITSE）带约束条件下的性能，并进行了Friedman检验以评估显著性。其中，研究人员进一步采用强化学习（RL）方法对最新的APO控制器进行了增强。在此背景下，研究人员为RL定义了状态、动作和奖励结构。动作空间包括对带微分滤波器的PID控制器的K_p和K_i参数进行加权，奖励函数设计为基于系统状态最大化。仿真结果表明，经RL支持的APO优化的带微分滤波器PID控制器成功跟踪了MPP，并在定义性能指标方面表现出优越的控制性能。

**论文解读：基于强化学习与元启发式优化的PEMFC-SEPIC系统PID加微分滤波器控制器设计**

**研究背景与问题**
可再生能源的快速发展推动了电力电子控制系统的研究。质子交换膜燃料电池（PEMFC）以其高效率、低排放和模块化结构成为未来分布式能源和车用电源的重要候选。然而，PEMFC输出特性呈非线性，且对环境条件（如温度、气压）和负载变化敏感，导致其输出电压不稳定，需要高效的DC-DC转换器及控制器来稳定输出并实现最大功率点跟踪（MPPT）。单端初级电感转换器（SEPIC）因其既能升压又能降压、输入电流连续、输出极性不变等优点，适用于PEMFC这类输出电压波动大的电源。传统PID控制器在参数整定上存在局限性，而现代元启发式优化算法（如APO、AVOA、MGO、GMO、COA、AHA）虽已被用于控制器参数优化，但其在PEMFC-SEPIC系统中的应用尚不充分，尤其缺乏与强化学习（RL）结合的动态自适应调参研究。现有研究多采用PI、PID、LQR、模糊逻辑等控制器，优化算法多为PSO、GA、GWO等，但APO等新算法在PEMFC-SEPIC系统中的性能对比、以及RL对控制器参数的在线调整尚未见报道。因此，研究人员开展本研究，旨在设计一种带微分滤波器的PID控制器，利用最新元启发式算法优化其参数，并进一步通过RL实现自适应调参，以提高PEMFC-SEPIC系统的动态性能、稳定性和MPPT精度。

**研究内容与结论**
研究人员首先对PEMFC和SEPIC转换器进行数学建模，并基于PEMFC的最大功率点（MPP）设计SEPIC参数。随后，采用APO、AVOA、MGO、GMO、COA、AHA六种算法，以带约束的积分绝对误差（IAE₂）、积分平方误差（ISE₂）、积分时间加权绝对误差（ITAE₂）、积分时间加权平方误差（ITSE₂）为性能指标，优化带微分滤波器的PID控制器参数（K_p、K_i、K_d）。通过统计比较和Friedman检验，发现MGO算法在多数指标上表现最优，而APO算法性能相对较差。为进一步提升APO控制器的性能，研究人员引入深度Q网络（DQN）强化学习方法，定义状态（包括误差及其导数、积分、PEMFC电流电压延迟值）、动作（φ₁、φ₂用于加权K_p和K_i）和奖励函数（基于功率和性能指标比较），在动态变化的环境条件（H₂气压、O₂气压、温度、负载电阻）下对APO优化的控制器进行在线调整。仿真结果表明，RL支持的APO-PID加微分滤波器控制器在所有性能指标上均优于其他对比方法，成功跟踪MPP，实现了更高的功率输出和更低的误差指标。该研究得出结论：RL结合元启发式优化的方法能显著提升PEMFC-SEPIC系统的控制性能，为实时自适应控制提供了有效途径。该论文发表在《ARABIAN JOURNAL FOR SCIENCE AND ENGINEERING》。

**主要关键技术方法**
研究人员采用的主要技术方法包括：（1）PEMFC电化学模型（基于极化曲线方程）和SEPIC转换器平均模型（开关状态平均法）的数学建模；（2）六种元启发式优化算法：人工原生动物优化算法（APO）、非洲秃鹫优化算法（AVOA）、山地瞪羚优化器（MGO）、几何均值优化器（GMO）、小龙虾优化算法（COA）、人工蜂鸟算法（AHA），用于离线优化PID加微分滤波器控制器参数；（3）深度Q网络（DQN）强化学习算法，用于在线调整控制器K_p和K_i参数，实现自适应控制。

**研究结果**
**3.1 仿真研究（优化算法对比）**
研究人员建立PEMFC-SEPIC系统仿真模型，以I_FCmpp=8.467A为参考电流，分别用IAE₂、ISE₂、ITAE₂、ITSE₂为目标函数，优化PID加微分滤波器参数。统计结果表明（表3）：对于IAE₂，COA获得最小值，MGO在均值和标准差上最优；对于ISE₂，MGO获得最小值，AHA在均值和标准差上最优；对于ITAE₂，MGO获得最小值，AHA在均值和标准差上最优；对于ITSE₂，MGO在最小值、均值、标准差上均最优。APO算法在所有指标上表现相对较差。Friedman检验（表5）显示p值均小于0.05，算法间差异显著，MGO在多数指标上排名最低（最优）。时间响应图（图10）表明MGO、COA等方法收敛更快。与文献方法对比（表6、图11），APO、COA、MGO等提出的方法均优于传统Ziegler-Nichols及部分近期元启发式方法。

**4.1 仿真结果（RL增强）**
研究人员在动态变化的环境参数（P_H2、P_O2、温度、负载电阻）下（图13），测试RL增强的APO-PID加微分滤波器控制器。MPPT算法（增量电导法）生成的参考电流I_{FC_ref}（图14）逐渐趋近于理论MPP电流I_FCmpp。系统实际电流I_FC（图15）能有效跟踪参考信号，在扰动后迅速恢复。占空比信号D（图16）变化合理。PEMFC输出电压V_FC（图17）和功率P_FC（图18）显示系统在MPP附近运行。RL输出的φ₁、φ₂（图19）动态调整K_p、K_i，奖励值（图20）随时间增加，目标函数值（图21）显示RL方法在其对应的性能指标上优于其他方法。表9定量比较表明，RL-based APO-PID加微分滤波器在所有性能指标（IAE₂、ISE₂、ITAE₂、ITSE₂）上均取得最优值，印证了RL增强的有效性。DQN训练曲线（图22）显示奖励和Q值随迭代上升，表明学习过程收敛。

**讨论与结论**
研究人员总结：本研究成功将带微分滤波器的PID控制器应用于PEMFC-SEPIC系统，并通过APO、AVOA、MGO、GMO、COA、AHA等元启发式算法优化参数，其中MGO算法表现最可靠，而APO性能较差。随后，采用DQN强化学习对APO优化的控制器进行在线自适应调参，RL-based APO-PID加微分滤波器在所有指标上超越其他方法，成功实现MPPT。结论指出，提出的方法不仅优于传统控制和优化方法，还能实时适应动态工况，显著提升了PEMFC能源系统的效率、稳定性和灵活性。研究局限性包括：实施时系统不能超出约束条件，组件功率范围需考虑安全系数，MPPT需安全准确，低采样时间下RL可能无法及时学习或生成控制信号。未来工作可考虑硬件实时实现、设计不同常规控制器及先进非线性控制器，并探索在光伏/MPPT和风能等混合能源系统中的应用。