深度强化学习提升了直流微电网中混合电池-超级电容器储能系统在可再生能源不稳定性条件下的协调性能

《Journal of Energy Storage》：Deep reinforcement learning enhanced coordination of hybrid battery–supercapacitor storage under renewable variability in DC microgrids

　　

Ameze Big-Alabo

德国亚琛工业大学（RWTH Aachen University）E. ON能源研究中心

摘要

本研究提出了一种基于深度强化学习（DRL）的协调框架，用于在可再生能源不稳定性条件下运行的混合电池-超级电容器储能系统，这些系统应用于直流微电网中。所提出的方法将基于DRL的最大功率点跟踪（MPPT）技术与结构化的比例-积分混合储能管理相结合，以实现自适应功率共享、改进的充电状态调节，并从而提高直流母线电压的稳定性。该框架通过详细的MATLAB/Simulink仿真，在快速辐照度变化的情况下，与粒子群优化-神经网络（PSO–NN）和扰动观察（P&O）MPPT策略进行了对比测试。结果表明，DRL方法可将电池的充放电状态波动幅度降低22.4%，等效全循环次数减少7.7%，同时降低SOC变化率，这表明电化学降解减少且储能寿命得到延长。此外，与PSO–NN控制技术相比，DRL方法还能减少直流母线的瞬态超调现象并加快其稳定时间。此外，快速瞬态功率分量能够被有效地引导至超级电容器，从而抑制电池的微循环并减少峰值功率应力。这些结果证实，在MPPT层控制中嵌入DRL可以提升混合储能系统的利用率和电池寿命，尤其是在以可再生能源为主的直流微电网中。

章节摘录

术语表

符号/缩写	描述	单位
AC	交流电	–
ANN	人工神经网络	–
BESS	电池储能系统	–
DDPG	深度确定性策略梯度	–
DC	直流电	–
DRL	深度强化学习	–
EMS	能源管理系统	–
EFC	等效全循环次数	–
EKF	扩展卡尔曼滤波器	–
GA	遗传算法	–
HESS	混合储能系统	–
LSTM	长短期记忆	–
MDP	马尔可夫决策过程	–
MPPT	最大功率点跟踪	–
PI	比例-积分控制	–
PPO	近端策略优化	–
PSC	部分控制

基于P&O、PSO–NN和DRL的MPPT方法的理论框架

最大功率点（MPP）是光伏电流和电压最大的工作点。因此，通过MPPT策略维持MPP对于最大化光伏发电量至关重要。本研究采用了两种基线MPPT控制技术，即传统的扰动观察（P&O）方法和粒子群优化-神经网络（PSO–NN）方法，来评估所提出的DDPG-DRL MPPT控制器的性能。

直流微电网架构

所提出的系统架构由三个主要子系统组成：一个采用DDPG-DRL MPPT控制器的光伏发电子系统、一个由锂离子电池和超级电容器组成的混合储能系统（HESS），以及一个协调的比例-积分（PI）电压调节框架，该框架在供电给直流负载的同时调节公共直流母线电压，如图3所示。每个子系统的详细讨论见3.1节光伏发电和升压直流-直流转换器，以及3.2节混合电池-超级电容器。

为了评估所提出控制框架的动态鲁棒性，光伏阵列经历了[1000, 800, 500, 300, 100, 300, 500] W/m²的多步辐照度变化，以模拟快速云层变化条件。这种突然的辐照度变化会导致光伏发电与负载需求之间的功率不匹配，通常会导致直流母线电压波动，并增加对HESS的补偿依赖。电池SOC的变化情况直接反映了这一现象。

结论

本研究提出了一种基于深度强化学习的协调框架，用于光伏供电的直流微电网中的混合电池-超级电容器储能系统，考虑了储能利用率、循环应力缓解以及可再生能源不稳定性条件下的直流母线电压稳定性。通过将DRL光伏功率控制与结构化的混合储能管理相结合，所提出的方法实现了自适应的能量缓冲和长期电池能量平衡之间的有效功率解耦。

Ameze Big-Alabo：撰写了原始草稿，负责方法论、数据整理和概念构建。

作者声明在本文的研究、作者身份和/或发表方面不存在任何潜在的利益冲突。

我要感谢Akuro Big-Alabo博士对我的鼓励和支持。他对工作的审阅和校对也有助于完善本文的内容。最后，我要感谢亚历山大·冯·洪堡基金会（Alexander von Humboldt Foundation）对我的研究奖学金的资助，这项工作正是该奖学金支持下的成果。