光伏-电池储能系统动态可调度容量的深度强化学习预测方法

《Renewable Energy Focus》：Determine PV-Battery Dynamic Firm Capacity using deep reinforcement learning

　　

研究人员针对高比例光伏(PV)接入电力系统中光伏发电间歇性问题，提出以“动态可调度容量(Dynamic Firm Capacity, DFC)”表征光伏-电池储能系统(PV-BESS)在考虑电池储能系统(State of Charge, SoC)约束下可履约的时变发电能力，并以深度强化学习(Deep Reinforcement Learning, DRL)中的深度确定性策略梯度(Deep Deterministic Policy Gradient, DDPG)算法进行预测。传统PV功率预测依赖气象数据，预测误差会直接转化为调度误差(dispatch error)，在澳大利亚国家电力市场(National Electricity Market, NEM)等场景中引发频率偏差并增加频率控制辅助服务(Frequency Control Ancillary Service, FCAS)负担。研究人员将DFC定义为PV-BESS净功率Pnet可被调度引擎视为可兑现目标的上界，输入为PV预测Pf与BESS的SoC，输出为未来时段内高度可实现的PV-BESS可调度功率。基于比利时与澳大利亚2016—2025年真实数据集的仿真表明，DDPG预测的DFC比PV forecast具有更高履约可行性与更低调度误差。研究人员同时给出基于PyTorch与Gymnasium的开源环境及代码实现，以最小建模成本支持 utility-scale PV-BESS 的短期运行决策，从而在无需额外辅助服务资源条件下提升PV渗透率并保障系统安全。

《Renewable Energy Focus》刊载的该研究面向高比例光伏(PV)电力系统运行场景。光伏出力具有间歇性，发电机需尽量贴近调度与dispatch target以维持系统安全；但现有资源利用范式多只在电力事件发生后由电池储能系统(BESS)补偿实际PV输出与PV forecast之间的dispatch error。随着PV渗透率上升，传统PV功率预测会把预测误差持续放大为调度误差，在澳大利亚国家电力市场(NEM)中已观测到由此引发的频率偏差，需要频率控制辅助服务(FCAS)纠偏。现有综述与近年深度强化学习(DRL)研究多关注微网、配电网络、电费优化或套利收益，并未显式量化PV-BESS一体化后的净可调度容量；最相近工作也仅把PV forecast误差压到BESS补偿能力内，未定义并预测未来时段最大可调度功率。因此，研究人员提出动态可调度容量(Dynamic Firm Capacity, DFC)这一概念，并用DRL填补“PV-BESS可调度能力量化”的研究空白，对提升PV富集电力系统运行可靠性具有重要工程意义。

作者为开展研究采用的关键技术方法包括：构建以PV forecast与BESS SoC为状态的强化学习环境；以深度确定性策略梯度(DDPG)作为策略学习算法；用最大PV容量或指定PV容量作功率per-unit基，用1小时额定PV发电能量作能量p.u.基，SoC按E/E_cap×100%归一化；以比利时与澳大利亚2016—2025年真实PV与电力市场数据作为样本来源；以PV forecast跟踪误差、DFC跟踪误差及履约可行性作为评价口径；并提供PyTorch+Gymnasium可复现实现。

研究结果部分保留原文小节并简述如下。1. Introduction：研究人员通过NEM频率事件与PV dispatch error案例说明，PV forecast作为dispatch target会带来系统级风险，而BESS虽可firm PV power，但既有方法不量化PV-BESS净可调度功率；由此引出DFC定义与DRL求解思路，并用Table 1、Table 2说明已有综述和2024—2025年DRL-PV-BESS研究均未覆盖“预测DFC”这一任务。2. Problem formulation：研究人员建立符号体系，将P_DFC定义为PV-BESS净功率需跟踪的可调度设定值，P_net为实际净输出，P_f为PV forecast，P_PV为实测PV功率；BESS侧以E表示剩余能量，E_cap为额定能量，E_max、E_min为运行上下限，P_c、P_d分别为充、放电功率，P_c,full、P_c,max刻画充电能力约束；通过归一化与边界条件把“未来某段时间内PV-BESS仍能兑现的功率上限”形式化为RL可学习问题。3. 实验与准确性验证部分：研究人员在Belgian和Australian数据上比较PV forecast与DDPG预测的P_DFC，结论是DDPG所得DFC作为dispatch target比PV forecast更易被PV-BESS实际履行，调度误差更小，且在PV出力快速变化时仍保持较高可行性。4. Conclusion：研究人员总结DFC可替代单纯PV forecast参与短期发电运行决策，DDPG能以较低建模成本给出高履约性的可调度容量估计，开源实现可降低utility-scale PV-BESS部署门槛。

讨论与结论翻译如下：本研究将“动态可调度容量(DFC)”定义为PV-BESS系统在短期内可兑现的时变调度能力；相比直接使用PV forecast，研究人员用深度确定性策略梯度(DDPG)预测的DFC能提供更可实现的dispatch target，从而在比利时与澳大利亚真实数据仿真中降低dispatch error并减少对频率控制辅助服务(FCAS)的依赖。结论为：DFC预测问题填补了PV-BESS可用性量化中的研究空白；DDPG agent在2016—2025年Belgian与Australian数据集上较PV forecast表现出更优的可行性与精度；所提供的Gymnasium环境与PyTorch实现使utility-scale PV-BESS的短期运行决策可由数据驱动方式低成本获得，有助于在高PV渗透率下提升电力系统安全与调度可靠性。