RL-LUBE：基于强化学习的下界和上界估计方法用于超短期风电功率区间预测

《Energy and AI》：RL-LUBE: A reinforcement learning-based lower and upper bound estimation method for ultra-short-term wind power interval prediction

　　

风电不确定性对电网稳定性构成挑战。虽然区间预测相比点预测提供了有效的不确定性量化，但现有的下界和上界估计（LUBE）方法面临关键限制：（1）元启发式优化在高维空间中收敛缓慢；（2）基于梯度的方法对二值预测区间覆盖概率（PICP）指标采用连续替代，导致训练与评估之间存在系统性偏差；（3）直接应用强化学习（RL）会产生过大的动作空间。本文提出RL-LUBE，一种两阶段强化学习框架，用于超短期风电功率区间预测。第一阶段构建一个异构集成预测器，整合五个互补模型（Informer、LSTM、N-BEATS、TCN、DLinear），并采用基于注意力的融合机制提供高保真基线预测。第二阶段在一个有界相对偏差动作空间内使用PPO智能体，由直接包含精确二值覆盖指标、区间宽度惩罚以及新提出的预测区间相对偏差（PIRD）度量（量化超出区间违规严重程度）的复合奖励引导。这种设计消除了替代近似，并实现了区间质量的直接优化。在陆上和海上数据集上的广泛实验表明，RL-LUBE优于现有最先进方法，在90%标称覆盖率下实现约34%的覆盖宽度准则（CWC）降低，在功率区间上实现51%的降低。该方法在季节变化、多步预测时域以及包括满功率和高波动性在内的极端条件下展现出稳健的适应性，尤其在竞争方法严重退化的场景中表现优异。

**研究背景与问题**
风电功率的不确定性对电网稳定性构成重大挑战。现有区间预测方法中，下界和上界估计（LUBE）方法直接优化区间质量，但面临三个关键瓶颈：元启发式优化在高维参数空间中收敛慢；基于梯度的方法使用连续替代函数近似二值预测区间覆盖概率（PICP），导致训练目标与评估指标之间的系统性偏差；直接应用强化学习（RL）会导致动作空间过大，策略学习困难。为解决这些问题，研究人员提出RL-LUBE，一种基于强化学习的下界和上界估计方法，用于超短期风电功率区间预测。论文发表在《Energy and AI》。

**主要技术方法**
研究人员采用两阶段框架：第一阶段构建异构集成预测器，整合Informer、LSTM、N-BEATS、TCN和DLinear五个互补模型，通过基于注意力的元学习器动态融合，提供高保真多步基线点预测。第二阶段将区间构建建模为马尔可夫决策过程（MDP），使用近端策略优化（PPO）算法，在有界相对偏差动作空间内生成区间上下界，复合奖励函数直接包含二值覆盖指标、区间宽度惩罚以及新提出的预测区间相对偏差（PIRD）度量。数据集来源为两个公开竞赛数据：陆上数据集（2021年2月至2022年2月，10个陆上风电场，15分钟间隔）和海上数据集（2022年1月至2024年1月，5个海上风电场，15分钟间隔）。

**研究结果**
1. **奖励系数敏感性分析**：通过Box-Behnken设计扫描三个奖励系数（λ_c、λ_w、λ_d），验证了奖励设计可控性：增加覆盖率奖励（λ_c）提高PICP，增加宽度惩罚（λ_w）缩小区间，增加偏差惩罚（λ_d）降低PIRD。所有配置均成功收敛，PICP在0.9003–0.9687范围内。

2. **消融实验**：移除基线预测器后，LUBE-NoBaseline的PICP仅0.4150，CWC高达1856.724；单一模型基线中LUBE-DLinear最优（CWC=2.6239）；移除PIRD惩罚项后，LUBE-NoPIRD的PINAW上升至0.2110，CWC=1.9329，均劣于完整RL-LUBE（PICP=0.9124，PINAW=0.1909，CWC=1.5732），验证了各核心组件的必要性。

3. **基线方法对比**：在陆上数据集上，RL-LUBE在四个季节和两种标称覆盖率（90%、80%）下均取得最低CWC，平均CWC分别为1.750（90%水平，较QD-LUBE降低约34%）和0.920（80%水平，较MVE降低约60%）。多步预测稳定性分析显示，RL-LUBE在16个预测步长上PICP稳定在0.980–0.998，CWC仅从1.751缓慢增至1.860，优于所有对比方法。PIRD值保持在0.058–0.093，表明未覆盖样本偏离边界极小。

4. **鲁棒性实验**：在海上数据集上，按功率区间（低、中、高）划分，RL-LUBE在所有区间均取得最优综合性能。高功率段（>0.7）中，对比方法严重退化（CP-LSTM的PICP仅0.4413，CWC=3424.63），而RL-LUBE保持PICP=0.9073，CWC=2.2970，是唯一PICP超过0.90的方法。整体CWC=1.7708，较最佳基线降低约51%。

5. **极端样本分析**：针对满功率（>0.9）和高波动性（Δ>0.15）样本，RL-LUBE在满功率下PICP=0.9887，CWC=2.1000，PIRD=0.0585；在高波动下PICP=0.9344，CWC=2.0767，PIRD=0.0976，远优于所有基线，而基线方法出现严重退化（如CP-LSTM在满功率下PICP=0.3455，CWC=3486.53）。

**总结与讨论**
研究结论部分翻译如下：本文提出RL-LUBE，一种结合异构集成预测器与基于PPO的区间构建智能体的两阶段框架，用于超短期风电功率区间预测。集成预测器提供高保真多步基线预测，PPO智能体在有界相对偏差动作空间内，由包含二值PICP、PINAW和PIRD的复合奖励引导操作。该设计无需替代松弛或高维参数搜索，即可直接优化区间质量。在陆上和海上数据集上的实验表明，RL-LUBE在所有季节、预测时域和标称覆盖率下均持续优于所有基线方法，尤其在满功率和高波动性条件下优势显著，而竞争方法在这些条件下严重退化。尽管离线训练成本较高，但推理延迟仅为数十毫秒，确认了在15分钟调度周期内的实际可部署性。未来工作将探索非平稳风电条件下的在线策略自适应、扩展到时空多风电场场景，以及整合下游鲁棒调度优化。