《International Transactions on Electrical Energy Systems》：A Microgrid Energy Management Framework Using Proximal Policy Optimization Combined With Renewable Scenario–Based Stochastic Programming
编辑推荐：
现代微电网运行的一个关键组成部分是能源管理系统。本研究针对典型的风-光-柴-储微电网，提出了一种基于随机规划（stochastic programming）的近端策略优化（Proximal Policy Optimization, PPO）技术，并考虑了与风能
现代微电网运行的一个关键组成部分是能源管理系统。本研究针对典型的风-光-柴-储微电网，提出了一种基于随机规划（stochastic programming）的近端策略优化（Proximal Policy Optimization, PPO）技术，并考虑了与风能相关的显著不确定性。利用拉丁超立方采样（Latin Hypercube Sampling, LHS），通过模拟预测风电功率的潜在误差，生成具有不同概率的风电场景集。采用具有高维状态空间和动作空间的马尔可夫决策过程（Markov Decision Process, MDP）对能源管理优化问题进行建模。通过这种方式，使用PPO对每个发电/储能单元的日前功率调度进行优化，在满足安全约束的同时最大化经济收益。在实际微电网上的评估结果表明，所提方法的日前调度展现了能源管理系统的高效性和鲁棒性。结果表明，所提出的框架在解的质量和约束满足方面具有竞争力，并在可再生能源不确定性下实现了计算效率、鲁棒性、运行可行性和长期系统可靠性之间的积极平衡。
**论文解读：基于随机规划与近端策略优化的微电网能源管理框架**
微电网（Microgrid, MG）作为局部化电力系统，通过能源管理系统（Energy Management System, EMS）协调分布式能源（Distributed Energy Resource, DER）、储能系统（Energy Storage System, ESS）与负荷。风电、光伏等DER受自然条件影响，具有显著的间歇性和不确定性，直接并网会导致功率波动、电能质量下降和系统稳定性恶化。智能EMS结合ESS可为微电网提供灵活调节能力，但其优化调度需处理可再生出力与负荷的双重不确定，传统依赖精确模型的方法难以适应这种强随机环境。早期采用的数学规划、元启发式算法以及模型预测控制（Model Predictive Control, MPC）均受限于模型精度和计算复杂度。强化学习（Reinforcement Learning, RL）通过智能体与环境的交互学习最优策略，但基于值函数的深度Q网络（Deep Q-Network, DQN）等方法依赖离散动作空间，难以描述储能连续功率调节需求；且现有RL方法的奖励函数多仅关注运行成本最小化，未显式建模储能调度动作与微电网物理因果、储能退化之间的关联，缺乏对短期效率与长期电池寿命的权衡。此外，多数研究未考虑PPO策略在传输网络与微电网耦合场景下的复杂依赖性，且策略收敛迭代导致计算复杂度高，可解释性不足。为此，本研究提出一种融合随机规划的近端策略优化（Proximal Policy Optimization, PPO）框架，用于风–光–柴–储微电网的日前经济调度，在兼顾安全约束的前提下降低综合运行成本。
研究人员针对上述问题，构建了风–光–柴–储微电网的优化模型，以最小化经济与安全指标的综合成本为目标，采用门控循环单元（Gated Recurrent Unit, GRU）网络预测风电功率，利用拉丁超立方采样（Latin Hypercube Sampling, LHS）生成风电预测误差场景，再通过基于Kantorovich距离的场景削减（Scenario-Based Reduction, SBR）算法得到典型场景集。将调度问题建模为马尔可夫决策过程（Markov Decision Process, MDP），使用PPO算法训练策略网络，实现各机组日前功率分配。该研究基于欧洲某微电网365天逐时数据（来自SCADA系统）进行仿真验证，结果表明所提方法在降低成本、保证约束满足、提升计算效率及应对可再生能源不确定性方面具有明显优势。论文发表于《International Transactions on Electrical Energy Systems》。
研究人员采用的关键技术方法包括：①利用GRU网络基于风速、风向、温度、气压等历史气象数据进行风电功率预测，并通过LHS模拟预测误差生成初始风电场景；②采用基于Kantorovich距离的SBR算法将场景数量从800个削减至典型场景，在保留统计特征的同时降低计算负担；③将微电网调度构建为包含状态、动作、奖励和折扣因子的MDP，其中状态包含风电场景、光伏功率、负荷、电价及储能荷电状态（State of Charge, SOC），动作包含电池充放电功率、柴油机出力和与主网交换功率；④采用PPO算法优化策略，利用广义优势估计（Generalized Advantage Estimation, GAE）计算优势函数，结合裁剪代理目标和基于KL散度的早停机制，迭代更新策略网络与状态价值网络。数据来源为欧洲微电网的SCADA系统采集的电气与气象数据。
研究结果如下。
**4.1 训练PPO**：通过设定超参数并采用多层感知机（Multilayer Perceptron, MLP）作为策略与价值网络，PPO智能体在约2400个训练回合后累计奖励显著提升，25000回合后收敛至最优策略附近。裁剪目标函数与KL早停机制有效抑制了策略更新幅度，防止性能崩溃。
**4.2 基于场景生成的风电功率预测**：将GRU与长短期记忆网络（Long Short-Term Memory, LSTM）和循环神经网络（Recurrent Neural Network, RNN）对比，GRU的均方根误差（Root Mean Square Error, RMSE）最低（2.12），训练时间居中（321.65 s），因此选用GRU生成场景。通过LHS生成800个预测误差场景，SBR将其削减至10个典型场景。对比5至30个场景的优化效果，10个场景在目标函数值、经济成本与计算时间之间取得较好平衡，而更多场景（如30个）使计算时间增至2252 s，却未显著改善优化性能。
**4.3 能源管理**：基于10月25日实际数据验证，所提随机规划PPO在可再生能源盈余时段（08:00–13:00）充电并售电，在风电、光伏下降时于14:00放电弥补缺口，高峰电价时段（15:00–20:00）增加柴油出力以降低成本。与标准PPO、鲁棒优化和Q-learning相比，随机规划PPO在10月25日至31日期间平均日前运行成本分别降低7.92%（相对标准PPO）、17.75%（相对鲁棒优化）和18.38%（相对Q-learning）。鲁棒优化因使用极端边界构建策略而过于保守，Q-learning则因高维状态空间导致Q值估计偏差。此外，在风电预测误差较大（如10月29日RMSE=5.94）时，随机规划PPO的优势更明显，较标准PPO成本降低17.3%。电池调度方面，随机规划PPO的平均放电功率为15.36 kW，约0.11°C放电倍率，等效循环寿命1112次，电池寿命约4.11年；而标准PPO平均放电功率28 kW，约0.2°C，等效循环寿命仅约770次，寿命2.48年，表明该框架可显著减缓电池退化。
**4.4 收敛动态与算法鲁棒性**：训练过程中，前500个回合奖励波动较大，随后在约1000回合后稳定收敛至最优策略，在不同系统和拓扑下均表现出良好的收敛性和鲁棒性，表明PPO框架能够适应高维状态空间和复杂动态环境。
在讨论部分，研究人员指出，尽管所提方法在经济效益和电池寿命方面优于对比算法，但验证仅基于单个微电网系统及7天连续数据，样本量有限，可能无法涵盖不同地区、季节和长期运行条件；未来需在多个季节、多种微电网布局及长期数据集上进行统计显著性检验。研究结论部分可翻译为：本文提出了基于强化学习的储能调度策略，其作为风–光–柴–储微电网EMS的一种随机规划PPO方法，在保障优化性能的同时提高了算法的稳定性和效率。针对风电的随机性，利用LHS从GRU预测中生成场景，有效捕捉了不确定性；PPO在MDP架构中计算各机组理想日前出力。当风电波动时，所提方法可有效调节，抑制高可再生能源时期的反向功率流动并缓解电网拥堵。该方法具有较低的运行与安全指标成本，并对环境变化表现出高泛化能力，是微电网EMS中极具前景的智能方案。未来计划扩展至电压调节、多智能体协调及氢储能系统集成。
