基于约束马尔可夫决策过程(Constrained Markov Decision Process, CMDP)的新能源电力系统频率稳定紧急切负荷(Emergency Load-Shedding)决策方法

《Energies》：Emergency Load-Shedding Decision for Frequency Stability of New Energy Power System Based on Constrained Markov Decision Process

　　

摘要：以电力电子器件为主导的新能源电力系统通常表现出扰动耐受能力弱、电网支撑能力有限的特点。柔性直流输电系统(MMC-HVDC)闭锁后，高比例新能源区域实施紧急切负荷(Emergency Load-Shedding)可能诱发新能源并网点(Point of Common Coupling, PCC)过压或欠压，迫使新能源机组进入电压穿越(Voltage Ride-Through, VRT)状态，导致其有功出力降低并威胁电力系统频率稳定。针对此问题，研究人员提出了一种基于约束马尔可夫决策过程(Constrained Markov Decision Process, CMDP)的紧急切负荷决策模型。首先，在马尔可夫决策过程(Markov Decision Process, MDP)框架下建立交直流混联电力系统紧急频率控制模型，将电力系统频率稳定控制描述为马尔可夫决策问题；其次，在CMDP框架中引入拉格朗日乘子(Lagrange Multipliers)，将带安全约束的约束优化问题转化为无约束目标优化问题；最后，采用近端策略优化(Proximal Policy Optimization, PPO)算法加速训练过程并提高智能体(Agent)的决策精度。基于改进IEEE 39节点系统的仿真结果表明，与传统事故预案策略(Conventional Contingency Strategy)及常规马尔可夫决策算法相比，所提切负荷策略能够满足系统频率稳定要求，有效避免新能源并网点的电压越限，并使总切负荷量最小化。

本文发表于《Energies》期刊。随着高比例新能源接入及高压直流输电(High-Voltage Direct Current, HVDC)广泛应用，模块化多电平换流器高压直流(Modular Multilevel Converter based HVDC, MMC-HVDC)闭锁导致受端电网瞬间损失大量有功功率与无功电压支撑，造成有功功率缺额与电压水平异常。现有传统数学规划方法难以刻画高维非线性动态特性，深度强化学习(Deep Reinforcement Learning, DRL)虽适用于大状态—动作空间决策，但标准强化学习通常仅通过奖励惩罚间接处理安全约束，无法显式保证运行安全，且忽视不合理切负荷引发新能源并网点电压越限、触发电压穿越致使有功进一步跌落从而造成频率二次恶化的耦合关系。为此，研究人员将新能源电压安全作为运行约束显式引入约束马尔可夫决策过程(Constrained Markov Decision Process, CMDP)框架，结合拉格朗日对偶法与近端策略优化(Proximal Policy Optimization, PPO)算法，构建兼顾频率稳定、新能源电压安全及切负荷经济性的紧急切负荷决策模型，并通过Python–DIgSILENT联合仿真验证其有效性。

研究人员采用的主要关键技术方法为：基于改进IEEE 39节点系统（含MMC-HVDC及风机并网）构建测试环境；将紧急切负荷建模为CMDP，状态变量含系统频率及新能源并网点电压，动作空间为离散化的切负荷位置与切负荷深度组合，奖励函数兼顾频率恢复奖励、切负荷量惩罚及电压越限惩罚，约束成本函数含切负荷容量、频率安全及新能源电压安全三项违例度加权和；采用拉格朗日松弛法将约束策略优化转为无约束问题，通过原始—对偶(Primal-Dual)更新同步迭代策略网络参数与拉格朗日乘子；选用PPO算法（Actor-Critic架构，含Clipped Surrogate Objective限制策略更新幅度）求解CMDP，通过DIgSILENT/PowerFactory与Python交互实现智能体训练与评估，并与传统事故预案策略及常规MDP-PPO策略进行对比。

2. Mechanism of Renewable Energy Voltage Violations Under DC Blocking and Load Shedding（直流闭锁与切负荷下新能源电压越限机理）

通过分析MMC-HVDC交流侧与直流侧电压支撑机制及故障后节点电压恢复公式，阐明MMC-HVDC闭锁使换流器失去无功支撑，高比例新能源区域电压调节能力弱；切负荷过度使临近新能源母线过压（高电压穿越），切负荷不足或切负荷点电气距离过远使电压恢复不足（低电压穿越），均致新能源有功出力下降并恶化频率响应。通过改进IEEE 39节点系统仿真验证，过大切负荷致风电机组并网点电压超1.18 p.u.进入高电压穿越，有功跌近180 MW，证实该耦合关系。

3. Safe-RL-Based Emergency Load-Shedding Decision-Making Model（基于安全强化学习的紧急切负荷决策模型）

建立CMDP模型M=(S,A,P,r,c,d₀,γ,b)，定义期望折扣累积回报J(π)与约束成本J_c(π)，优化目标为max J(π) s.t. J_c(π)≤b。约束成本c(s_t,a_t)为切负荷容量、频率安全及新能源电压安全违例度的加权和。引入拉格朗日乘子λ将问题转为L(π,λ)=J(π)?λ(J_c(π)?b)，λ按违例度梯度上升更新确保非负。状态s_t取观测窗内被选母线频率f_Bus39,t、新能源并网点电压U_Bus34,t及风机有功P_WT并归一化；动作a_t选自候选切负荷母线与离散切负荷深度(0%,20%,35%,50%,65%,80%,100%)的组合（最多三处不同位置）；奖励函数含频率稳定大额奖励/惩罚、切负荷量成比例负奖励及电压越限惩罚项（由λ加权）。硬约束含各节点切负荷量不超可切负荷、最低频率≥49.2 Hz、新能源并网点电压∈[0.90,1.10] p.u.。

4. Solution of the PPO-Based Emergency Load Shedding Decision-Making Model（基于PPO的紧急切负荷决策模型求解）

采用PPO算法（Actor输出随机策略π_θ，Critic估计状态值函数V(s)，优势函数A_t=r_t+γV(s_t+1)?V(s_t)），裁剪概率比r_t(θ)=π_θ(a_t|s_t)/π_θold(a_t|s_t)于[1?ε,1+ε]内构造L^CLIP(θ)防止策略大幅跳变。搭建Python–DIgSILENT/PowerFactory联合仿真平台（Gym环境封装reset与step_action接口），每回合注入MMC-HVDC闭锁故障，Agent依状态输出切负荷动作，仿真步进返回新状态与奖励，经多回合交互完成训练（Actor与Critic各一层64神经元隐层，ReLU激活，总步数20000，γ=0.98，λ=1.2）。

5. Case Study Analysis（算例分析）

5.1 与传统事故预案策略对比：CMDP策略在满足频率稳定（最低频率>49.2 Hz）前提下，总切负荷量少于传统预案，且新能源并网点电压维持在0.90~1.10 p.u.内未触发电压穿越，频率最低点较预案提升约0.07 Hz，证明CMDP可协调频率、电压安全与切负荷经济性。

5.2 与常规MDP-PPO策略对比：常规MDP虽频率最低点略优且收敛快（约4000步 vs CMDP约15000步），但未显式约束电压安全致风电机端电压超1.10 p.u.进入高电压穿越、有功下降；CMDP策略虽频率指标微幅逊于MDP，但确保电压不越限、总切负荷量更优，综合控制性能更强。

5.3 高比例新能源工况附加验证：在高比例新能源渗透率的改进IEEE 39节点系统中多故障场景测试，CMDP仍维持新能源电压于允许范围、切负荷量相当或更低，而MDP出现电压越限且切负荷成本偏高，进一步验证所提方法适用性。

讨论与结论翻译：

为满足新型电力系统安全切荷要求，研究人员提出同时考虑频率安全与电压稳定的CMDP紧急切负荷控制策略。(1) 通过引入惩罚项，CMDP决策模型将复杂安全约束转化为无约束优化问题，结合PPO优化的Actor-Critic智能体，提升了训练收敛性与决策效率。(2) 与传统事故预案策略相比，所提安全约束智能切负荷方法在维持频率稳定及新能源电压安全的同时有效减少总切负荷量。(3) 与常规MDP策略相比，具显式安全边界的CMDP框架在保障系统频率稳定的同时更好地维持了新能源电压安全，有效缓解电压越限风险。本研究主要采用并网导则阈值评估新能源电压安全（适用于机电暂态时间尺度紧急切负荷决策），未完全表征换流器内环控制、锁相环(Phase-Locked Loop, PLL)动态、限流控制及区域间振荡模式，未来将纳入详细换流器控制模型及电磁暂态或混合仿真平台，并在统一框架下与更多先进基准方法对比。