基于安全强化学习智能体的交直流混合输电通道功率流控制

《Scientific Reports》：Intelligent power flow control of AC/DC hybrid transmission corridors using safe reinforcement learning agents

　　

摘要

随着可再生能源发电逐渐取代传统发电机组，通过地理上受限的输电通道输送的电力越来越接近或超出热稳定性和稳定性限制，这使得电网面临因拥堵而导致的可再生能源发电量削减以及连锁故障的风险。传统的实时调度方法依赖于预先计算好的查询表和操作员的经验判断，但在面对风能和光伏发电占比不断增加所带来的日益严重的不确定性时，这些方法已显不足。本文提出了一种基于安全强化学习的协调控制框架，该框架能够同时调控内置的高压直流链路和可调度发电机组，从而提升交流/直流混合输电通道的传输能力。通过一种基于扰动的敏感性分析方法，可以将发电机组简化为少数对输电通道功率流影响最大的机组，有效降低决策的维度。该序列决策问题被建模为马尔可夫决策过程，强化学习智能体在最大熵演员-评论家框架下被训练来控制高压直流流量和发电机组的重新调度，从而形成既具有探索性、追求奖励又能遵守约束的政策。在长江跨省输电通道上的大量仿真实验表明，这种强化学习智能体的政策可使平均总传输容量提高629兆瓦，输送上限提升807兆瓦，在负荷极重的情况下甚至可达2761兆瓦。