面向交直流混合电力系统可泛化级联故障缓解的拓扑感知图强化学习

《Electric Power Systems Research》：Topology-aware graph reinforcement learning for generalizable cascading failure mitigation in hybrid AC/DC power systems

　　

• •
  针对交直流级联故障缓解，建立了一个受约束马尔可夫决策过程（MDP）模型。
• •
  一种边感知的GAT-PPO策略对拓扑相关的紧急操作进行评分。
• •
  基于物理约束的动作掩码机制防止不可行的紧急控制措施。
• •
  严重性感知采样策略提升了高风险级联场景下的学习效果。
• •
  GAT-PPO在未见过的重构拓扑上具有更好的泛化能力。

引言

级联故障缓解对于现代电力系统的安全稳定运行至关重要，尤其是在大规模电网日益融入混合交直流互联的背景下。大规模停电事件，如2003年美加停电事件和2025年4月西葡停电事件，表明一个或少数几个初始元件故障可能通过网络耦合和动态交互传播，最终导致大范围服务中断甚至系统级崩溃[1], [2]。由于级联传播可能在短时间内演变，有效的缓解需要快速且自适应的紧急控制策略。

本文所考虑的级联模型中，级联故障被表征为一个涉及潮流重分布、支路过载、保护动作跳闸、拓扑变化以及在初始元件故障后可能产生孤岛的多阶段传播过程[3]。早期模型，如OPA和CASCADE模型，刻画了停电规模的统计特性[4], [5]，而后续研究则纳入了保护行为、暂态稳定性和动态响应以提高物理保真度[6], [7]。随着高压直流（HVDC）输电技术的日益普及，混合交直流电力系统已成为大规模互联电网的重要形式[8], [9]。直流侧扰动可改变换流器母线注入并重新分配交流潮流，可能引发支路过载、保护跳闸、孤岛形成以及进一步的级联传播[10]。这使得混合交直流电力系统中的主动级联故障缓解既必要又充满挑战。

现有的级联故障缓解方法可大致分为基于规则的方法、基于优化的方法和数据驱动方法。基于规则的紧急控制计算效率高，但通常依赖于预先枚举的场景[11]。基于优化的控制方法显式建模了网络约束、校正措施和级联停电风险[12], [13]，并已应用于面向韧性的输电规划扩展和含校正措施的随机级联风险评估[14]。然而，其计算负担可能随系统规模和不确定性增加而增大。数据驱动方法，特别是深度强化学习（DRL），通过与模拟环境的交互学习序列控制策略，已展现出在实时紧急决策方面的潜力[15], [16]。近期的学习研究还在智能电网和综合能源系统应用中探讨了预测和数据驱动分析[17], [18], [19]。与此同时，机器学习方法也被用于级联预测、脆弱性评估和级联后分析，但大多数研究侧重于预测或评估，而非在状态依赖的物理约束下进行闭环缓解[20]。

然而，现有的深度强化学习方法在混合交直流级联故障缓解方面仍面临若干挑战。首先，许多研究仅关注纯交流系统，未能显式表征直流侧扰动对交流级联传播的影响。其次，大多数基于学习的策略采用多层感知机对展平的系统状态进行编码，这削弱了对母线、支路之间以及变化中的网络结构的拓扑关系的表征能力。这一局限性十分关键，因为拓扑和电气结构指标已被广泛用于电力系统中识别脆弱母线、关键支路以及严重的多重故障组合[21], [22]。第三，当低风险场景主导训练集且动作可行性随系统状态变化时，训练和跨拓扑泛化仍面临困难。拓扑嵌入的深度强化学习已证明了将网络结构纳入电力系统控制的价值[23]。图神经网络通过消息传递机制捕捉拓扑依赖关系，而图注意力网络则为相邻节点和支路分配可学习的权重[24], [25]。它们与强化学习的结合为拓扑感知的紧急控制提供了天然基础[26]。

为应对上述挑战，本文提出了一种面向混合交直流电力系统主动级联故障缓解的拓扑感知图强化学习框架，该框架集成了受约束的序贯决策、拓扑感知的策略表征以及状态依赖的物理可行性约束。本文的主要贡献总结如下：

• 1.
  针对混合交直流级联故障缓解，建立了一个具有状态依赖动作可行性的有限时域受约束马尔可夫决策过程（MDP）。直流线路通过功率注入等效模型表示，并在统一的随机转移框架内对直流扰动、概率支路跳闸、拓扑演化、孤岛形成及紧急控制动作进行了建模。
• 2.
  开发了一种面向可变拓扑紧急控制的拓扑感知、动作条件GAT-PPO策略。边感知的图注意力编码器表征了动态的母线、支路、拓扑及全局运行特征，而共享的动作条件头通过将图级嵌入与局部元件信息相结合，对候选的支路断开和功率调度动作进行评分。该设计可适应可变元件集和此前未见的连接模式。
• 3.
  提出了一种结合物理约束动作掩码与严重性感知场景采样的物理约束训练与验证方案。动作掩码可剔除不可行的控制措施，而严重性感知采样则增加了高风险级联场景的暴露度。在IEEE 39节点混合交直流系统上的实验表明，GAT-PPO在基础拓扑上的性能与MLP-PPO相当，但在未见过的重构拓扑上泛化能力更强；在IEEE 118节点和IEEE 300节点系统上的规模验证进一步证实，这一优势归因于拓扑感知的表征方法。

本文其余部分组织如下。第2节介绍混合交直流系统模型，并将级联故障缓解问题形式化为受约束的序贯决策问题。第3节介绍所提出的拓扑感知图强化学习框架，包括图注意力编码器、动作条件的策略表征以及物理约束动作掩码机制。第4节描述奖励设计、严重性感知场景采样策略以及基于PPO的策略优化流程。第5节提供案例研究和对比结果。最后，第6节对本文进行总结并讨论未来研究方向。

各章节概述

系统模型与问题表述

本节建立了混合交直流电力系统中级联故障缓解问题的通用数学表述。建模过程分为三步：首先定义混合交直流电力系统的结构表征；其次刻画级联故障的随机传播动力学；最后将缓解任务形式化为受约束马尔可夫决策过程。

所提出的拓扑感知图强化学习框架

为解决第2节所建立的受约束MDP问题，本节提出了一种拓扑感知的图强化学习框架，如图1所示。该框架包含三个组成部分：边感知的图注意力编码器，从节点、边和全局特征中提取拓扑感知的状态表征；动作条件特征，使策略能够通过关联物理元件的局部状态评估每个候选动作；以及物理约束动作掩码，该掩码…

训练策略与策略优化

本节介绍了用于求解第2节所建立受约束MDP问题的训练流程。基于第3节提出的拓扑感知图编码器、动作条件表征和物理约束动作掩码，策略采用设计好的奖励函数、严重性感知场景采样策略和近端策略优化（PPO）进行训练。整体工作流程如图2所示。

实验系统与评估设置

所提方法在一个基于IEEE 39节点新英格兰系统[30]构建的混合交直流测试系统上进行评估。两条直流输电线路通过第2节所述的功率注入等效模型接入交流网络。直流输电线路1连接39号母线和4号母线，额定容量为300 MW；直流输电线路2连接31号母线和15号母线，额定容量为400 MW。两条线路的输电效率均设置为1.0。主要…

结论

本文提出了一种面向混合交直流电力系统主动级联故障缓解的拓扑感知图强化学习方法（GAT-PPO）。该问题被形式化为有限时域受约束MDP，所提出的策略结合了边感知的图注意力编码器、物理约束动作掩码和严重性感知场景采样。将GAT-PPO与仅在状态编码器上存在差异的MLP-PPO基线进行了对比。案例研究表明，两种策略均实现了…

作者贡献声明

赵树涵（Shuhan Zhao）：初稿撰写、验证、软件、方法论、调查研究。涂正宏（Zhenghong Tu）：审阅与编辑、监督、项目管理。徐英（Ying Xu）：审阅与编辑、项目管理。易中凯（Zhongkai Yi）：审阅与编辑、项目管理。

利益冲突声明

作者声明不存在任何可能影响本文工作的已知竞争财务利益或个人关系。

赵树涵 | 涂正宏 | 徐英 | 易中凯