通过主动切除线路缓解级联故障：一种条件强化学习方法

《RELIABILITY ENGINEERING & SYSTEM SAFETY》：Mitigating cascading failures through intentional line removal: A conditional reinforcement learning approach

　　

摘要

电力网络中的级联故障对系统韧性构成了严峻挑战，因为故障的不可控传播可能引发大面积停电。本文提出了一种新颖的条件强化学习方法，通过战略性地切除输电线路来缓解级联故障。我们的方法结合了：（1）一个交互学习模块，用于量化网络线路之间的故障依赖关系；（2）一种深度Q网络（DQN）架构，将实时故障概率作为条件输入，以选择补救措施。本工作通过显式建模组件间依赖关系，推导实时缓解策略以提高电力系统韧性，从而推进了物理信息深度强化学习的融合。我们基于IEEE 300节点、118节点和57节点系统构建级联故障模拟器来训练该框架，并使用直流最优潮流分析评估线路切除动作。所提出算法的输入是电力网络的状态，输出是需要切除的输电线路，其切除可缓解正在发展的级联故障。实验结果表明，我们的条件强化学习方法相较于无操作基线，有效减少了级联规模和故障功率，并在减少级联规模方面优于标准Q学习。此外，在修改后的网络拓扑和潮流条件下的实验评估验证了所提方法的鲁棒性。还提供了代表性场景以逐步说明缓解过程。最后，决策延迟分析凸显了延迟切除线路的严重影响，强调了实时控制算法的迫切必要性。

引言

现代电力网络越来越容易受到级联故障的威胁。级联故障是一系列复杂的事件链，其中初始扰动在网络中扩散，通常导致灾难性的停电。2003年东北停电事件影响了超过5000万人并造成60亿美元经济损失，充分说明了此类故障的严重后果。这些事件通常起源于单一故障（例如线路故障或发电机跳闸），通过潮流重新分配、电压崩溃或保护系统误操作引发连续组件故障。随着电力系统在可再生能源集成和运行复杂性方面的不断发展，制定有效的缓解策略对于确保网络韧性至关重要。

先进的缓解策略利用基于模型和数据驱动的方法来应对级联故障的不同阶段。基于模型的方法利用电力系统动力学和优化理论预测故障轨迹，而数据驱动技术则采用机器学习根据历史故障模式识别脆弱组件。这些策略的有效性取决于它们处理电力系统非线性和高维特性的能力，同时保持实时决策能力。因此，将物理约束与深度学习算法相结合可以提高精度与计算效率之间的平衡。

传统缓解方法主要分为三类：
- 预防措施，主要通过建模极端自然灾害下的不确定性来提高系统韧性（例如最优潮流调整）
- 纠正措施，涉及在遭受网络攻击时采取适当的控制动作（例如发电重新调度）
- 最后手段保护，涉及在电网承受压力时采取补救行动（例如控制性解列）

虽然这些方法在特定场景中展现了有效性，但面临根本性局限。混合整数线性规划等优化技术在大网络中难以满足实时计算需求。用于控制性解列的谱聚类方法往往缺乏对动态系统状态的适应性。基于广域测量系统（WAMS）的解决方案依赖于实时测量数据在网络中的可达性，而在级联故障发展过程中这可能受到损害。此外，大规模系统的MILP计算可行性仍是挑战，表明分布式优化技术在解列中具有重要作用。

传统方法，包括基于网络分析、优化和WAMS数据的方法，提供了宝贵的见解。然而，这些方法往往不是实时的，因此不适合在灾难发展过程中提出纠正措施。

深度强化学习（DRL）作为一种应对实时决策和自适应控制挑战的有前景范式应运而生。与传统方法不同，DRL智能体可以从历史故障数据中学习自适应策略，在不确定性下做出实时决策，并处理高维状态-动作空间。此外，近期研究表明使用状态适配器可以使模型状态与实际状态对齐，以获得更好的模型一致性。

近期研究通过基于近端策略优化（PPO）的补救行动方案展示了DRL的潜力，响应时间比传统方法快32%。然而，该方法忽略了物理感知。换言之，许多纯数据驱动的方法不考虑网络组件之间的交互作用，而这些交互作用包含网络的物理特性，对级联故障传播至关重要。这种缺陷导致收敛速度较慢，并阻碍了有效缓解策略的发现。

本文提出了一种新颖的条件强化学习（CRL）框架，通过物理信息交互学习来解决上述问题。为此，本文提出了两个交互学习模块：第一个建模组件故障依赖关系，第二个建模组件间交互与故障传播。该框架还利用条件深度Q网络（DQN）架构，将实时故障概率作为上下文输入集成，并采用端到端训练范式选择补救动作。该方法将离线交互学习与在线策略优化相结合。在IEEE 300节点、IEEE 118节点和IEEE 57节点系统上进行了全面验证，证明了相对于传统Q学习方法的优越性能。

我们的主要贡献包括：
- 通过可学习参数对输电线路交互进行数学建模，从历史级联数据中学习输电线路之间的故障依赖关系
- 开发条件DRL智能体，在每个状态下选择最佳补救行动
- 将实时故障概率作为条件输入增强DQN架构，为智能体提供具有物理信息感知的前瞻性故障意识
- 引入两种互补的交互建模方法——线路预测和张力预测——分别捕捉成对故障依赖关系和每个组件对整体级联传播趋势的贡献
- 证明所提方法在修改后网络上的可迁移性，以及在IEEE 300节点系统上的可扩展性

我们通过300节点、118节点和57节点IEEE基准网络的模拟来评估缓解策略的有效性。性能指标包括级联规模和故障功率。

本文其余部分组织如下：第2节综述级联缓解和DRL应用的相关工作。第3节详细说明我们的电力系统模拟器和级联建模方法。第4节提出所提出的方法。第5节讨论实验结果，第6节总结并提出未来研究方向。

文献综述

电力系统中的级联故障对网络可靠性构成重大威胁，导致大面积停电和巨大的社会及经济影响。这些故障的快速且不可预测的进展需要开发有效的缓解和恢复策略。一种此类方法涉及战略性地移除输电线路，通过有意解列或选择性切除来防止故障传播并最小化故障范围。

电力模拟器

我们使用Python编程语言和PYPOWER库进行电力网络模拟。我们采用IEEE 300节点系统（N=300个节点，L=409条输电线路）、IEEE 118节点网络（N=118个节点，L=179条输电线路）和IEEE 57节点网络（N=57个节点，L=80条输电线路）。每次模拟遵循以下流程：

初始化：网络首先使用直流最优潮流（DCOPF）算法在稳定状态下求解，以确定……

所提方法

本节提供了一种条件强化学习（CRL）方法用于采取补救行动，具体而言，每个行动涉及切除网络中的一条输电线路。目标是减少级联故障规模并最小化未供电负荷。为此，我们首先介绍所提方法的整体框架。接下来，我们提出一个模块，从级联故障数据中学习每条线路故障与后续故障之间的交互作用，从而构成物理信息……

实验结果

为评估所提方法，我们使用两个指标：级联规模（即级联中故障线路的数量）和故障功率（即故障输电线路的累计有功功率，单位为兆瓦MW）。故障功率类似于未供电功率（PNS），但排除了初始化步骤中损失的功率。因此，该指标严格统计缓解阶段发生的故障。

为评估所提方法的适用性，我们采用……

结论

本文提出了一种新颖的条件强化学习（CRL）框架，通过优化输电线路切除来缓解电力网络中的级联故障。我们的方法解决了级联缓解中的三个关键挑战：（1）建模网络组件间的复杂依赖关系，（2）在不确定性下实现实时决策，（3）在补救行动选择中使用物理信息特征。所提方法将交互学习模块与条件DQN架构相结合……

CRediT作者贡献声明

Aref Hakimzadeh：撰写——审阅与编辑、撰写——原始草稿、验证、软件、方法论、概念化。Abdorasoul Ghasemi：撰写——审阅与编辑、验证、监督、方法论、概念化。Babak Nasersharif：撰写——审阅与编辑、验证、监督。

利益冲突声明

作者声明不存在已知的可能影响本论文所述工作的竞争性财务利益或个人关系。

Aref Hakimzadeh | Abdorasoul Ghasemi | Babak Nasersharif