在N-k故障情景下的协调输配负荷恢复：一种分布式优化与强化学习方法

《Applied Energy》：Coordinated transmission-distribution load restoration under N-k contingencies: a distributed optimization and reinforcement learning approach

　　向伟|周越|王贵斌|胡泽|朱子清|张贤|陈嘉荣|吴建中 中国湖北工业大学 摘要 在紧急情况下确保输配电系统中的负荷快速恢复对于维持电网运行至关重要。本研究针对因输电线路和发电机故障等突发事件导致供电中断时的负荷恢复问题展开研究。为解决这一问题，本文提出了一种协调的输配电运行策略。利用配电系统中的虚拟电厂来弥补削减的负荷，并支持输电层面的负荷恢复。该协调过程涉及双向信息交流：输电系统将减载决策传递给配电系统，而配电系统则通过虚拟电厂提供可用的最大削减能力。这种互动提升了系统以分布式优化方式应对N-k类突发事件的能力，进而提高了整体韧性。为了在这一协调框架下实现高效决策，本文采用了强化学习技术来优化N-k类突发情况下的负荷恢复。输电系统采用软 Actor-Critic算法进行建模，该算法可确定最优的减载和发电机调度策略以实现系统快速恢复。而负责管理多个虚拟电厂的配电系统则采用多智能体软Actor-Critic算法的互补注意力机制进行控制。这种方法解决了多智能体软Actor-Critic实现中的注意力分散问题，确保在动态多智能体环境中能够做出最优决策。仿真结果表明，所提出的基于强化学习的框架能有效减少输电系统的约束违规现象，同时保持配电网的负荷供应和电压稳定。引言 现代电力系统日益面临极端天气事件、自然灾害以及设备故障等意外紧急情况的挑战，这些情况可能导致严重的输电故障[1]。这类事件通常被建模为N-k类突发事件，会导致多条输电线路和发电机突然断开，从而造成严重的供电短缺和输电通道拥堵。作为响应，输电系统运营商必须通过重新调度发电机和实施减载来快速恢复受影响负荷的供电[2]。然而，传统的自上而下的应急策略往往忽视了对配电系统的影响[3]。当在输电层面实施减载时，与被切断节点相连的配电网络会出现电压不稳定和供电不足的问题，进一步加剧了满足终端用户需求的难度。随着分布式能源资源整合程度的提高以及虚拟电厂的出现，配电系统已从被动接受电能的角色转变为参与系统恢复的主动角色[4]。这一转变为输配电系统的协调运行提供了独特的机会，因为配电系统的响应可以有效缓解输电网络的拥堵，同时保障本地负荷供应。因此，实现输电系统运营商与配电系统运营商之间的双向通信，以协调输配电系统内的各种资源，对于在不影响输电系统稳定的前提下恢复配电系统负荷供应至关重要。解决这些挑战已成为学术界和工程界的重要研究方向。传统上，输电系统运营商和配电系统运营商作为独立实体运作，信息共享有限，这促使人们开展了大量关于输配电协调优化的研究。为减轻集中式建模带来的通信负担和计算复杂性，人们提出了多种分布式优化方法。典型的方法包括基于拉格朗日松弛的ADMM框架[5]、解析目标级联法[6]、近端消息传递法[7]以及混合整数边界兼容型建模方法[8]，还有基于KKT条件的原始-对偶分解技术，用于解决分散式的经济调度和交流最优功率流问题[9]–[11]。Benders分解也被应用于输配电系统的电压和无功功率控制[12]。尽管这些方法具有优势，但大多数现有的分布式优化方法[5]、[6]、[7]、[8]、[9]、[10]、[11]、[12]都采用顺序协调结构，这种结构本质上会引入决策延迟并限制计算效率。需要指出的是，这种顺序结构并非仅仅是实现方式的选择，而是源于输配电协调问题的层次性和跨层特性，即下游决策通常取决于上游的边界变量[13]。虽然一些近期研究在数值求解器层面采用了并行计算技术来加速优化过程，但这些方法仍然依赖于决策层面上游问题的精确或近似收敛解[14]。因此，整个协调过程对收敛速度和通信延迟极为敏感，这在时间紧迫的紧急负荷恢复场景中大大限制了其应用性。在现有输配电协调研究的基础上，越来越多的研究开始探讨利用分布式能源资源进行配电网负荷恢复，其中包括可调度分布式发电机[15]和移动能源源[16]。在这些研究中，基于分布式能源资源的恢复策略已被广泛采用，其主要目的是改善本地供应状况并加快配电层面的负荷恢复速度[17]。随着分布式能源资源渗透率的提高，集中式调度方法在通信负担、计算复杂性和可扩展性方面面临着挑战[18]。为解决这些问题，人们提出了分散式和分布式恢复策略。例如，[19]提出了一种依赖先进通信基础设施的分散式调度框架，而[20]则提出了无需实时协调即可提升响应速度的本地控制方案。尽管这些方法在特定环境下效果良好，但它们要么需要复杂的通信系统，要么仅限于局部恢复目标，未能明确处理与输电层面恢复决策的协调问题。最近，人们提出了聚合器的概念，用于在极端事件期间协调大规模分布式能源资源[21]，这一方法有望降低通信开销并提高可扩展性。然而，在大多数现有研究中，聚合器主要被设计为在配电系统内部运行，其决策目标仅限于本地负荷恢复或电压调节[22]。在紧急N-k类突发事件背景下，聚合器作为输配电协同恢复中的主动协调角色的潜在作用仍需进一步探索。此外，人们还研究了多种计算优化方法，以应对紧急情况下分布式发电与配电系统之间协同运行以恢复负荷的挑战。一种常用的方法是将负荷恢复问题构建为多阶段优化模型，并使用列约束生成算法来求解[23]。其他研究则采用双层最小-最大优化框架和Benders分解方法，将原问题分解为易于处理的子问题[24]。然而，随着电力系统向更高复杂度和不确定性发展，基于模型的方法由于其依赖于精确的系统参数和明确的数学公式，存在固有局限性。因此，深度强化学习作为一种有前景的替代方案应运而生，它减少了对严格模型假设的依赖，能够在不确定性条件下实现适应性决策。例如，[25]提出了一种基于深度强化学习的带安全约束的最优功率流策略，以提高系统韧性，而[26]则开发了一种混合深度强化学习框架，用于快速生成符合约束条件的预防性最优功率流解决方案。除了具备强大的稳定性之外，基于深度强化学习的方法还有一个优点，即它们能够在并行化学习框架中处理本质上具有顺序性和跨层性的决策问题，从而缓解分布式顺序优化中常见的通信延迟和计算瓶颈[27]。此外，上游决策对下游行动的影响是通过隐式学习而非强制执行来实现的，这使得后续决策能够根据当前可用信息进行调整，而不必严格依赖精确的上游解决方案。另外，多智能体强化学习也越来越被应用于大规模电力系统控制问题。例如，有一种基于多智能体深度确定性策略梯度方法的框架，可用于输电系统中的自主电压控制，实现多个智能体之间的分散式决策。虽然这类方法提高了可扩展性，但随着智能体数量的增加，学习复杂性也会呈指数级上升，这使得多智能体强化学习算法在高度耦合的环境中难以收敛出有效的策略。为解决这一问题，[28]提出了一种基于注意力的多智能体强化学习算法，该算法引入注意力机制，帮助智能体有选择地关注相关的本地信息。尽管这类注意力机制提高了特征提取和协调能力，但最新研究表明，在复杂的多智能体环境中，仅依赖本地可观察信息仍可能导致智能体忽视全局关键的相互作用[29]。为解决这一问题，一些研究进一步表明，在部分可观察环境中，纳入全局协调信息可以显著提升合作决策性能和学习稳定性[30]。然而，在大规模分布式系统中，由于通信限制、可扩展性问题以及多智能体系统固有的分散式结构，获取完整且可靠的全局信息仍然具有挑战性[31]。这一局限性凸显出需要在多智能体强化学习技术方面取得进一步进展，以便同时提升本地适应能力和全局信息协调能力，尤其是在输配电系统协同优化的背景下。为解决上述研究空白，本文提出了一种用于N-k类突发事件场景下输配电系统协同负荷恢复的新框架。本研究的主要贡献如下：1）本文提出了一种基于强化学习的并行协调恢复框架，用于N-k类突发事件场景下的输配电系统协同恢复。该框架将输电层面的恢复问题建模为马尔可夫决策过程，而将配电层面的多虚拟电厂协调问题建模为多智能体部分可观察马尔可夫决策过程。在输电系统运营商和配电系统运营商之间建立了并行且双向的交互结构。输电层面和配电层面的决策分别采用软Actor-Critic算法和多智能体软Actor-Critic算法进行求解，这两种算法同时进行训练和执行，从而消除了传统基于跨层分布式优化恢复框架中固有的严格顺序依赖关系，显著提高了计算效率。2）在所提出的输配电恢复框架中，虚拟电厂被视为关键的协调主体。与现有主要将虚拟电厂用于配电层面恢复的研究不同，本文将虚拟电厂嵌入到一种基于学习的跨层协调机制中，其决策与输电层面的减载和恢复行动共同优化。这种设计使得分布式能源资源不仅能够为本地恢复做出贡献，还能为系统层面的约束缓解发挥作用，从而在严重的N-k类突发事件下显著提升恢复效率。3）此外，本文还引入了一种互补注意力机制来提升多智能体软Actor-Critic算法的性能。该机制解决了两个关键问题：（i）在复杂环境中对关键信息的关注不足；（ii）全局信息共享不足，限制了协调和共同目标优化。通过提升智能体层面的决策能力并加强全系统协调，所提出的基于互补注意力的多智能体软Actor-Critic框架显著提升了输配电系统恢复策略的有效性和可扩展性。本文的其余部分安排如下：第2节介绍了N-k类突发事件场景下输配电系统之间协同负荷恢复的问题建模方法。第3节阐述了强化学习算法。第4节给出了仿真结果和性能评估。第5节对本文进行了总结，概述了主要研究成果。问题建模 本节重点介绍N-k类突发事件场景下输配电系统之间协调的问题建模方法。通过为输配电网络建立稳健的数学模型，本研究旨在提升系统韧性，确保在N-k类突发事件场景下能够实现可靠的电力供应。算法 基于之前为输配电系统建立的数学模型，传统的优化算法如混合整数规划法和基于梯度的方法存在显著局限性。它们难以应对电力系统协调过程中所面临的高维、非线性及随机性问题，尤其是在需要快速且不确定决策的突发事件面前。为克服这些局限性，本文引入了深度强化学习算法，该算法能够直接从数据中学习最优策略。实验设置 本节通过一个测试网络对所提出的输配电系统应急场景协调模型进行了验证，该测试网络由代表输电网络的IEEE 30节点系统和一个代表配电网络、在8号节点与输电网络相连的IEEE 33节点系统组成。在图4中，四个虚拟电厂中心分别部署在IEEE 33节点配电网络的15号、22号、25号和26号节点上。这些虚拟电厂中心的选址是基于离线分析确定的。结论与讨论 本文提出了一种用于N-k类突发事件场景下输配电系统协同负荷恢复的运行策略。通过将分布式优化框架与强化学习方法相结合，所提出的方法有效提升了系统的韧性和运行效率。基于IEEE 30节点输电网络和33节点配电网络的仿真结果证明了该框架的优越性。具体而言，协同运行……CRediT作者贡献声明 向伟：撰写——初稿。周越：撰写——审阅与编辑。王贵斌：指导。胡泽：软件工作。朱子清：形式化分析。张贤：资金筹集。陈嘉荣：指导。吴建中：指导。利益冲突声明 作者声明不存在任何可能影响本文研究工作的已知财务利益或个人关系。