具有异构资源特性的配电系统多阶段故障恢复的层级多智能体深度强化学习

《RELIABILITY ENGINEERING & SYSTEM SAFETY》：Hierarchical Multi-Agent Deep Reinforcement Learning for Multi-Stage Service Restoration in Distribution Systems with Heterogeneous Resource Characteristics

　　

- 提出了一种用于多阶段服务恢复的H-MADRL方法。
- 将异质DER特性嵌入恢复决策中。
- GAT增强的阶段-方案规划捕捉了孤岛间协调。
- CTDE-MASAC协调开关、GFM-ESS、PV单元和GFL资源。
- 动作掩码和课程学习提高了可行性和收敛性。

**引言**

低概率、高影响事件，如极端天气、自然灾害和级联故障，正日益威胁配电系统的安全运行。此类事件发生后，配电系统可能面临复杂的灾后运行条件，包括上游供电中断、有限的转供路径以及多处线路或设备故障，这显著增加了大面积负荷中断的风险[1,2]。当主网支持有限或不可用时，快速恢复关键负荷直接关系到终端用户的能源供应连续性，已成为衡量配电系统韧性和能源供应安全的重要指标[3]。传统恢复策略主要依赖于从上游电源转供、馈线联络开关切换和网络重构。然而，在偏远地区、弱互联配电系统或大规模灾害场景中，其恢复能力往往受限于可用的转供容量、可操作的恢复路径和多处故障隔离要求，难以满足关键负荷快速恢复的需求[4]。因此，在主网支持有限的场景下，挖掘配电系统内部分布式能源资源（DER）并开发具有本地自主能力的服务恢复策略，已成为提升现代配电系统韧性的重要研究方向[5,6]。

随着分布式光伏（PV）单元、储能系统（ESS）、微型燃气轮机和柔性负荷的广泛接入，配电系统正从被动受电网络演变为具有本地供电、灵活调节和孤岛运行能力的主动配电系统。现有研究已广泛探讨了网络重构、微电网形成和多源协调等问题，表明本地DER可以有效提高灾后关键负荷恢复和配电系统韧性[[7], [8], [9], [10]]。然而，在高DER渗透率条件下，故障后的服务恢复不再局限于确定负荷转供路径或故障隔离后的最终网络拓扑，而是演变为一个需要在资源可用性、运行可行性和恢复时序之间进行协调的动态过程。不同类型DER在响应时间尺度、接入条件和持续支撑能力方面的差异，进一步强化了恢复过程的分阶段演进和可变持续时间特征。因此，高DER渗透率配电系统中的服务恢复已从静态负荷转供问题演变为涉及异质资源协调和多个恢复孤岛动态演进的多阶段序贯决策问题。

现有配电系统服务恢复研究主要从启发式搜索、规则驱动方法和模型驱动优化等角度发展恢复策略。启发式搜索和规则驱动方法可以基于预定义规则、图搜索或运行经验快速生成恢复方案，在配电系统自愈和微电网形成的早期研究中得到了广泛应用[11,12]。模型驱动优化方法通常将网络重构、负荷恢复和DER调度纳入统一的决策框架，以提高恢复方案的可运行性和整体效益[13,14]。然而，这些方法通常依赖于准确的网络模型、故障信息和资源状态。此外，当恢复过程涉及多阶段开关操作、多类型资源协调以及多个恢复孤岛的并行演进时，决策空间和模型规模显著增加，难以满足故障后快速恢复的实时决策需求。因此，针对高DER渗透率条件下的动态服务恢复，仍有必要探索能够在复杂状态空间中快速生成恢复策略的在线决策方法。

近年来，深度强化学习（DRL）被引入配电系统服务恢复和韧性增强中，以减轻反复求解优化模型所带来的在线计算负担[[15], [16], [17]]。通过在训练过程中与模拟的故障后环境进行交互，基于DRL的方法可以学习恢复策略，并在不同运行条件下快速在线生成序贯决策。现有研究从多个角度推进了基于学习的恢复方法。图结构信息已被纳入强化学习中，以增强序贯恢复过程中网络拓扑和电气连通性的表示[18]。基于演示学习的方法被用于降低探索难度并提高恢复任务的训练效率[19]，而无模型DRL已被应用于动态多微电网形成，以支持在变化的故障后条件下进行在线恢复[20]。多智能体强化学习（MARL）进一步被用于协调多个可控设备或区域之间的恢复决策，实现动态网络重构和分布式负荷恢复[21,22]。总体而言，这些研究推进了配电系统恢复中的拓扑感知状态表示、策略学习效率和协调在线决策。

分层强化学习（HRL）通过将高层任务选择与低层动作执行分离，将时间抽象引入序贯决策[23,24]。在电力系统应用中，双层强化学习被用于协调慢时标离散设备和快时标连续设备在Volt/VAR控制中的行为[25]，而分布式分层强化学习已被用于大规模电力系统的高维紧急控制[26]。对于配电系统恢复，DRL已在一个分层架构中与二次规划相结合，其中学习到的控制器确定DER调度，电网级优化处理恢复操作和网络约束[27]。此外，分层多智能体强化学习已被应用于多能微电网的抢修队伍调度，通过高层任务选择和低层多智能体执行来协调路由和修复任务[28]。这些研究展示了如何围绕设备时间尺度、控制功能和多智能体任务来组织分层决策结构。

对于涉及异质DER的服务恢复，分层决策结构应进一步考虑恢复资源之间的参与依赖关系以及恢复的阶段性进展。启动能力、接入要求和持续支撑能力的差异导致了依赖于阶段的资源参与。阶段转换的时机取决于不断演变的资源条件、恢复进度和孤岛运行状态，导致依赖于状态的阶段持续时间。同时，多个恢复孤岛可能处于不同的阶段进展中，并随着运行裕度和恢复需求的演变需要协调支持。这些特征要求一种决策框架，能够在考虑孤岛之间相互作用的同时，协调可变持续时间的恢复阶段与固定间隔的设备级控制。

为了解决上述问题，本文提出了一种分层多智能体深度强化学习（H-MADRL）方法，用于具有异质资源特性的配电系统的多阶段服务恢复。上层规划器根据系统运行状态选择阶段方案，而异质下层智能体在选定方案下以固定控制间隔协调设备级动作。上层阶段-方案规划被建模为半马尔可夫决策过程（SMDP），以表示阶段方案持续时间的状态依赖性。此外，将孤岛级图注意力网络（GAT）纳入上层规划中，以表示恢复孤岛的拓扑关系和运行状态，从而支持孤岛间协调和孤岛合并决策。本文的主要贡献总结如下：

1) 针对主网支持有限、具有异质DER的配电系统，建立了一种多阶段孤岛服务恢复框架。该框架考虑了资源启动条件、接入依赖和持续支撑能力，以表征依赖于阶段的资源参与和依赖于状态的恢复进展，为异质资源协调服务恢复提供了建模基础。

2) 开发了一种GAT增强的H-MADRL决策模型，用于协调可变持续时间的阶段-方案规划与固定间隔的设备级控制。上层规划问题被建模为SMDP，以表示方案持续时间的状态依赖性，而异质下层智能体在选定方案下协调设备动作。孤岛级GAT将孤岛间拓扑关系和孤岛运行状态纳入上层规划，以支持孤岛间协调和孤岛合并决策。

3) 针对所提出的分层恢复框架，设计了一种结合动态动作掩码和课程学习的阶段-方案引导策略学习机制。动态动作掩码根据依赖于阶段的任务要求和物理运行约束限制设备动作，而课程学习在训练过程中逐步增加恢复任务的复杂性，以提高探索效率和训练稳定性。所提出的方法在改进的IEEE 33节点系统和118节点辐射状配电系统上进行了评估。

本文其余部分组织如下。第2节介绍了高渗透率异质DER配电系统的多阶段服务恢复框架和问题建模。第3节提出了基于H-MADRL的恢复决策方法。第4节提供了基于改进的IEEE 33节点系统和118节点辐射状配电系统的仿真研究和对比分析。

**章节摘要**

**高渗透率DER配电系统的多阶段服务恢复框架与问题建模**

本节针对主网支持有限或不可用条件下的高DER渗透率配电系统，建立了多阶段服务恢复框架。建立了相关的资源模型、恢复目标和运行约束。该建模聚焦于系统级恢复决策，未显式建模逆变器级控制动态。

**基于H-MADRL的多阶段服务恢复决策方法**

基于第2节建立的多阶段服务恢复框架和目标-约束模型，本节开发了用于具有可变持续时间阶段进展和多资源协调的长时域恢复的H-MADRL决策方法。恢复任务被分解为两个相互关联的层级：上层阶段-方案规划和下层异质DER的设备级协调控制。

**案例分析**

为评估所提出的H-MADRL方法，在改进的IEEE 33节点系统和118节点辐射状配电系统上进行了仿真研究。所提出的方法使用Python 3.13.5、PyTorch 2.8.0和CUDA 12.7实现，PYPOWER 5.1.19用于配电潮流计算和运行约束检查。所有实验在配备Intel(R) Core(TM) i9-13900H处理器和32 GB RAM的计算平台上完成。使用Adam优化器进行……

**结论**

本文研究了具有异质资源特性的配电系统的多阶段服务恢复。所提出的H-MADRL框架将上层阶段-方案规划与下层设备级协调控制相结合，使可变持续时间阶段进展、异质资源参与和多个恢复孤岛之间的协调能够被联合考虑。

在改进的IEEE 33节点系统和118节点辐射状配电系统上的仿真研究……

**数据可用性**

支持本研究结果的数据可向通讯作者提出合理请求后获取。

**CRediT作者贡献声明**

Bowen Hu：撰写—原稿，可视化，验证，软件，方法学，调查，形式分析，概念化。
Hongjun Gao：撰写—审阅与编辑，监督，项目管理，方法学，资金获取，概念化。
Haibo Li：撰写—审阅与编辑，资源，方法学。
Keng-Weng Lao：撰写—审阅与编辑，方法学。
Yuechuan Tao：撰写—审阅与编辑，方法学。

Bowen Hu | Hongjun Gao | Haibo Li | Keng-Weng Lao | Yuechuan Tao