《Scientific Reports》：Multi-agent deep reinforcement learning for resilient recovery of electric–gas coupled energy systems under extreme disasters
编辑推荐：
在极端灾害下，电–气耦合综合能源系统的级联故障传播与协同恢复决策仍存在显著空白，使其在高不确定性条件下难以形成有效的动态恢复路径。该研究构建了灾害条件下的马尔可夫决策过程（Markov Decision Process, MDP）环境，设置包括节点故障状态、压
在极端灾害下，电–气耦合综合能源系统的级联故障传播与协同恢复决策仍存在显著空白，使其在高不确定性条件下难以形成有效的动态恢复路径。该研究构建了灾害条件下的马尔可夫决策过程（Markov Decision Process, MDP）环境，设置包括节点故障状态、压力与电压分布以及恢复资源约束在内的多维状态变量；采用多智能体深度强化学习（Multi-Agent Deep Reinforcement Learning, MA-DRL），并结合集中训练与分布式执行（centralized training and distributed execution, CTDE）架构。通过联合动作值评估与局部策略执行，实现电网子系统与天然气网子系统之间的策略协调。设计了一种跨轮奖励结构，以覆盖能源可用性、恢复速度与恢复稳定性等因素。引入课程学习（curriculum learning）机制，以解决在高扰动条件下直接训练策略时出现的探索失败与奖励信号稀疏问题：通过按灾害强度递增顺序组织训练场景，使策略首先在低扰动环境中获得稳定恢复行为，并将该结构逐步迁移至极端扰动条件，从而实现收敛加速并形成跨灾害场景的鲁棒泛化。纳入延迟效应建模，以将修复决策的长期后果传播回学习信号。实验结果表明，在灾害强度 IV 级下，所提出的 MA-DRL 协同恢复策略在灾后 0–3 h 内实现系统能源可用率 82.4%；在灾后协同恢复过程中，总体恢复完成时间为 5.7 h，恢复后稳定运行比例达到 93.1%。该研究证明了深度强化学习在提升耦合能源系统韧性方面的有效路径与技术潜力。
四、论文主体解读
研究背景与问题：极端灾害指低频、高破坏强度、广空间影响的外部扰动，可造成多种能源基础设施短时同步失效。原文将极端灾害界定为初始部件损坏比例达到或超过总网络元件 30%、关键跨网耦合设备可用性同时退化、骨干输电或输气通道部分或全部中断，使耦合系统无法依靠灾前运行配置维持正常供能，且不能仅通过局部再调度恢复。电–气耦合系统中，多能流结构相互依赖，单一节点或局部设备故障可沿能量转换与拓扑耦合通道快速传播，形成跨系统、多级链式故障。灾后恢复还受资源有限、检修顺序受网络拓扑约束、电力与天然气系统双向物理—运行机制、电压重构与压力恢复响应速度和稳定约束不对称等影响，传统基于确定性假设的调度策略难以保持稳定与可行。因此，研究人员需要研究链式故障传播、恢复时序耦合与跨系统协同决策问题。
相关工作：已有研究从恢复优化、调度和结构脆弱性等角度展开。Wang et al.建立考虑气象灾害下级联故障传播的韧性评估模型；Wang et al.构建混合整数二阶锥规划模型，整合应急资源调度与路径规划；Sang et al.设计基于骨架网络识别的优先恢复策略。强化学习方面，Liang et al.采用图深度强化学习进行变电站系统灾后恢复资源调度；Si et al.构建多智能体强化学习框架，引入动态智能体网络和动作阻断机制用于配电网灾后快速负荷恢复；Yang et al.提出融合异构图神经网络与 MA-DRL 的灾后恢复决策模型。但现有 MA-DRL 应用多面向单网或松耦合场景，联合动作值函数未显式纳入跨子系统物理依赖，状态表示常独立处理电、气变量，训练多由子系统级奖励累积驱动，缺乏反映异构恢复动作相互影响的共享价值基线。
研究人员开展的研究与结论：该研究提出基于 MA-DRL 的协同恢复方法，将灾后恢复建模为联合长期决策问题。研究人员构建灾害驱动的高维状态表示、可执行动作集、集中评价与分布执行架构，并通过联合动作值评估表征跨系统恢复行为协同效果；奖励围绕能源供应恢复水平、运行稳定性与动作时序一致性构建，并利用延迟传播机制形成长期恢复节奏；训练阶段通过灾害强度递进式课程学习增强不同扰动条件下的泛化能力。结论表明，该方法能在极端灾害下形成电–气协同恢复路径，提高系统韧性。
关键技术方法（≤250字）：研究人员采用多智能体深度强化学习（MA-DRL）与集中训练分布式执行（CTDE）；中央评价器近似联合状态–动作值函数，分布式子策略按局部观测执行。状态由电压、压力、支路电流、节点故障、资源约束经差分、归一化、时间窗堆叠与跨网映射构成；动作由离散基向量映射为连续恢复控制基元，并经可行域投影和耦合潮流/稳态气流方程推进；奖励含恢复增量、稳态维持、时间一致性与延迟回报；课程学习按灾害 I–V 级递增训练，测试 VI–VII 级及不同空间损伤与损坏率。样本来源为 39 节点输电系统与 20 节点天然气网络仿真环境，含 6 个耦合设备，非真实队列。
研究结果：
灾后能源供应恢复比例变化：实验模拟多级极端灾害强度下系统能源供应性能，结果表明恢复曲面随时间呈阶梯式上升，低灾害强度下能源供应比例快速升高，高灾害强度下初始平台期延长、上升斜率降低。灾害强度 IV 级下，所提 MA-DRL 协同策略早期 0–3 h 能源可用率为 82.4%，过渡阶段为 91.6%，最终阶段为 97.2%，优于混合整数线性规划（Mixed-Integer Linear Programming, MILP）的 58.6%、单智能体近端策略优化（Proximal Policy Optimization, PPO）的 66.9%以及无课程学习 MA-DRL 的 74.8%。组件级恢复时间线显示，协同策略更早恢复耦合相关组件和骨干输电元件，并具有更高时间重叠，加速网络重连与跨能源支持。
联合恢复路径时间特性分析：通过多维相空间轨迹评价，MA-DRL 策略从初始损伤态向目标域高速收敛，基线策略在低恢复区轨迹纠缠。电力与天然气恢复进度在 MA-DRL 驱动下保持高度同步，减缓孤立子系统修复造成的非线性阶跃时延。动态响应曲线显示，MA-DRL 在恢复早期通过调度耦合元件产生显著功率增量峰值，利用能量互济克服单系统资源保障瓶颈。
系统稳定窗口分析：实验监测电网侧负荷节点与耦合节点电压、天然气网侧节点与电转气（Power-to-Gas, P2G）节点压力。灾后 2.4 h 执行恢复动作后，电压在负荷削减点短暂波动后快速锁入稳定范围，天然气压力在多气源协调下稳定上升并保持在安全窗口内，耦合节点能量交换连续性得到保障。
不同灾害场景策略泛化能力：在训练未覆盖的空间损伤模式、灾害强度外推和初始设备损坏比例变化下，协同 MA-DRL 性能退化较缓。空间分布变化时，灾后前三小时平均能源可用率由训练集 85.6%降至测试集 82.9%，仅降 2.7 个百分点；非协同深度强化学习由 80.4%降至 74.6%。灾害强度由 V 级外推至 VII 级时，协同策略完整恢复时间由 5.7 h 增至 7.8 h，近似线性；非协同策略由 7.6 h 跃升至 12.4 h。设备损坏比例扩至 60%时，协同策略恢复时间保持 6.9 h，规则策略延长至 12.9 h。
与现有调度方法的策略差异：比较 MA-DRL、集中确定性优化、集中解耦优化、分布式子系统优化和固定优先规则策略。MA-DRL 平均决策间隔为 4.6 min，低于集中优化的 12.9 min 和 11.4 min，波动 0.8 min；跨系统联合决策触发率为 41.3%，高于集中全耦合优化的 35.7%；约束拒绝动作比例为 6.8%，略高于 5.9%，显著低于分布式子系统优化的 9.6%和规则策略的 16.8%。说明其在决策节奏、耦合响应与鲁棒性之间取得较平衡配置。
消融实验：
协同恢复架构消融分析：单智能体深度强化学习（Single-Agent Deep Reinforcement Learning, SA-DRL）架构早期能源恢复效率为 48.6%，恢复完成时间 8.9 h，恢复后运行稳定比例 71.3%；MA-DRL 独立训练架构早期恢复效率 63.4%，恢复时间 6.8 h，稳定比例 84.7%；CTDE 架构早期恢复效率 82.4%，恢复时间 5.7 h，稳定比例 93.1%，协同一致性指数 0.91。
学习机制与奖励设计消融：完整策略训练曲线呈阶梯式上升并达到最高稳定回报；去除稳定性奖励后早期上升最快，但后续在较低水平高频振荡；缺少课程学习时前期长期停滞于低水平；忽略延迟效应会限制策略最终收敛高度。结果表明课程学习和完整奖励机制对协同恢复效率具有核心支撑作用。
计算复杂性与训练成本分析：MILP 每决策步约需 776.4 ms；单智能体 PPO 训练 11.2 h，每批更新 18.6 ms；非协同 MA-DRL 训练 15.4 h，每批 28.1 ms；所提 MA-DRL 训练 18.6 h，每批 34.2 ms，但部署推理延迟为 1.8 ms/决策步，与非协同变体相同，仅比单智能体 PPO 高 0.2 ms，说明中央评价器不增加部署时运行成本。
结论与讨论：结论部分翻译为：该研究提出基于 CTDE 架构的 MA-DRL 协同恢复方法，以灾后系统状态为决策基础，将电网与天然气网的故障状态、电压与压力偏移、修复资源约束映射为高维连续状态；通过联合动作值评估显式表征跨系统恢复动作相互影响，引导电网与天然气网在恢复顺序和节奏上形成协调一致决策；课程学习通过从轻度到极端灾害强度递进安排训练，缓解直接高扰动训练中的探索与收敛失败，延迟回报机制将长期修复后果传播到策略更新信号。仿真结果表明，灾害强度 IV 级下，所提方法在 0–3 h 早期恢复阶段系统能源供应可用率达 82.4%，高于无课程学习多智能体方法的 74.8%；完整恢复时间缩短至 5.7 h，较独立训练架构的 6.8 h 进一步压缩；恢复后运行稳定比例达 93.1%，协同一致性指数升至 0.91。在训练分布未覆盖场景中，随机节点损坏下前三小时平均能源供应可用率仅从训练集到测试集下降 2.7 个百分点，高强度外推下恢复时间增长近似线性，表明状态表示和协同决策机制不依赖特定损坏模式。讨论部分指出，当前模型以固定能量转换系数和容量限制表示耦合设备，未纳入负荷相关效率变化或详细启停动态，可能高估快速状态转换时耦合节点的能量交换灵活性；准稳态气流方程不解析步内压力波传播，在大管段重连或压缩机边界条件突变时，步末压力分布可能偏离物理瞬态轨迹，影响恢复动作可行性评估。引入耦合设备动态效率曲线和可刻画管存再分布的瞬态气流模型，是缩小仿真恢复环境与物理系统行为差距的直接扩展路径。
