基于多智能体深度强化学习的配电网与产消者协同优化：极端天气下的韧性提升与隐私保护策略

《Sustainable Energy Technologies and Assessments》：A multi-agent deep reinforcement learning approach for the collaborative optimization of electric distribution networks and independent prosumers after extreme weather events

本文提出了一种创新的配电网（DN）与自主产消者协同优化框架，通过多智能体深度强化学习（MARL）解决极端天气事件（HILP）后关键负荷恢复问题。该模型将DN拓扑重构与策略网络训练解耦，利用商业求解器（如GAMS）独立处理复杂优化，同时采用Actor-Critic架构的MARL算法保障用户隐私（仅依赖本地数据）。实验基于IEEE 33总线系统验证了该方法在提升DN韧性（Resilience）和隐私保护方面的可行性，为分布式能源（DERs）高渗透场景下的协同调度提供了新思路。

　　

模型构建

高比例分布式能源（DERs）输出的随机性导致配电网（DN）净负荷曲线剧烈波动，使得传统的“源随荷动”假设难以维持[32]。因此，本研究通过基于双层独立DN-产消者决策过程的最优联网微电网（NMG）调度框架，推动从集中式控制向分散式控制的必要转变。具有自主交互能力的独立用户...

将APDA重构为DEC-POMDP

如上所述，每个自主产消者决策代理（APDA）以分散方式运行，具有独立的决策过程，且仅能观测到DN的部分信息，而其他用户的行为和DN的调度动作完全未知。因此，本文将每个APDA的运行建模为一个分散式部分可观测马尔可夫决策过程（DEC-POMDP）。一个部分可观测的马尔可夫博弈通常由一个七元组 $\left(I,S,\left(O_i\right),\left(A_i\right),R,P,\gamma \right)$ 组成，包括集合...

实验设置

为验证所提方法在提升DN韧性同时保护用户隐私方面的可行性，采用了如图2所示的IEEE 33总线电力系统。如图所示，DN包含4个微电网（MGs）、3个微型燃气轮机（MTs）、5条联络线（以紫色虚线表示）以及位于互联线路4–5（MG1至MG2）、11–12（MG2至MG3）、3–23（MG1至MG4）、27–28（MG2至MG4）、8–21（MG2至MG1）、9–15（MG2至MG3）、12–22（MG3至MG1）和18–33（MG3...

结论与未来工作

本研究通过将DN的拓扑重构与策略网络训练过程分离，解决了用户侧隐私保护以及DN拓扑重构导致策略网络训练维度高的问题。相应地，在所提出的DN-自主产消者协同NMG优化调度模型中，配电网络运营商（DNO）在NMG架构下运行，并根据电网拓扑和可控...