深度强化学习在配电系统运营中的应用：教程与综述

《Proceedings of the IEEE》：Deep Reinforcement Learning for Distribution System Operations: A Tutorial and Survey

针对现代电力分配系统复杂性和不确定性增加的问题，研究提出将深度强化学习（DRL）与马尔可夫决策过程（MDP）结合，构建标准化实验环境，并通过实际案例展示DRL在优化主动配电网络中的应用。

　　

摘要：

现代电力分配系统迅速发展成由相互连接的活跃设备、分布式发电（DG）和储能组成的复杂网络，这给系统运营商带来了日益增加的挑战。分布式能源资源（DERs）的大规模集成以及通过通信网络快速交换测量数据为电网运营带来了重大机遇，但同时也带来了更大的不确定性、更高的数据维度、更复杂的网络和设备模型，以及更具挑战性的控制和优化问题。深度强化学习（DRL）算法在应对这些挑战方面显示出巨大潜力。然而，这些算法尚未有效地应用于电力系统，需要大量的定制才能实现和评估。这导致了可重复性方面的问题，并使得新尝试将DRL算法应用于电力系统的研究人员面临较高的学习曲线。为了弥合这些差距，本教程旨在为有兴趣探索基于学习的算法来运营活跃电力分配网络的研究人员提供有价值的资源。具体而言，本文提出了一种将电力分配系统中的序列决策问题转化为马尔可夫决策过程（MDP）公式化的通用方法，并通过具体的电网服务示例进行了说明。此外，我们还介绍了一种简单的环境设计策略，用于开发和评估适用于电力分配系统的DRL算法，并提供了一个包含代码的存储库，以指导用户构建相关环境。

引言

电网边缘的变革——特别是通过集成DERs和其他可控资产（如电动汽车、具有电网交互功能的节能建筑和储能设备）——已将传统的被动和单向分配系统转变为主动分配网络（ADNs）。这些ADNs作为具有双向电力和信息流动的复杂物理系统运行。可控电网边缘资源的整合，加上来自各种传感器（包括自动电表读取器AMI和光电式电流互感器PMU）的数据流入，为积极管理电网边缘资源开辟了新的途径，有效提升了电网的效率和韧性。这引发了通过协调电网边缘资源来优化ADN运营的日益增长的兴趣。传统解决相关问题的方法主要依赖于最优功率流（OPF）算法[1]、[2]、[3]、[4]。然而，随着电网运营复杂性的增加以及测量和模型不确定性的提高，新的数据驱动和学习型方法[5]、[6]、[7]、[8]、[9]应运而生。