《RENEWABLE & SUSTAINABLE ENERGY REVIEWS》：Data-driven voltage/Var control of active distribution networks: A comprehensive review of deep reinforcement learning methods
编辑推荐：
电压/无功控制（Voltage/Var Control, VVC）旨在调节母线电压并降低主动配电网（Active Distribution Network, ADN）中的能量损耗。然而，传统的VVC通常基于模型的优化方法实现，这些方法严重依赖精确的系统模型和参
电压/无功控制（Voltage/Var Control, VVC）旨在调节母线电压并降低主动配电网（Active Distribution Network, ADN）中的能量损耗。然而，传统的VVC通常基于模型的优化方法实现，这些方法严重依赖精确的系统模型和参数。为应对基于模型方法的瓶颈和局限性，数据驱动的VVC近年来引起了广泛关注。本文对基于深度强化学习（Deep Reinforcement Learning, DRL）的数据驱动VVC方法进行了全面综述。首先，阐述了VVC的问题描述和数学模型。其次，对各类VVC装置/资源的原理和特性进行了回顾和分类，分为有载分接开关（On-Load PAS）类和潮流类两类。第三，对基于DRL的数据驱动VVC解决方案进行了系统分类和全面评述。此外，讨论了DRL在安全性、性能和鲁棒性提升方面的最新进展。最后，提出了未来研究问题。
本文围绕主动配电网中基于深度强化学习的电压/无功控制展开系统性综述，主体内容涵盖VVC问题建模、调控装置原理、DRL算法应用及最新技术进展四个方面。
**2. 问题描述**
该节首先建立了电压偏差指标（Voltage Deviation Index, VDI）体系以评估VVC性能。最大电压偏差指标（Maximum Voltage Deviation Index, MVDI）定义为各母线电压与额定电压偏差的最大绝对值；平均电压偏差指标（Average Voltage Deviation Index, AVDI）采用各母线电压偏差的均值；负载加权电压偏差指标（Load-Weighted Voltage Deviation Index, LVDI）则通过负荷功率加权反映大负荷母线电压偏差的优先性。在潮流模型方面，针对辐射状配电网介绍了DistFlow方程，包括支路电压降落方程、功率平衡方程以及计及notations负荷与发电的功率注入方程。VVC数学模型以网络有功损耗最小化为目标函数，约束条件涵盖潮流方程、母线电压上下限、有载分接开关（On-Load Tap Changer, OLTC）档位限制以及分布式电源有功/无功出力可行域。针对原始模型的非凸性，讨论了线性化DistFlow模型和二阶锥松弛（Second-Order Cone Programming, SOCP）方法，后者通过引入辅助变量将问题转化为可求解的凸优化问题。此外，还建立了计及三相耦合效应的非平衡多相系统模型。在VVC架构方面，区分了集中式、分布式和去中心化三种基本架构，分析了各自的通信需求和计算特点。在VVC时间尺度方面，针对高渗透率可再生能源（Renewable Energy Source, RES）接入场景，将电压波动分解为慢变分量和快变分量，对应地将VVC分解为小时级的慢时间尺度和分钟/秒级的快时间尺度调度。
**3. VVC装置与资源**
该节将电压调节装置按控制原理分为两大类：有载分接开关类和潮流类。有载分接开关类装置通过改变分接头位置直接调节电压幅值，包括OLTC和步进电压调节器（Step Voltage Regulator, SVR）。OLTC通过测量首推/线路压降补偿器（Line Drop Compensator, LDC）电路控制分接头动作，具有死区和延时设置以防止频繁操作；SVR配合LDC使用，可将系统划分为多个子调节区域。潮流类装置通过调节母线功率注入间接实现电压调节，包括电容器组（Capacitor Bank, CB）、静止无功补偿器（Static Var Compensator, SVC）、静止同步补偿器（Static Synchronous Compensator, STATCOM/SVG）、光伏逆变器（Photovoltaic Inverter, PV Inverter）和储能系统（Energy Storage System, ESS）。CB仅能提供容性无功；SVC和STATCOM响应速度更快、调节范围更宽；PV逆变器通过有功功率削减（Active Power Curtailment, APC）和无功功率支持实现电压调节，其无功出力受视在功率容量和功率因数约束限制；ESS可通过有功和无功功率参与电压调节，但有功功率用于VVC存在成本争议。
**4. 基于深度强化学习的VVC**
**4.1 强化学习预备知识**
强化学习（Reinforcement Learning, RL）通过智能体与环境的交互学习最优策略，将奥特莱斯建模为马尔可夫决策过程（Markov Decision Process, MDP），由状态空间S、动作空间A、状态转移概率P和奖励函数r组成。单智能体MDP中，智能体依据策略π(a|s)执行动作，环境根据转移概率进入新状态并返回奖励，目标为最大化长期累积奖励。多智能体MDP中，N个智能体基于局部观测选择动作，联合动作作用于环境，目标为最大化平均期望回报。价值函数包括状态价值函数V(s)和状态-动作价值函数Q(s,a)，分别评估从状态出发或从状态-动作对出发遵循策略的期望回报。DRL结合深度学习与强化学习，算法可分为三类：基于价值的DRL（如Deep Q-Network, DQN/MADQN，适用于离散动作空间）、基于策略的DRL（如Trust Region Policy Optimization, TRPO和Proximal Policy Optimization, PPO，直接参数化策略）以及演员-评论家（Actor-Critic）DRL（如Deep Deterministic Policy Gradient, DDPG/MADDPG和Soft Actor-Critic, SAC/MASAC，结合策略梯度与价值估计）。按通信结构分类，训练阶段包括集中式学习、分散式学习和分布式学习；执行阶段包括集中式执行和去中心化执行，其中集中式训练去中心化执行（Centralized Training with Decentralized Execution, CTDE）已成为主流范式。
**4.2 控制器参数调整**
该部分聚焦Q-V下垂控制曲线的优化。传统Q-V下垂控制包含死区、线性区和饱和区。单智能体DRL方面，研究人员采用SAC算法优化去除死区的下垂曲线截距参数，采用双延迟DDPG（Twin-Delayed DDPG, TD3）优化微电网中分布式电源的Q-V下垂增益，采用约束A2C方法自适应调整Q-V下垂曲线沁人心魄。多智能体DRL方面，分为设备级和区域级两类：设备级MADRL中，MASAC算法被用于精确调节下垂曲线的斜率和死区上下代理分属不同时标更新输出，但面临可扩展性挑战；区域级MADRL中，MADDPG算法被用于实时优化分区后各子网络下垂曲线截距，采用无死区模型以增强无功支撑能力。
**4.3 最优VVC调度**
多类型设备协调方面，分为多时间尺度和单时间尺度两类。多时间尺度协调包含混合解法和纯数据驱动解法：混合解法中，DQN用于慢时间尺度电容器投切，SOCP求解快时间尺度光伏逆变器无功优化；MADDPG用于OLTC和CB日调度，实时阶段控制光伏逆变器；MAAC算法结合注意力 mechanism 提升采样效率和收敛速度。纯数据驱动解法中，上层代理调度OLTC和CB，下层代理控制光伏逆变器；双层级离线RL算法分别由SAC代理负责不同时间尺度；基于双图神经网络和花体Gumbel-Softmax SAC的框架处理网络重组与VVC协调的高维离散决策空间；双评论家结构分别逼近网络损耗和电压偏差两个异构目标。单时间尺度和多类型设备协调方面，共识多智能体RL通过邻域通信实现价值函数一致；MADQN结合前向后扫法处理非平衡网络中多种设备；MADDPG改进经典自主电压控制框架；MATD3融合注意力机制处理网络分区后的光伏逆变器和SVC调度；DDPG控制单相光伏逆变器、SVC和光伏有功削减。单一类型设备调度方面，纯SADRL研究涵盖DDPG协调光伏逆变器无功出力、安全离策略DRL将VVC建模为受限MDP（Constrained MDP, CMDP）求解分接头位置、批量RL确定最优档位、联合对抗SAC处理模型不匹配、以及计及逆变器退化成本的DDPG方案。MADRL研究包括近似RL决定光伏有功削减、高斯过程代理模型结合MASAC、随机规划增强MADRL鲁棒性、以及异步集中式学习机制结合在线学习和去中心化控制。
**4.4 开源软件平台与库**
为促进算法公平比较，介绍了标准化测试平台和库：PowerGym平台基于OpenAI RL gym API，集成OpenDSS，提供13/34/123/8500节点标准系统；MAPDN平台利用Pandapower构建网络，支持33/141/322节点系统；Grid2Op平台由法国输电网公司开发，用于电力系统序贯决策建模。
**5. DRL方法的最新进展**
**5.1 安全性增强**
针对VVC安全约束的严格满足问题，评述了多种安全增强方法。原始-对偶拉格朗日松弛法将CMDP转化为无约束min-max问题，迭代更新策略和对偶变量。优化式安全层通过后处理机制，利用二次规划或SOCP求解最接近原始动作的安全动作，代表性研究包括基于神经网络的QP安全层和基于DistFlow简化模型的安全投影。迭代式安全模块通过自适应系数逐步修正逆变器无功出力，确保电压安全裕度。人机回环SAC通过设计切换机制，在安全约束满足时采用DRL动作，否则采用基于电压灵敏度的人工引导动作，并将修正后动作存入经验回放池。
**5.2 性能与鲁棒性增强**
针对传感器噪声、通信干扰导致的输入变异和缺失，以及图结构非欧几 Optical 数据的处理问题，综述了图学习增强方法。图卷积网络（Graph Convolution Network, GCN）被嵌入策略网络用于OLTC和CB调度，展现出对缺失/噪声观测的强鲁棒性。另有研究将GCN嵌入评论家网络改善梯度估计，或同时嵌入策略和评论家网络。图注意力网络（Graph Attention Network, GAT）结合深度自编码器提取拓扑特征；GAT与门控循环 uint（Gated Recurrent Unit, GRU）结合用于MASAC，实现实用的分散式训练和执行范式。
