《Energy and AI》：Graph neural network-based multi-agent reinforcement learning for active voltage control: Performance and topology robustness
编辑推荐：
电力配电网中高光伏渗透率的主动电压控制需要可扩展的、具备拓扑感知能力的策略，以充分利用电网固有的图结构特性。研究人员提出了一种多智能体强化学习框架，该框架将图神经网络（Graph Neural Network, GNN）架构直接嵌入分布式执行者网络（actor
电力配电网中高光伏渗透率的主动电压控制需要可扩展的、具备拓扑感知能力的策略，以充分利用电网固有的图结构特性。研究人员提出了一种多智能体强化学习框架，该框架将图神经网络（Graph Neural Network, GNN）架构直接嵌入分布式执行者网络（actor networks）中，使每个智能体在推理阶段能够对本地电网拓扑进行推理。在参数预算匹配的条件下，研究人员对比了三种具有代表性的图神经网络家族与传统拓扑不可知基线方法的性能：基于谱方法的图卷积网络（Graph Convolutional Network, GCN）、基于注意力机制的图注意力网络（Graph Attention Network, GAT）以及基于记忆门控的图门控卷积网络（Gated Graph Convolutional Network, GGCN）。在IEEE 33节点、141节点和322节点配电系统上的实验表明，拓扑感知策略在小型网络上与基线性能相当，但在中大型网络上实现了显著提升。具体而言，这些策略在141节点系统上将电压越限降低了约47%，并在322节点系统上实现了3.20%的最低电压失控率。除辐射状网络外，研究人员首次报告了多智能体强化学习在环网（网状）配电网络上的电压控制评估结果，该结果通过重构辐射状馈线获得，发现基于图神经网络的策略在此拓扑修改下仍保持可比较的性能。此外，研究人员的边特征消融实验揭示，显式编码线路阻抗对实现优异的控制性能并非必要，并且该方法在所有网络规模下均比传统基于优化的方法和拓扑不可知方法产生更低的功率损耗。这些结果表明，基于图神经网络的多智能体强化学习是现代电网中分布式电压控制的一种有前景且节能高效的方法。
研究背景
随着低碳能源技术特别是光伏（Photovoltaic, PV）系统的快速发展，电力配电网（Power Distribution Networks, PDNs）中屋顶光伏渗透率在全球范围内急剧增长。德国、澳大利亚、美国和中国的实践表明，高光伏渗透率对微电网稳定性提出了新的挑战，并推动了更高的并网容量需求。然而，光伏出力的广泛接入增加了发电的波动性和间歇性，导致电压波动加剧。结合配电网本身较高的电阻/电感比特性，这些波动对电网可靠性和稳定性构成严重威胁。因此，现代配电网的安全运行需要复杂的主动电压控制（Active Voltage Control, AVC）策略，通过动态响应光伏发电和负荷水平的快速变化，利用光伏逆变器等可控设备实现协调的电压/无功管理。
传统的AVC策略主要分为两类：基于最优潮流（Optimal Power Flow, OPF）的方法和基于下垂控制的方法。OPF方法在系统模型和参数完全已知时可实现接近最优的控制性能，但获取和持续更新详细的系统信息往往昂贵且困难。下垂控制方法通过定义光伏出力与电压之间的分段线性关系来调节本地母线电压，无需全局测量，但其依赖人工调参，且在高光伏渗透率下对参数选择仍较为敏感。随着配电网规模扩大和可再生能源接入增加，这些基于模型的方法难以有效应对环境快速波动。
数据驱动方法为此提供了新途径。神经网络可用于近似OPF解以实现快速设定点预测，但依赖高质量的OPF标签，且在运行条件超出训练分布时性能可能下降。强化学习（Reinforcement Learning, RL）提供了截然不同的范式：深度强化学习（Deep RL, DRL）直接从系统交互中学习控制策略，无需显式模型或标记解。然而，单智能体DRL方法随网络规模扩大而性能退化，且集中式架构存在单点故障风险。
多智能体强化学习（Multi-Agent RL, MARL）通过分布式框架将控制问题分解为多个协作智能体。现有MARL-based AVC研究可分为基于区域的方法和基于PV的方法。基于区域的方法按树形结构将配电网划分为多个区域，每区域配置专用智能体，但在大规模网络中因光伏数量和拓扑异构性而效果下降。基于PV的方法将每个光伏逆变器视为独立智能体，展现出大规模网络电压控制的潜力。尽管近期研究在鲁棒性、物理可行性、设备异构性和稳定性保证等方面取得进展，但尚未有研究将图神经网络结构直接嵌入分布式执行者网络并系统比较其在分布式电压控制任务上的性能。此外，现有研究多集中于辐射状网络，而环网（网状）系统具有更高的可靠性、运行灵活性和分布式电源接入能力，但MARL在环网中的电压控制评估尚属空白。
研究设计与方法
研究人员提出了一种在集中训练分散执行（Centralized Training and Decentralized Execution, CTDE）范式下的拓扑感知MARL框架。该框架将三种现有GNN家族直接嵌入分布式执行者网络：基于谱归一化的GCN、基于学习的GAT和基于门控循环消息的GGCN，并在参数预算匹配的条件下进行系统基准测试。
研究采用MADDPG算法进行训练，以PV逆变器作为智能体，每个智能体根据本地观测（包括本地电压、功率注入和邻近母线的汇总信息）生成连续的无功功率动作。状态空间包含负荷、有功PV出力、无功注入和母线电压；动作空间为逆变器无功出力设定点。奖励函数平衡电压调节与无功功率付出，采用三种电压屏障函数（L1、L2和Bowl型）。为保障安全，框架实施屏障型奖励惩罚、动作截断和不可行状态备用策略。
实验基于IEEE 33节点、141节点和322节点三个测试系统，使用葡萄牙2012至2015年232个用户的实际用电数据构建负荷曲线，光伏数据由辐照度推导。负载曲线经预处理后以3分钟分辨率匹配实时控制周期。为评估环网性能，研究人员通过重新引入可开关线路创建环网变体。评估指标包括可控率（CR）、功率损耗（PL）和电压失控率（VOC）。基准方法包括无拓扑感知能力的RNN策略MARL和传统OPF方法。
研究结果
不同规模辐射状网络性能：在IEEE 33节点小型网络中，GCN-BL取得最佳综合性能（VOC=0.92%，CR=92.65%，PL=0.0509 MW），GAT-BL表现相近，GGCN则未超越基线。在IEEE 141节点中型网络中，GGCN-BL表现最优（VOC=9.53%，CR=82.75%，PL=0.7129 MW），较最佳拓扑不可知方法（RNN-L1）在VOC、CR和PL上分别提升46.58%、21.75%和53.00%，所有GNN策略均一致优于RNN基线。在IEEE 322节点大型网络中，GAT-BL实现最佳性能（VOC=3.20%，CR=76.79%，PL=0.0379 MW），较最佳RNN配置分别改善50.10%、21.33%和23.74%。
环网拓扑鲁棒性：环网实验表明GNN策略对拓扑变化具有显著鲁棒性。GGCN-L2在环网场景中表现最佳（VOC=1.07%，CR=92.88%，PL=0.0668 MW），GAT在各屏障函数下均实现最低电压 violation 和功率损耗。GNN-MARL在辐射状和环网拓扑间保持可比较性能，无显著退化。GGCN的门控机制和信息循环抑制特性，以及GAT的注意力权重学习，使其在环网中表现优异；而GCN的均匀聚合在环网中易产生过度平滑。
边特征影响：通过GAT与GATe（含边特征）的对比发现，仅在IEEE 141网络中GATe略有优势，其余网络标准GAT均优于或等于GATe。这表明节点连接性结构本身足以支持有效电压控制，显式编码阻抗和线路参数并非必要。
与基线比较：与OPF相比，GNN-MARL在33节点和141节点系统上VOC接近优化值，在322节点系统上VOC（3.20%）优于OPF（25.00%）。GNN-MARL在所有测试网络上均实现最低功率损耗。
收敛性与计算分析：GNN策略收敛至更高奖励值但速度稍慢，训练稳定性更优（种子间方差更小）。GNN单步训练耗时为RNN的2.6-6.5倍，但推理延迟保持毫秒级（4.8-5.7 ms），远低于3分钟控制间隔。
缺失节点数据鲁棒性：在IEEE 33节点系统上，当50%节点观测缺失时，GAT策略的CR仅轻微下降而VOC保持低位，RNN基线则快速失控。GNN的消息传递归纳偏置使其能从观测节点重构邻域上下文。
讨论与结论
研究人员分析了GNN策略拓扑鲁棒性的设计原理：排列等变图编码器在不同拓扑间保持关系结构，消息传递机制使智能体沿电气连接路径聚合信息，适度的浅层GNN深度与配电网局部化电气影响相匹配。架构选择应依据网络特性：GCN计算复杂度为O(|E|)，适用于小型网络实时部署；GAT复杂度为O(|E|·H)，适合大型网络；GGCN在中型网络表现最佳但大网络性能下降。
电压屏障函数的选择显著影响学习与泛化，但尚不存在普遍最优的选择方案。实际部署中，GNN策略网络轻量，仅依赖本地区域观测且无全局通信需求；边特征非关键性的发现降低了部署开销；框架的电网无关性使其可适配不同网络。
研究结论指出，该工作填补了MARL文献中两个关键空白：拓扑不可知策略忽视电网固有几何结构，以及缺乏对环网拓扑的评估。研究证实拓扑感知策略随网络规模和结构复杂性增加优势扩大，GAT综合表现最强。GNN-MARL在环网上首次实现与辐射网相当的电压调节性能，在大网络上VOC优于OPF且功率损耗最低。边特征消融表明邻接矩阵足以实现有效控制。推理延迟毫秒级且对缺失数据鲁棒，具备实际应用潜力。未来研究需在1000节点以上网络验证，测试极端拓扑结构，开展硬件在环验证，开发时空图神经网络模型和自适应屏障函数，并追求电压质量、经济性能和系统稳定性的多目标优化。
