《International Journal of Electrical Power & Energy Systems》：Safe Multi-Agent reinforcement learning with graph neural ODEs for voltage control in Market-Driven distribution networks
编辑推荐：
GODE-MASAC-CBF将CMDP（约束马尔可夫决策过程）风险控制与CBF（控制障碍函数）动作投影相结合。AE-GraphODE（自编码器-图神经常微分方程）从有限量测中捕获拓扑感知的节点动态。一个灵敏度预测头向CBF提供状态依赖的电压-动作灵敏度。在IE
GODE-MASAC-CBF将CMDP（约束马尔可夫决策过程）风险控制与CBF（控制障碍函数）动作投影相结合。AE-GraphODE（自编码器-图神经常微分方程）从有限量测中捕获拓扑感知的节点动态。一个灵敏度预测头向CBF提供状态依赖的电压-动作灵敏度。在IEEE 33节点和141节点系统上的测试验证了鲁棒性和可扩展性。
**论文解读：面向市场化配电网的基于图神经ODE的安全多智能体强化学习电压控制**
**研究背景与问题**
在市场化配电网中，产消者、聚合商和虚拟电厂的参与日益增加，使得分布式能源资源（DER）的响应更加活跃且时间集中，光伏（PV）出力波动、电动汽车（EV）充放电和需求响应动作可能在分钟级时间窗口内并发。这些功率波动通过线路阻抗在节点间传播，形成快速、强耦合的扰动，对配电网节点电压产生显著影响。固定的量测周期、通信延迟和传感器噪声进一步限制了控制系统获取完整、及时的系统状态信息，从而制约了实时电压调节能力。现有电压控制方法包括：（1）基于规则的曲线控制，部署简单但对异构资源和快速变化工况适应性有限；（2）集中式优化方法，依赖精确网络模型和全局通信，在运行不确定性增加时对模型失配和状态估计误差敏感；（3）分布式模型预测控制（MPC）和最优潮流（OPF）框架，降低了通信需求，但仍依赖可靠系统模型和精确局部状态，在快速功率波动与不完全量测共存时实时调节能力受限。深度强化学习（DRL）作为数据驱动方案，可直接从交互数据学习控制策略，但现有方法未显式建模网络拓扑约束下节点状态的连续演化，限制了其在市场驱动功率波动和有限量测下的表征能力。安全导向的DRL研究引入了约束马尔可夫决策过程（CMDP）等机制，但软约束方法只能约束期望累积成本，无法保证单步执行动作的可行性，在严重运行工况下仍存在电压越限风险。因此，研究人员提出了一种面向聚合商级实时电压控制的多智能体安全强化学习框架，旨在有限量测和快速功率波动下提高鲁棒性，论文发表在《International Journal of Electrical Power》。
**主要关键技术方法**（不超过250字）
研究人员提出的GODE-MASAC-CBF框架包含以下关键模块：（1）双层的CMDP-CBF安全框架：CMDP组件通过拉格朗日松弛在策略层面施加长期成本预算；CBF组件通过二次规划将名义动作投影到线性化可行集，强化单步可行性。（2）AE-GraphODE特征增强模块：节点自编码器（AE）将局部量测映射到低维隐空间；图神经常微分方程（GraphODE）将网络拓扑嵌入隐状态演化方程，生成拓扑结构化的连续节点表示。（3）灵敏度预测头：基于GraphODE节点隐状态，通过轻量MLP预测状态依赖的电压-动作灵敏度矩阵，用于CBF投影。数据来源为葡萄牙电力负荷记录（2012–2014）和比利时电网运营商Elia的PV出力数据，重采样至3分钟分辨率，前70%训练、后30%测试，在IEEE 33节点和141节点系统上验证。
**研究结果**
（1）**总体性能与基线对比**（5.2节）：在IEEE 33节点系统名义测试中，研究人员通过训练过程图（Fig. 3）显示，累积奖励从约-20上升至-5，经验安全成本收敛至接近零，CBF层仅在前15万步内应用12次动作修正，表明策略收敛后干预极少。典型低电压场景（Fig. 4）中，无控制时末端节点电压越限严重，所提方法将最小节点电压提升至0.95 p.u.以上，越限时步从123降为零。与MASAC、MG-ASTGCN、RASAC对比（Fig. 5–7，Table 3），所提方法实现零电压越限，匹配OPF基准，且累积电压偏差（119.59 p.u.）低于所有RL基线，网损（37.8 kW）接近最优方法。
（2）**消融研究**（5.3节）：对比CMDP-MASAC、AE-CMDP-MASAC、GraphODE-CMDP-MASAC等变体（Fig. 8，Table 4），仅CMDP-MASAC存在少量越限（0.04次），加入AE或GraphODE后消除越限；所提方法（增加CBF投影）在保持零越限的同时获得最高奖励和最低网损，表明CMDP、拓扑感知编码和CBF动作校正提供互补优势。
（3）**时序编码器对比**（5.4节）：将GraphODE与LSTM、GRU、TCN在同一CMDP-MASAC框架下比较（Table 5，Fig. 9），GraphODE在控制性能相近的前提下，潜状态组织表现出最强的运行工况结构对齐：PC1方差解释率81.9%、PC1与总负荷相关系数0.9737、t-SNE中kNN R
2为0.9692、邻域方差0.0065（较TCN降低82.8%），表明拓扑感知连续状态建模有助于生成更一致的工况表征。
（4）**鲁棒性分析**（5.5节）：
- 量测噪声（5.5.1节）：在σ=0.01、0.03、0.05三种噪声水平下（Table 6），所提方法始终保持零电压越限，最小节点电压不低于0.9610 p.u.，奖励、网损和电压偏差均为RL方法最优，而MG-ASTGCN和RASAC的越限次数随噪声增加。
- 快速功率波动（5.5.2节）：在随机扰动和EV渗透率10%~30%场景下（Table 7），所提方法在随机扰动下越限次数为3.20，较MASAC减少97.6%；在30% EV渗透率下，越限次数减少72.0%–69.8%，但无法完全消除越限，最小节点电压降至0.9400 p.u.，表明严重EV充电压力下仅靠无功控制不足。
- 拓扑变化（5.5.3节）：在五种联络开关操作场景下（Table 8），所提方法在所有情况下实现零电压越限，最小节点电压维持在0.9638–0.9649 p.u.，累积电压偏差最低，而MASAC出现84–107次越限，MG-ASTGCN和RASAC仍有1–4次越限，表明GraphODE可从变化后量测历史更新节点表示，灵敏度预测头提供适应性的CBF投影，无需重新训练。
（5）**可扩展性分析**（5.6节）：在IEEE 141节点系统上（Table 9，Fig. 10–12），所提方法保持零电压越限，累积电压偏差（567.28 p.u.）较MG-ASTGCN低7.7%，网损（95.43 kW）低10.6%，表明框架在更大规模配电网中仍有效。
**总结与讨论**
论文6节结论部分总结：研究人员提出了GODE-MASAC-CBF，用于市场化配电网聚合商级电压控制的多智能体安全强化学习框架。该框架结合拓扑感知时间状态表示与双层安全约束：CMDP-SAC在策略优化中降低长期电压越限风险；CBF投影层过滤名义动作以提高单步可行性；AE-GraphODE编码器增强有限量测下的状态感知；灵敏度预测头在执行阶段为CBF投影提供自适应电压-动作灵敏度估计。在IEEE 33节点系统上的仿真显示稳定训练和强电压安全性能，在名义测试、量测噪声和拓扑变化场景中消除电压越限，并保持低于竞争RL方法的累积电压偏差。在随机源荷功率波动下，电压越限较MASAC、MG-ASTGCN和RASAC减少90%以上。在IEEE 141节点系统上，保持零电压越限，累积电压偏差和网损分别较MG-ASTGCN降低7.7%和10.6%。结果支持所提状态表示和安全控制机制的有效性与可扩展性。同时指出，在严重EV充电渗透下，所提方法虽大幅减少电压越限但无法完全消除，表明仅靠无功控制可能不足。未来工作将考虑主动功率削减、储能、不确定性感知备用容量以及针对快速变化工况的在线灵敏度校准。
