基于深度强化学习的多能源配电网电压控制方法：考虑注意力机制与价值分解

《International Transactions on Electrical Energy Systems》：Voltage Control Method of Multienergy Distribution Grid Based on Deep Reinforcement Learning Considering Attention and Value Decomposition

电压波动与网络损耗是高渗透率光伏分布式能源网络（MEDN）面临的核心挑战。本文提出Fac-MAAC方法，通过Dec-POMDP模型框架整合交叉注意力机制（CAA）和分因子值网络（FVN），实现多智能体协同优化。方法动态捕获各区域电气耦合关系，采用局部观测信息完成全局电压控制，无需完整功率流模型和跨区域通信。实验表明，Fac-MAAC在IEEE 33/141总线系统上电压偏差（0.0052 p.u.）和电压越限率（0.4864%）显著优于传统MADRL方法，且网络损耗降低32%-53%，计算耗时稳定在毫秒级，验证了该方法在低观测场景下的有效性及可扩展性。

　　在当前的能源转型背景下，多能源配电网（Multienergy Distribution Network, MEDN）正成为电力系统研究的重要方向。随着分布式可再生能源，尤其是光伏发电（Photovoltaic, PV）的广泛应用，MEDN面临着一系列新的挑战，包括电压波动加剧、网络损耗增加以及控制复杂性提升等问题。传统的电压控制方法往往依赖于完整的网络模型和实时通信，这在实际运行中存在诸多限制，如测量设备覆盖范围有限、通信延迟较高以及系统动态性较强等。因此，研究一种适用于低可观测场景下的协同优化方法显得尤为迫切。

本文提出了一种基于多智能体深度强化学习（Multiagent Deep Reinforcement Learning, MADRL）的电压控制方法，即Fac-MAAC方法。该方法旨在解决现有MADRL在电压控制中遇到的信用分配（Credit Assignment）问题和感知能力不足的局限性，通过引入交叉智能体注意力（Cross-Agent Attention, CAA）和因子价值网络（Factored Value Network, FVN）的结合，提升智能体对全局状态的感知能力，并实现对各智能体贡献的准确评估。这种改进方法能够在没有完整网络模型和跨区域通信的情况下，基于局部观测实现全局电压控制，从而在实际应用中具备更高的可行性。

### 多能源配电网电压控制的挑战与现状

在现代配电网中，随着分布式光伏和储能系统的渗透率不断提高，电压调节问题变得尤为复杂。传统的电压控制方法通常依赖于物理模型和精确的网络参数，但这些方法在低可观测性环境下存在显著缺陷。例如，当测量设备无法覆盖所有节点时，系统状态信息不完整，从而影响控制精度和稳定性。此外，由于光伏和储能系统之间存在复杂的耦合关系，如何在局部观测的基础上实现全局协调控制成为一大难题。

另一方面，基于数据驱动的强化学习方法因其无需精确的网络模型、具备快速响应能力等优势，近年来在电压控制领域受到广泛关注。然而，这类方法在处理多智能体协作问题时，仍面临几个关键挑战。首先，智能体之间的信息交互存在延迟，这限制了其在动态环境中的适应性；其次，由于缺乏全局信息，信用分配问题较为严重，导致各智能体难以准确评估其行为对整体系统的影响；最后，传统方法往往依赖于完整的可观测性假设，无法适应部分可观测环境，限制了其在实际中的应用范围。

### Fac-MAAC方法的提出与设计

为了解决上述问题，本文提出了一种新型的多智能体协同控制方法——Fac-MAAC。该方法基于分布式部分可观测马尔可夫决策过程（Decentralized Partially Observable Markov Decision Process, Dec-POMDP）框架，结合了交叉智能体注意力机制和因子价值网络，以提升智能体在部分可观测环境下的感知能力和决策效率。

在模型设计上，Fac-MAAC采用了“集中训练、分布式执行”（Centralized Training with Decentralized Execution, CTDE）的架构。在训练阶段，所有智能体共享全局信息，通过集中式策略网络进行联合优化；而在执行阶段，各智能体仅基于局部观测信息独立做出决策。这种设计不仅降低了通信延迟的影响，还提升了系统的鲁棒性和扩展性。

#### 交叉智能体注意力（CAA）模块

CAA模块的核心思想是，每个智能体在做出决策时，能够动态关注其他智能体的状态和行为，从而更好地理解系统中的电气耦合关系。通过注意力机制，智能体可以识别出哪些其他智能体对其控制策略具有更大的影响，从而在决策过程中更加精准地分配信用。例如，在一个具有多个智能体的系统中，某个智能体的控制行为可能对多个节点产生影响，CAA模块可以帮助其识别这些关键节点，并据此调整控制策略。

#### 因子价值网络（FVN）模块

FVN模块则是为了提高信用分配的准确性而设计的。它通过将全局价值函数分解为各个智能体的局部价值函数，使得每个智能体的贡献可以被独立评估，并且这些局部贡献可以被组合成全局最优策略。这种设计避免了传统方法中因信息不完整而导致的过拟合问题，同时提升了智能体之间的协作能力。例如，在一个部分可观测的系统中，某些节点可能无法被直接观测到，但通过FVN模块，智能体可以基于其他节点的信息进行推理，从而更准确地评估整体系统状态。

### 实验验证与性能对比

为了验证Fac-MAAC方法的有效性，本文在改进后的IEEE 33节点和IEEE 141节点配电网系统上进行了仿真实验。在实验中，系统被划分为多个区域，每个区域内的智能体仅能访问本地观测信息，并且不依赖于跨区域通信。实验结果表明，Fac-MAAC在多个关键指标上均优于现有方法，如电压偏差、电压波动、电压越限率和网络损耗等。

具体而言，在电压偏差指标上，Fac-MAAC相比其他方法（如COMA、MAAC、FPMATD3）表现出更小的偏差，表明其在电压调节方面具有更强的稳定性。在电压波动方面，Fac-MAAC能够有效抑制电压的剧烈变化，从而降低系统运行风险。此外，在电压越限率方面，Fac-MAAC也展现出显著的改进，表明其在保证电压安全方面具备良好的控制能力。网络损耗方面，虽然Fac-MAAC在某些情况下略逊于其他方法，但其在多目标优化中的综合表现优于单一目标优化策略，证明其在多目标协调控制方面具有明显优势。

### 算法的鲁棒性与扩展性

为了进一步验证Fac-MAAC方法的鲁棒性，本文对不同光伏渗透率（Photovoltaic Penetration Rate, PVPR）场景进行了测试。实验结果显示，即使在高渗透率的极端情况下，Fac-MAAC仍能保持良好的电压控制效果，并在不同观测率下展现出较强的适应能力。这表明该方法不仅适用于中等规模的配电网，还能够有效应对大规模系统的挑战。

此外，Fac-MAAC在计算效率方面也表现出色。由于其基于离线训练和在线执行相结合的方式，每个智能体在执行阶段仅需进行快速的神经网络前向计算，从而确保其能够满足实时控制的需求。实验结果表明，Fac-MAAC的执行时间控制在毫秒级别，相较于其他方法具有更高的响应速度，这为未来在大规模配电网中的应用提供了坚实的基础。

### 实际应用中的考量

在实际应用中，Fac-MAAC方法能够有效应对部分可观测环境下的电压控制问题。其核心优势在于：一方面，它能够在缺乏全局信息的情况下，通过局部观测和智能体间的协同策略实现有效的电压调节；另一方面，其基于注意力机制的信用分配方式，使得各智能体能够根据其行为对整体系统的影响进行精确评估，从而避免了传统方法中因信息冗余而导致的控制失效。

此外，Fac-MAAC方法在应对不同类型的分布式能源（如光伏、储能系统）时，也展现出良好的适应性。通过引入不同的智能体类型（如SC和BESS），Fac-MAAC能够实现“快慢”功率的互补控制，从而提升系统的整体运行效率。同时，由于其基于深度强化学习，能够自动学习最优的控制策略，避免了人工设定参数的复杂性，提高了系统的自适应能力。

### 结论与展望

综上所述，Fac-MAAC方法在多能源配电网电压控制中展现出了良好的性能。其基于Dec-POMDP框架的设计，使得智能体能够在部分可观测的环境中实现协同优化；其结合CAA和FVN的模块结构，提升了系统的感知能力和决策效率；其在不同规模和不同渗透率场景下的表现，验证了其良好的扩展性和鲁棒性。

未来的研究方向可能包括：进一步优化智能体间的通信机制，以提升其在复杂网络环境中的适应能力；探索更高效的注意力机制，以提高模型的训练速度和收敛性；研究如何将该方法扩展至更高维度的电力系统，如包含更多类型能源和更大规模的电网。此外，还可以考虑将该方法与现有的能源调度和优化算法相结合，以实现更全面的能源管理策略。这些方向将进一步推动Fac-MAAC方法在实际电力系统中的应用和发展。