一种用于有限信息交换下配电网与微电网协调的多智能体鲁棒深度强化学习方法

《Journal of Modern Power Systems and Clean Energy》:A Multi-Agent Robust Deep Reinforcement Learning Approach for Coordination of Power Distribution Networks and Microgrids with Limited Information Exchange

【字体: 大 中 小 】 时间:2026年02月04日 来源:Journal of Modern Power Systems and Clean Energy 6.2

编辑推荐:

  由于资源丰富且地理分布分散,使集中式计算效率低下,因此配电网(PDN)与微电网(MG)的协调具有挑战性。为解决此问题,研究人员提出了一种具有单一领导者和多个跟随者的协调框架,允许有限信息交换。在该框架中,PDN运营商作为领导者,MG运营商作为跟随者。然而,在M

  
由于资源丰富且地理分布分散,使集中式计算效率低下,因此配电网(PDN)与微电网(MG)的协调具有挑战性。为解决此问题,研究人员提出了一种具有单一领导者和多个跟随者的协调框架,允许有限信息交换。在该框架中,PDN运营商作为领导者,MG运营商作为跟随者。然而,在MG调度区间内负荷和可再生能源的变化可能导致PDN和MG之间电力交易的波动。这种波动会降低MG的净收益并增加PDN的运营成本,这使得考虑最坏情况波动变得至关重要。研究人员引入了一种多智能体鲁棒深度强化学习(MARDRL)方法,用于PDN和MG的协调,考虑了最坏情况场景。在测试系统上的数值结果验证了所提方法在增强PDN和MG协调方面的有效性。
近年来,可再生能源在配电网(PDN)中的占比显著增长,但其固有不确定性和波动性给PDN的规划与运行带来挑战。为缓解这些问题,大量储能系统被部署,导致PDN运营成本升高。此外,可调度设备数量的增加及其频繁调度加剧了PDN运行的计算复杂度。将PDN与微电网(MG)互联,可共享部分可再生能源,减少储能系统需求并降低计算负担。然而,PDN与MG的协调面临两大问题:一是交易功率波动可能引发PDN的稳定性或可靠性问题;二是PDN和MG作为不同实体,具有不同的系统运营商和优化目标,使定价复杂化。现有研究多采用基于模型的方法,但随着系统规模增大,计算资源需求急剧上升,难以满足实时应用。深度强化学习(DRL)虽能处理复杂非线性系统,但在交易定价、调度区间内不确定性处理以及离线训练适应性方面仍存在不足。为此,研究人员提出了一种单领导者多跟随者协调框架,并引入多智能体鲁棒深度强化学习(MARDRL)方法,以实现在有限信息交换下的PDN和MG协调,考虑最坏情况波动,提升系统经济性。该论文发表在《Journal of Modern Power Systems and Clean Energy》。

研究人员开展的研究:提出了一种基于Stackelberg博弈的协调框架,PDN运营商作为领导者发布每小时电价,MG运营商作为跟随者确定每5分钟的交易功率。研究人员构建了PDN和MG的运营模型,并设计了一种逐步最优定价方法,将迭代功率-定价循环嵌入DRL框架。为解决MG调度区间内净负荷不确定性,研究人员将MG能量管理建模为不确定状态下的马尔可夫决策过程(MDP-US),并基于此提出MARDRL方法,采用半集中式训练与分散式执行架构。该方法通过最大化KL散度来识别最坏情况场景,并基于多智能体近端策略优化(MAPPO)算法进行改进,利用预训练权重加速搜索。训练数据来源于包含六个月系统需求、光伏和风电功率的历史数据集(前五个月训练,后一个月测试),测试系统采用IEEE 33节点PDN和四个MG(以及扩展至IEEE 123节点和PNNL 329节点馈线系统)。主要关键技术方法包括:1) Stackelberg博弈框架与逐步最优定价模型,实现有限信息交换下的PDN-MG协调;2) 不确定状态马尔可夫决策过程(MDP-US)建模,通过不确定上下界函数将状态扩展为区间,处理调度区间内负荷和可再生能源波动;3) 基于KL散度和总变差距离(TV距离)的鲁棒策略推导,将最坏情况搜索转化为最大化KL散度;4) 改进的MAPPO算法,采用自动编码器结构的Actor网络,通过解码器反向计算状态,确保在MDP-US下最大化KL散度,并利用预训练权重加速收敛。

**A. 所提算法的经济性能**
通过对比四种基准算法(CS-No Soft、CS-SOC Soft、CS-Action Soft、US-No Soft)在四个MG上的测试,研究人员发现:所提MARDRL算法在MG总收益上最高,相比CS-No Soft、CS-SOC Soft、CS-Action Soft分别平均增长33.41%、16.86%、20.64%。在PDN方面,所提算法通过自适应冗余实现最低总运营成本,相比三种基准算法分别降低2.89%、1.59%、1.89%。具体而言,所提算法在最坏情况下实现了零交易惩罚,并获得了最高交易奖励($128.68),而CS-No Soft的惩罚最高($57.35)。这表明所提算法在增强PDN-MG协调经济性方面显著优于现有方法。

**B. 所提算法的适应性性能**
通过对比部署代理(已完成集中式训练)与非部署代理(未训练)在MDP-US下的表现,研究人员发现:部署代理达到最大奖励99%所需的训练轮数平均减少84.41%,且总收益的平均绝对相对误差百分比仅为0.22%(低于0.5%)。这表明所提算法支持从MDP-CS到MDP-US的适应性部署,仅需分散式训练,避免了重新集中训练,加速了训练过程。

**C. 所提定价模型与TOU、RTP模型的对比**
对比分时电价(TOU)和实时电价(RTP)模型,研究人员发现:所提定价模型与RTP模型在每小时电价上的平均百分比误差均低于2%(MG1:1.18%, MG2:1.21%, MG3:1.36%, MG4:1.32%)。所提定价模型相比RTP模型仅降低1.25%的日净交易收入,但计算时间仅为RTP的约0.01%(RTP计算时间增加7837.14%)。这表明所提模型在经济效益与计算复杂度之间取得了良好平衡。

**D. MG需求水平的影响**
通过将四个MG的负荷分别增加10%,研究人员发现:MG需求增加导致PDN每小时电价上升,且净需求较高的MG(如MG1)电价涨幅更大。此外,靠近高成本分布式电源的MG(MG1和MG4)电价高于其他MG。这验证了所提定价模型能反映PDN网络拥塞和电源成本。

**E. 所提算法与模型优化方法的对比**
对比确定性优化(DO)、随机优化(SO)、鲁棒优化(RO)、分布鲁棒优化(DRO),研究人员发现:所提算法在MG1上实现了最高总收益,且在线运行时平均每5分钟计算时间仅1.01 ms,相比SO、RO、DRO分别降低99.999%、99.997%、99.995%。训练时间比RO降低98.77%。这表明所提算法将不确定性处理转移到离线DRL训练中,大幅提升在线计算效率。

**F. 所提算法的可扩展性**
在IEEE 33节点、修改的IEEE 123节点和PNNL 329节点馈线系统上测试,研究人员发现:MG的平均每5分钟计算时间分别为1.01 ms、1.02 ms、1.04 ms,增长极小(0.69%和3.31%)。这表明MG的计算时间取决于其自身规模而非PDN规模,且Actor网络前向传播主要受中间层大小影响,验证了算法在PDN和MG双重尺度上的可扩展性。

**总结讨论**:研究结果表明,所提MARDRL方法通过考虑最坏情况场景,提升了PDN和MG协调的经济性,并具备适应性和可扩展性。所提定价模型有效平衡了价格响应性与计算复杂度。讨论指出,该协调框架在有限信息交换下(MG发送功率,PDN发送电价)可促进更高可再生能源渗透率场景下的协调,且将定价模型嵌入DRL框架优化了调度决策,凸显了定价策略在实时协调中确保稳定性和效率的关键作用。

**研究结论翻译**:本文提出了一种用于有限信息交换下配电网(PDN)和微电网(MG)协调的MARDRL方法。对比评估表明,所提算法提高了MG运营利润并降低了PDN运营成本,优于现有深度强化学习方法。此外,所提算法通过串行计算支持不同实际场景下的自适应训练部署。所提定价模型通过将MG和PDN之间的迭代功率-定价循环嵌入强化学习框架,有效平衡了价格响应性和计算复杂度。研究结果强调了在为PDN和MG协调实施鲁棒策略以提升系统经济性方面的重要性。所提方法为每个MG提供了一个决策智能体,能够在不确定性下实现最优调度。此外,在有限信息交换(MG发送功率,PDN发送电价)下运行的协调模型,可促进PDN和MG的更紧密协调,特别是在可再生能源渗透率较高的场景中。最后,将定价模型集成到强化学习框架中优化了调度决策,凸显了定价策略在确保PDN和MG实时协调的稳定性和效率方面的关键作用。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号