《Processes》:Aggregation Optimization of Distribution Feeder Areas Considering Electric-Heating Network Constraints: A Deep Reinforcement Learning Approach
编辑推荐:
随着分布式电-热可调资源越来越多地接入配电网,虚拟电厂(VPP)的调度面临重大挑战。传统的聚合模型通常忽略网络约束,导致运行计划不可行或不安全。针对这一问题,研究人员提出了一种源-网-荷-储聚合优化方法,明确包含了配电网潮流约束和区域供热管网水力-热力耦合约束
随着分布式电-热可调资源越来越多地接入配电网,虚拟电厂(VPP)的调度面临重大挑战。传统的聚合模型通常忽略网络约束,导致运行计划不可行或不安全。针对这一问题,研究人员提出了一种源-网-荷-储聚合优化方法,明确包含了配电网潮流约束和区域供热管网水力-热力耦合约束。网络约束以惩罚项的形式融入优化目标,并将调度问题建模为马尔可夫决策过程(MDP)。采用一种结合双延迟深度确定性策略梯度(TD3)和深度确定性策略梯度(DDPG)算法的深度强化学习框架来解决这一序贯决策问题。仿真结果表明,该方法在保持经济性的同时有效保证了配电网安全性和供热质量,为电-热耦合系统中的VPP提供了可行且安全的调度策略。
以下是对该论文主体部分的解读文章。
**研究背景与问题**
随着“双碳”目标的推进,分布式电-热柔性资源大规模接入配电网,对电网调度构成严峻挑战。传统虚拟电厂(VPP)聚合模型侧重经济优化与市场参与,忽略配电网潮流约束和区域供热管网水力-热力耦合约束,导致调度方案可能不满足电网安全或供热质量要求。现有研究虽在VPP-配网协调框架、电热耦合建模等方面取得进展,但大多采用传统迭代求解器,计算时间长、收敛困难,且难以在线处理高不确定性场景。深度强化学习(DRL)虽能应对不确定性,但训练中易频繁越界(如电压越限、支路功率过载),直接部署困难。为此,研究人员提出了一种在源-网-荷-储聚合优化中显式嵌入电-热网络约束的方法,并引入课程学习机制以提升训练性能与约束满足能力。该研究旨在为电-热耦合VPP提供可行、安全且经济的调度方案,其成果发表在《Processes》。
**主要关键技术方法**
该研究采用以下关键技术方法:
- 基于马尔可夫决策过程(MDP)的调度问题建模,状态空间包含调度时间步、风电出力、电/热负荷、储能荷电状态(SOC)等,动作空间为各分布式资源出力决策变量。
- 深度强化学习算法:使用双延迟深度确定性策略梯度(TD3)和深度确定性策略梯度(DDPG)两种算法求解序贯决策问题,均采用Actor-Critic架构(三层全连接网络256-256-128)。
- 网络约束嵌入方式:将配电网潮流约束(节点电压、支路电流)和区域供热管网水力-热力耦合约束(节点流量平衡、管道压降、温度混合、供热温度下限等)以惩罚项形式加入奖励函数,并通过课程学习机制动态调整惩罚权重。
- 案例仿真所用拓扑:IEEE 33节点配电系统与20节点区域供热管网;样本数据(电价、气价、风电出力、电热负荷、电动汽车充电行为)源自[32](数据来源包括欧洲某风电场、CREST模型、JPL数据集);训练集为365天数据中每月前25天,测试集为剩余65天。
**研究结果**
**6.1 电、热网络拓扑模型建立**
研究人员分别构建了IEEE 33节点配电网(分布式资源分解后接入不同节点,基负荷按标准比例分配,功率因数按设备类型配置)和20节点树状区域供热管网(热源包括CHP、电锅炉、燃气锅炉,供回水温差固定,环境温度15°C,管道摩擦系数与几何参数具体设定)。
**6.2 惩罚参数设定**
各物理单元约束惩罚因子设为80;电网约束中,节点电压与支路功率惩罚因子分别为150和20;热网约束中,管道流量惩罚因子为100,节点温度惩罚因子为10。课程学习参数配置如表4所示。
**6.3 DDPG与TD3结构**
两算法采用相同Actor-Critic架构:Actor网络将19维状态映射为5维动作,Critic网络输入24维状态-动作拼接,输出Q值。超参数包括学习率(Actor 1×10
-3,Critic 1×10
-3)、折扣因子γ=0.99、软更新系数τ=0.001,经验池容量1×10
5;TD3特有参数:延迟更新频率2,目标策略噪声标准差0.2。
**6.4 TD3与DDPG结果对比**
两种算法各独立训练5次取均值。TD3的平均成本比DDPG低约16%,且惩罚值更小。训练曲线显示:初期DDPG收敛稍快,但后期TD3收敛值更优、稳定性更强。TD3的双Critic机制有效降低过估计偏差。单次调度优化计算约1秒,满足实际运行需求。
**6.5 典型日负荷分配**
冬季典型日案例中:主发电单元出力在11:00~13:00达到高峰(对应采暖负荷日峰值),18:00后风电增加,系统可能与上级电网反向送电。储能系统遵循“低谷充电、高峰放电”策略,但TD3控制下SOC波动显著减小,储能牺牲部分经济性以保障节点电压安全。热力调度中,CHP与燃气锅炉承担主要供热,电锅炉在日间高负荷时段仍保持一定出力,其调度受热负荷空间分布、节点供水温度及热网运行约束影响。
**6.6 网络约束验证**
- **节点电压与相位**:节点1保持1 p.u.;负荷高峰期节点18电压最低(冬季白天);节点17在24:00附近电压最高(夜间风电高、负荷低)。
- **支路功率分布**:支路1(与上级电网交互)功率变化与系统净交换一致,冬季正向高峰约11:00,夜间出现反向潮流(集中于支路1~16);下游末端支路仍维持正向潮流。调整线路容量上限从6 MVA至7 MVA后,平均成本与惩罚略有变化,但支路功率趋势一致。
- **热网节点温度**:热源节点温度稳定;中游节点(11~14)温度较低,凌晨节点14最低;下游节点16、17温度基本稳定。整体呈“热源附近稳定、中游衰减、下游保供”的带状分布。
- **热网管道流量**:管道1和中段某些管道流量偶尔低于0.2 kg/s甚至接近零(反映双向传热与逆流);管道18、19始终为正(CHP持续供热);管道2~8始终为负(上游由CHP主导);管道13~17始终为正(下游由辅助热源支持);中间管道(11~13)流向变化或流量较低,体现多源供热边界处的复杂流动特性。
**总结与讨论**
论文针对现有配电台区聚合模型忽略内部电-热网络约束的不足,提出了考虑这些约束的源-网-荷-储聚合优化方法。电网上,分布式资源接入IEEE 33节点系统,储能调度趋于保守,预留容量支撑节点电压,体现经济性与安全性的权衡。热网上,20节点水力-热力耦合模型中温度呈“热源近端稳定、中游衰减、远端保供”的分区特征。电-热约束以惩罚项形式融入优化目标,采用TD3/DDPG结合课程学习求解。结果表明,TD3在约束满足方面优于DDPG。
研究结论翻译如下:
本文针对现有配电台区聚合模型忽视内部电-热网络约束的局限性,提出了一种考虑这些约束的源-网-荷-储聚合优化方法。在电网上,分布式资源集成到IEEE 33节点系统,纳入电压和馈线约束,仿真表明储能调度趋于保守,并非简单跟随电价而是预留容量支撑节点电压,反映经济性与安全性的权衡。在热网上,建立了20节点水力-热力耦合模型,温度呈现“热源附近稳定、中游衰减、远端保供”的带状分布。电-热约束以惩罚项形式融入优化目标,采用TD3/DDPG算法结合课程学习求解,结果表明TD3在约束满足方面优于DDPG。然而,该模型存在局限性:热网模型基于稳态假设,简化了温降过程,忽略了传输延迟和热惯性;此外,单智能体集中式调度面临维度灾难、计算负担重和用户隐私保护不足等问题。未来研究可在多智能体扩展、热动态建模、控制集成及多时间尺度优化等方向进一步深入。