DEDSAC：通过双重探索机制实现集中式微电网调度，强化扩散软Actor-Critic算法

《Neural Networks》：DEDSAC: Centralized Microgrid Dispatch via Dual Exploration Mechanism Enhanced Diffusion Soft Actor-Critic

　　

赵翔|张振宇|黄曼秋|曾志刚

摘要

可再生能源技术的快速发展以及微电网的普及，使得微电网集群中的电力优化和调度挑战日益复杂。这些挑战主要源于集群内部单元的异质性和规模差异。为有效解决这些关键优化问题，我们提出了双重探索机制增强型扩散软演员-评论家（DEDSAC）框架，这是一种新型的集中式、基于扩散的软演员-评论家（SAC）算法。该框架具有双重概率探索机制，包括基于扩散的潜在动作生成和概率触发的选择性噪声注入，以及用于演员优化的SAC风格压缩高斯重参数化方法。它通过直接建模多峰联合动作空间，生成全局协调的高质量决策。扩散模型作为强大的策略网络，能够有效探索动作空间。在多种条件下的广泛实验表明，与标准SAC和其他现有基线算法相比，DEDSAC在收敛后能够探索并收敛到更高质量的调度策略。根据最终收敛的评估奖励，在小规模和大规模微电网中，DEDSAC分别比SAC提高了29.5%和13.2%。此外，DEDSAC的性能接近于Oracle模型预测控制（MPC）的上限，最终评估奖励分别为：$-0.79$' role="presentation">$?0.79$ 和 $-10.75$' role="presentation">$?10.75$，而Oracle MPC的奖励分别为：$-0.34$' role="presentation">$?0.34$ 和 $-8.55$' role="presentation">$?8.55$。这些结果证实了DEDSAC在优化大规模微电网电力调度方面的有效性，能够在系统复杂性和运行不确定性不断增加的情况下实现高效和可持续的能源管理。