基于多任务深度强化学习的孤岛微电网储能容量配置与调度优化

《Journal of Energy Storage》:Optimization of energy storage sizing and scheduling for island microgrids based on multi-task deep reinforcement learning

【字体: 大 中 小 】 时间:2026年08月30日 来源:Journal of Energy Storage 10.7

编辑推荐:

   摘要 海岛微电网面临燃料运输成本高和供电可靠性要求严苛的双重挑战。传统的解耦优化方法难以在多种运行场景下兼顾经济性和可靠性。针对该问题,本文提出了一种基于多任务深度强化学习(MT-DRL)的容量配置与运行调度协同优化方法。首先,采用融合动态时间规整(DTW)与层次密度聚类(

  

摘要

海岛微电网面临燃料运输成本高和供电可靠性要求严苛的双重挑战。传统的解耦优化方法难以在多种运行场景下兼顾经济性和可靠性。针对该问题,本文提出了一种基于多任务深度强化学习(MT-DRL)的容量配置与运行调度协同优化方法。首先,采用融合动态时间规整(DTW)与层次密度聚类(HDBSCAN)的时间序列聚类方法提取典型运行场景并构建任务集合。然后,建立规划-运行双层嵌套模型:外层强化学习智能体确定容量配置方案,其奖励函数由嵌入式动态经济调度模型的运行评估结果动态获取。最后,利用条件软演员-评论家(CSAC)算法,将决策权重作为网络输入,高效学习并生成近似帕累托前沿。仿真结果表明,所提方法能够有效协调长期规划与短期运行,提升微电网的经济性和可再生能源渗透率,同时保持高供电可靠性。

引言

全球碳中和目标的推进以及海岛地区能源供应的脆弱性[1][2],加速了以风电和光伏为主的可再生能源系统的部署[3][4]。作为促进可再生能源本地消纳、提升供电可靠性的关键技术,海岛微电网为解决孤立岛屿面临的能源供应挑战提供了有效方案[5][6]。由于其战略重要性和复杂的运行环境,海岛微电网已成为评估现代能源系统韧性与自主性的重要研究范式[7][8][9]。其面临的核心挑战主要体现在以下两方面:

- 能源补充的"经济-安全-低碳"三难困境。岛屿远离大陆,往往依赖长距离、高成本且易受扰动的化石燃料供应链,极易受到极端天气、海上运输限制或地缘政治因素的干扰。这种依赖不仅推高了燃料采购与运输成本[10],还导致额外的碳排放,使得传统能源供应模式在经济和环境上均不可持续。因此,通过本地化开发利用风光资源提高能源自给能力,对于海岛微电网的发展具有至关重要的意义。

- 极高的供电可靠性要求。与常规电力用户不同,岛屿通常承担国防、科研、通信和海事支援等重要功能,凸显了电力系统的基础性作用。此类场景下的停电可能带来远超经济损失的后果,包括通信中断、任务失败及其他重大安全风险。因此,海岛微电网必须将供电可靠性作为首要运行目标[11]。

为满足供电可靠性与经济性双重要求,海岛微电网的核心任务是:在多维约束下协同优化容量配置与运行调度。该任务可构建为多目标决策问题:在规划层面,如何通过各种约束条件下的异构发电与储能单元最优配置来增强系统鲁棒性;在运行层面,如何设计高级调度策略,在保证供电可靠的前提下平衡经济成本与环境效益。

微电网的长期规划在源荷两侧均面临显著的时序不确定性。直接利用全年或多年的时间序列数据进行仿真与优化将显著增加模型规模和计算负担。因此,通过聚类算法从历史风电、光伏出力及负荷时序数据中提取典型运行场景,可以在降低数据维度的同时保留源荷时序特征,是提升微电网规划计算效率和场景代表性的重要手段[12]。

然而,现有场景生成方法仍存在两个普遍性局限。第一,传统聚类方法对时序动态模式的感知能力有限,通常使用欧氏距离度量样本相似度[13]。对于光伏出力与负荷需求等源荷时序数据,传统欧氏距离主要基于对应时刻的数值差异进行逐点对比,难以刻画曲线形态变化、局部爬坡特征以及由天气过程或负荷响应延迟引起的时序偏移,从而可能削弱对源荷时序耦合与联合波动特征的表征[14]。第二,K-means[15]和模糊C均值(FCM)[16]等方法通常依赖人工预设的固定聚类数,这不仅引入了主观性,而且难以自适应识别历史数据中的边缘样本和异常噪声点,从而影响典型场景的代表性。

这些局限性意味着基于典型日构建的规划输入可能无法充分反映源荷波动的真实模式及极端运行工况的特征,进而影响后续容量配置与运行调度决策的鲁棒性。因此,克服传统欧氏距离度量和预设聚类数的双重局限十分必要。引入能够刻画时序形状相似度的动态距离度量,并结合能够自适应识别聚类结构并剔除噪声样本的聚类方法,是提升微电网容量配置规划对全周期波动运行工况适应性的关键前提。

容量配置规划决定了海岛微电网的长期性能边界与初始投资成本,而运行调度与能量管理则直接影响给定配置方案在复杂工况下的实际性能表现。文献[17]从分布式能量管理的角度指出,微电网运行优化需要在信息交互、运行约束与优化收敛之间进行协调。然而,传统的容量配置评估范式,如基于商业软件[18]、智能优化方法[19]或多目标优化方法[20]的方法,往往在优化过程中依赖固定且预设的运行规则。此类刚性调度策略缺乏根据设备实时成本与储能状态进行动态经济优化的能力。底层调度策略的灵活性不足压缩了系统的可调运行空间,使得上层规划模型难以准确刻画配置方案的实际性能边界,导致配置方案在复杂工况下可能偏离高质量折中解。

为突破这一解耦壁垒,容量配置与运行调度的协同优化已成为研究前沿。部分研究已验证了在不确定场景[21]和多市场环境[22]下,配置-调度协同对提升系统经济性与运行适应性的重要价值。然而,大多数现有协同框架将调度模型作为配置方案评估过程中的内层约束,仍呈现"外层配置、内层调度"的单向嵌套结构。虽然此类方法在一定程度上能够反映运行约束对配置的影响,但调度结果通常仅用于计算给定配置方案的运行成本或可行性,尚未被充分转化为可被外层规划策略持续利用的反馈信息。因此,长期容量配置规划难以全面感知短期调度中的动态信息,如储能状态演化、风光弃电、负荷切量及设备运行边界等,这进一步限制了长期容量配置规划与短期经济调度之间的深度耦合。

近年来,无模型强化学习因其不依赖精确解析模型、可通过与环境交互逼近复杂动态决策边界,成为微电网控制与能量管理中重要的智能优化范式[23]。文献[24]表明深度强化学习可应用于考虑非线性电池退化的微电网能量管理,在处理储能动态与复杂运行约束方面表现出良好的适应性。因此,如何将强化学习的动态决策能力引入容量配置规划过程,使配置方案生成能够基于短期调度评估结果进行迭代优化,并建立长期投资与短期运行之间的闭环协同,仍是该领域亟待解决的关键挑战。

在建立高代表性多任务运行场景并构建配置与调度闭环协同架构之后,海岛微电网规划的重点在于求解复杂模型并平衡多维目标。在实际工程中,初始投资成本、运行经济性、供电可靠性与可再生能源消纳往往相互制约。早期规划范式多聚焦于单一经济目标[25],或将可靠性简化为刚性物理约束[26],难以揭示投资成本、运行风险与清洁能源供应之间的帕累托权衡关系。为克服单目标优化的局限,部分近期研究将多目标信息引入协同规划框架。例如,文献[27]提出了一种独立风-光-柴-储微电网的鲁棒规划方法,将混合整数多目标典型日选择模型与双层容量配置-运行调度框架相结合,通过两阶段模糊规划方法,兼顾典型日代表性、极端场景信息、规划与运行成本、可靠性/鲁棒性以及多设备协同运行,获得折中解。文献[28]采用多目标随机-鲁棒混合优化模型来平衡系统经济性与鲁棒性。然而,此类传统多目标协同优化方法通常依赖基于分解或迭代的求解流程,往往只能获得单一折中解,或需要在不同权重与约束边界下反复求解以逐点描绘帕累托最优前沿。在海岛微电网长期、多场景、高维约束条件下,若每个候选配置方案都必须嵌入运行调度反馈,则目标评估成本将进一步增加,使得在复杂源荷场景下难以快速获得足够全面的权衡视图。

为提高多目标决策效率,现有研究已尝试用策略学习方法替代传统迭代搜索。文献[29]提出了一种结合DDPG与精英学习技术的多目标优化框架,用于海岛微电网的功率调度问题,实现了经济成本、频率稳定性与电压稳定性之间的折中。然而,此类方法多面向给定权重或离散偏好下的策略优化,当决策偏好连续变化时,难以在单次训练后直接生成足够全面的权衡前沿。因此,在复杂的配置-调度协同架构中,既要克服传统多目标算法因反复迭代造成的计算瓶颈,又要突破现有策略学习方法在偏好连续变化条件下的泛化局限。构建能够端到端地将决策偏好映射为配置方案的多目标决策机制,是提升海岛微电网规划实用价值的关键。

针对现有微电网规划方法的共性瓶颈——源荷时序特征失真、配置与调度解耦壁垒以及多目标迭代求解效率低——本文提出了一种基于多任务深度强化学习(MT-DRL)的海岛微电网配置与调度闭环协同框架。本文的主要贡献如下:

(1)提出了一种基于DTW-HDBSCAN的多任务场景生成方法。该方法克服了传统场景生成中静态距离度量和预设固定聚类数的双重局限。利用动态时间规整(DTW)消除相似度度量中非线性时间轴形变的干扰,同时借助HDBSCAN的层次密度聚类机制实现典型日场景的自适应提取与边缘噪声剔除。该方法精准保留了风电、光伏出力与负荷需求之间的日内物理时序耦合特征,为海岛微电网的多任务容量配置规划提供了高质量的代表性环境集。

(2)提出了一种配置与调度闭环协同优化框架。将深度强化学习智能体置于外层规划位置,并将动态经济调度模型深度嵌入其奖励函数。通过这种方式,底层调度过程从被动的内层校验阶段转变为外层容量决策优化的运行反馈信息,从而实现长期规划与短期运行之间的深度闭环协同。该架构打破了传统规划对固定预设调度策略的依赖,充分释放了底层系统调度的灵活性与适应性,从而更准确地刻画系统在复杂工况下的实际性能边界,为海岛微电网提供更具经济性与鲁棒性的配置方案。

(3)建立了一种基于条件状态的端到端多目标决策机制。

本文提出了条件软演员-评论家(CSAC)算法,该算法将多维决策偏好权重显式地作为条件状态输入网络。这一机制克服了传统多目标算法中因重复迭代导致的计算瓶颈,以及现有策略学习方法在偏好持续变化时的泛化局限性。仅需一次完整训练过程,即可高效实现从连续决策偏好到容量配置方案之间的端到端映射,并生成足够全面的近似帕累托前沿,为孤岛微电网的容量配置规划提供完整的决策视角。本文其余部分的组织结构如下:第2节聚焦于孤岛微电网中储能容量配置与运行调度的协同优化问题,构建典型场景、优化模型与求解框架,为后续的案例验证提供方法论基础。第3节基于某实际孤岛微电网数据进行仿真分析,依次验证典型场景对源荷时变特征的代表性、所提算法的求解性能,以及优化结果在经济性、可靠性、可再生能源利用率和极端运行工况适应性方面的有效性。第4节基于上述建模与仿真分析总结本文主要结论,并展望未来研究方向。

### 孤岛微电网拓扑

图1展示了孤岛微电网的拓扑结构,其主要组成部分包括光伏(PV)发电单元、风力发电单元、电池储能系统(BESS)、变流器、柴油发电机、燃气发电机和交流负荷。燃气发电机和柴油发电机作为可控常规电源,提供基荷支撑和必要的备用容量。风力发电单元、光伏单元和BESS通过各自的变流器连接到直流母线,其中

### 方法验证

为验证本文提出的基于多任务深度强化学习的孤岛微电网容量配置与运行调度协同优化策略的有效性,本节以中国浙江省某孤岛微电网为例开展案例研究。案例研究中使用的成本参数列于表1,这些参数基于工程报价、当地燃料价格、发电机运行数据以及项目特定数据确定。

### 结论

针对孤岛微电网中经济效率与可靠性的双重挑战,本文提出了一种基于多任务深度强化学习的容量配置与运行调度协同优化方法。通过构建"规划-运行"双层模型,该方法实现了长期规划与短期运行之间的深度耦合与联合优化。基于实际孤岛数据的仿真结果证明了该方法的

### CRediT作者贡献声明

杨习进:撰写——初稿,软件,调查研究,数据整理,概念构思。卢琴芬:撰写——审阅与编辑,指导,方法论。

### 利益冲突声明

作者声明,他们不存在可能影响本文所述工作的已知竞争性财务利益或个人关系。

杨习进 | 卢琴芬
浙江大学电气工程学院,中国杭州,310027
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号