《Sustainable Energy, Grids and Networks》:Resilience Enhancement of Mobile Microgrid: A Reinforcement Learning Based Self-Healing Strategy for Coordinated Restoration and Energy Management
编辑推荐:
摘要故障后恢复对于船舶电力系统(SPS)的韧性保障至关重要,其通过拓扑重构来隔离故障。然而,现有方法难以提供实时解决方案,并且经常忽视故障后能量管理这一关键环节。为提升系统韧性,本文提出了一种基于深度强化学习的运行框架,以协同实时负荷恢复与故障后能量管理。具体而言,本文构建了
摘要
故障后恢复对于船舶电力系统(SPS)的韧性保障至关重要,其通过拓扑重构来隔离故障。然而,现有方法难以提供实时解决方案,并且经常忽视故障后能量管理这一关键环节。为提升系统韧性,本文提出了一种基于深度强化学习的运行框架,以协同实时负荷恢复与故障后能量管理。具体而言,本文构建了优化问题,以显式地处理拓扑重构与能量再分配之间的强耦合关系。在网络重构方面,在推进约束条件下优化开关操作与发电机调度,目标是在最大化总加权恢复负荷的同时最小化网络损耗。此外,能量再分配问题作为动态过程求解,综合考虑海况、重构后的拓扑以及航行约束。进一步地,采用近端策略优化(PPO)算法求解协同优化模型。在交直流混合船舶电力系统上开展案例研究,数值结果表明所提协同优化策略具有优越性,在实现100%负荷覆盖的同时,将运行成本降低了21.1%。
引言
由于发电容量有限且惯量较低,局部连锁故障或错误的人工操作给船舶电力系统(SPS)带来了严峻挑战[1]。为快速隔离故障区域、恢复供电并优化能量分配,有效的故障重构策略对于保障SPS的高可靠性运行不可或缺。
陆地电力系统的故障重构已被广泛研究,旨在最大化恢复负荷[2]、[3],降低功率损耗[4]、[5]、[6]以及运行成本[7]、[8]。然而,以往方法难以直接应用于SPS。与发电和配电解耦的大规模陆地电力系统不同,SPS受紧凑物理空间的限制而运行于高度一体化的实体中[9]。这种架构要求恢复策略具备更优越的实时处理能力。此外,SPS具有独特的运行特性,在不同运行模式下表现为变化的负荷优先级和显著的功率波动[10]。这些运行动态特性,加上较短的线路长度和独特的电压降特征等物理差异[11]、[12],使得传统陆地解析方法难以准确捕捉SPS的动态行为。
现有的故障恢复方法可分为四类:数学规划方法[13]、[14],专家系统方法[15],元启发式方法[16]、[17]、[18]以及基于深度强化学习的方法[19]、[20]。诸如混合整数线性规划等数学规划方法在理论上总能找到最优恢复策略[20]。然而,这些方法存在计算负担过重和资源消耗过高的问题,尤其是在求解复杂模型时。专家系统可以提供快速的决策能力,但在复杂场景中其解质量和鲁棒性往往趋于下降[21]。包括遗传算法、粒子群优化和蚁群算法在内的群体元启发式方法能够高效生成近优解,但这些方法易出现早熟收敛,往往得到的策略既非全局最优也不够可靠[22]。因此,开发一种在复杂故障场景下同时实现计算效率、解最优性和鲁棒性的策略仍然是一项挑战。
SPS故障恢复涉及序贯开关操作优化,适合建模为马尔可夫决策过程(MDP)。深度强化学习(DRL)凭借其无模型和自主学习的能力,在处理此类复杂约束方面展现了巨大潜力。在陆地电力系统中已取得初步成功[23]。例如,动态智能体架构[24]和多阶段强化学习优化框架[25]已被开发用于最大化负荷恢复并最小化运行成本。类似地,软演员-评论家算法[26]也被用于优化序贯开关策略。然而,这些基于陆地的研究无法直接移植到SPS中。这些研究往往忽视了船舶系统的独特特性,例如有很强的动态负荷波动和严格的负荷优先级层次。
为满足这些特定需求,近期研究开始探索DRL在航海领域的应用。文献[27]构建了考虑负荷优先级的SPS模型,并提出了一种带动作掩码的深度Q网络(DQN)。此外,基于逻辑结构的改进RL方法[28]和带噪声的决斗DQN[29]已被引入用于解决直流SPS的恢复问题。尽管现有文献已有效解决了拓扑重构和故障隔离问题,但故障后能量再分配这一关键方面仍未得到充分探索。现有方法通常假设供电充足或静态,忽视了受限的船上发电能力和动态航行条件所要求的网络拓扑与实时能量管理之间的必要协同。
为弥补故障后SPS实时自愈策略的研究空白,本文提出了一种将拓扑重构与能量再分配相结合的新框架。为求解该协同优化问题,采用基于近端策略优化(PPO)的算法,以显式地处理SPS恢复过程中固有的高维状态和离散开关动作。本文的主要贡献总结如下:
- (1)
提出了一种新型运行框架,用于优化SPS故障后自愈过程中的协同拓扑重构与能量再分配。所构建的优化问题由基于PPO算法的DRL策略求解。
- (2)
为克服故障后实时恢复的挑战,为网络重构任务构建了专门的强化学习环境,并引入多目标奖励函数,在最大化加权恢复负荷的同时最小化网络损耗。
- (3)
为解决故障后能量再分配缺失的问题,构建了包含航行环境和运行约束的专门智能体环境,以最小化航行时间并确保推进能量充足。
本文其余部分组织如下。第2节阐述问题并介绍运行框架。第3节建立拓扑重构模型,第4节构建能量再分配问题。第5节开展案例研究,第6节得出结论。
章节摘要
分层自愈策略
如图1所示,SPS的自愈主要包含两个协同部分。第一部分是SPS拓扑恢复,旨在隔离故障区域、重构负荷供电路径,并为非故障区域保持服务连续性。第二部分是SPS能量再分配,即基于恢复后的拓扑和实时海况对所有能量资源进行最优调度。鉴于SPS的特定特性,所提的自愈
实时拓扑恢复策略
基于第2节提出的混合SPS模型,本文开发了拓扑恢复框架。SPS网络拓扑被重塑为有向图 ,其中母线排和断路器分别由顶点V和边表示。本节首先介绍PPO算法,随后给出用于求解拓扑恢复问题的优化模型构建方法。
应急能量再分配策略
本节首先建立了SPS的动态航行环境模型。随后,构建优化模型以求解能量再分配问题。
案例研究
通过各种案例研究来验证所提策略在协同拓扑恢复与能量再分配方面的效率。
结论
传统自愈策略往往未能整合拓扑恢复与能量再分配,尽管这两者之间存在紧密耦合关系。本文开发了一种协同自愈策略,将拓扑恢复与负荷及发电机输出的动态能量再分配进行协调。为缓解负荷动态性,将该问题建模为MDP,其中目标函数定义为在最大化总加权恢复负荷的同时最小化
CRediT作者贡献声明
Miao Zhu:撰写——审阅与编辑,验证,监督,概念构思。Shuli Wen:撰写——审阅与编辑,监督,调查,概念构思。Junwen Guo:撰写——审阅与编辑,验证,调查,资金获取,数据整理。Ruoxing Ding:撰写——原稿,软件,资源,方法学。Zhangchao Lu:撰写——原稿,软件,方法学,形式化分析。
利益冲突声明
作者声明,他们不存在已知的可能影响本文所报告工作的竞争财务利益或个人关系。
致谢
本工作受国家自然科学基金(批准号52177101)资助。
Zhangchao Lu|Shuli Wen|Miao Zhu|Ruoxing Ding|Junwen Guo