Koopman 学习增强的软值迭代用于氢能赋能能源枢纽的最优跨载体调度
《Energy》:Koopman Learning–Enhanced Soft Value Iteration for Optimal Cross-Carrier Dispatch in Hydrogen-Enabled Energy Hubs
【字体:
大
中
小
】
时间:2026年09月21日
来源:Energy 10.1
编辑推荐:
• 提出了一种基于K-SVI的多载体调度器,用于高度耦合的综合能源系统。
• 对异构能源资源进行详细建模,捕捉多载体耦合效应。
• 基于MDP-Koopman的能源管理框架能够适应可再生能源的不确定性和耦合变化。
• 多能源网络的协调优化增强了电力、供热、供冷和氢能系统之间的
• 提出了一种基于K-SVI的多载体调度器,用于高度耦合的综合能源系统。
• 对异构能源资源进行详细建模,捕捉多载体耦合效应。
• 基于MDP-Koopman的能源管理框架能够适应可再生能源的不确定性和耦合变化。
• 多能源网络的协调优化增强了电力、供热、供冷和氢能系统之间的协同效应。
引言
当代能源系统的快速转型源于日益增长的电力需求、大规模城市扩张以及全球低碳发展趋势[1]、[2]、[3]、[4]。传统的单一载体能源供应系统——其电力、供热、供冷和燃料网络各自独立运行——已无法满足当前和未来的系统需求[5]、[6]、[7]、[8]、[9]。这种破碎的架构限制了协调调度、资源效率和载体独立性的可能性。与此同时,太阳能光伏(PV)板和风力涡轮机等可再生能源的大量并入,由于严重依赖天气条件,导致波动性和间歇性显著加剧[10]、[11]。这些变化使实时调度变得困难,增加了平衡成本,若管理不当还可能导致可再生能源被弃用。此外,电动化终端用能部门(如交通和建筑供暖)的快速增长,增加了不同能源载体之间的相互依赖性,提升了协调运行规划的重要性[12]。在这方面,能够处理多能源交互的先进能源管理系统对于提高效率、实现系统稳定性以及长期环境可持续性至关重要[13]、[14]、[15]、[16]。
综合能源系统(IES)为整合电力、供热、供冷和氢能等多种能源载体提供了一种有前景的方案,在这些系统中,各载体在统一的运营系统内相互连接。这种协调使得无需集中控制即可更有效地利用资源,并提高了整体系统灵活性[17]、[18]。IES通过在多种方式上实现子系统之间的资源共享,降低了可再生能源的弃用率(例如通过多载体耦合转换,如热电联产(CHP)、热力驱动制冷、电制氢等),同时通过减少对上游客力的依赖来提高本地自给率[19]、[20]、[21]。这些互补性在高比例可变可再生能源发电地区尤为有用,因为光伏和/或风能在时间尺度上的波动可能导致供需之间出现较大偏差[22]。尽管取得了一些显著进展,但大多数研究仅关注电热协同,而氢能和供冷子系统——这对长期稳定低碳未来至关重要——仍未得到充分探索[23]。与氢相关的组件,如电动制冷设备的功耗和氢储能系统(HSS)[24]、[25],在这种认知下在决策模型中往往被简化或省略;然而,氢是一种多功能能源载体,可以实现长期储能并推动燃料电池出行和工业能源供应等新兴应用[26]。类似地,随着全球能源消耗中制冷需求比例的快速增加(城市化和气候变化),大多数IES模型中缺乏对供冷的考虑,通常将其作为静态负荷而非可灵活操作的动态载体[27]。此外,许多IES调度和运行方法基于确定性优化解决方案,假设对未来可再生能源发电和多能源需求场景有准确的了解。然而,由于太阳辐射、风速和消费行为的随机性以及交通运输和工业部门氢能消费趋势的影响,实际中供给端和需求端的信号存在很大不确定性[28]。这些不确定性若未得到妥善处理,将导致调度决策效率降低、运行成本增加,并使系统可靠性下降。在紧急情况下,例如在不确定性条件下协调电力、供热、供冷和氢能载体的运行问题已被提出[29],研究表明存在高维度解空间随时间序列耦合复杂化、能量间转换呈非线性发生关系等问题,多载体协调运行可以在计算可行且运行可行的情况下充分应对不确定性,但仍迫切需要为此目的专门设计的先进决策算法[30]。
氢生产和储能技术在IES配置中的实施因其加强运行灵活性和长期能源安全的特殊潜力而受到越来越多的关注[31]。通过电解将过剩的可再生能源发电转化为氢气,原本将被弃用的多余能量可以在更长的时间内储存。这为能源的跨时间平衡以及电力、供热、出行和工业之间的部门耦合提供了可能[32]。通过氢储能系统(HSS)的使用进一步促进了这一功能,其中储存的氢气可以在需求高峰或可再生能源发电低时使用,缓解上游客力的压力并提高本地韧性[33]。同时,电化学储能(EES)系统(通常基于电池)可以为快速变化的可再生能源发电提供短期平衡服务,帮助平滑日内电力不平衡[34]、[35]。结合可调供热单元(如热电联产(CHP)系统和燃气锅炉)等多元能源资产,可以灵活地在电力、热力(供热或供冷)和氢能载体之间进行转换[36]。CHP系统能够同时发电和产生有用热量,废热还可用于吸收式制冷机以提供制冷,从而提高整体系统效率[37]。类似地,电动制冷机使用电力产生制冷,可以在高峰需求时段提供更灵活的调度,并为削峰应用做出贡献。综合能源系统[38]可用于提高可再生能源利用率、减少温室气体(GHG)排放以及通过多载体能源资源的整合转换路径最小化运行成本。
氢和多形态储能技术的使用确实增加了运行复杂性,因为氢生产依赖于电力价格信号以及可再生能源的可用性。此外,储能单元需要根据容量限制、动态效率和退化特性进行调度[39]。短期电力储能(ST-ESS)用于短期运行和长期氢储能(LT-H?S)用于长期能源存储的协同控制使问题成为多时间尺度决策问题,需要在能量传输之间进行局部耦合的时间调度。这些挑战表明,需要精密的协调方案来考虑:非线性转换过程、强时间跨度和跨载体关系、可再生能源可用性和电力需求演化的不确定性[40]。
强化学习(RL)近年来被认为是多载体能源系统能源管理优化的潜在技术,因为与可再生能源发电、动态电价和氢能需求概率相关的不确定性导致传统确定性技术产生的结果不够有效且处于次优状态[41]。RL方法使智能体能够通过与环境的直接交互来学习业务规则,并持续适应系统动态变化。多种代表性RL类别已被广泛应用于能源调度:Q-Learning(QL)[42]是一种简单的基于价值的模型,可能无需依赖系统模型的具体细节即可学习最优策略;然而,它难以应对高维状态空间。状态-动作-奖励-状态-动作(SARSA)[43]是一种同策略方法,它根据智能体的实际动作进行更安全的探索,但可能收敛较慢。深度强化学习(DRL)[44]技术如DQN和策略梯度神经网络能够很好地扩展到具有非线性动态的高维状态空间,但可能不稳定且需要大量数据集。演员-评论家(Actor-Critic)方法[45]是稳定的学习者,结合了基于价值和基于策略的更新,但由于其多网络结构,计算复杂度较高。基于模型的RL通过引入近似系统动力学来提高样本效率;但构建精确的动态模型是一个挑战,且很大程度上依赖于建模假设。本文考虑基于Koopman的强化学习(Koopman-RL)方法[46]。Koopman方法[47]将非线性能源系统动力学提升到更高维度的线性算子空间,从而允许用线性模型近似系统演化。这大大减少了对大规模采样和深度神经网络的依赖,同时提高了训练的稳定性和可解释性。通过对非线性系统进行线性近似,Koopman-RL表现出快速收敛,在运行变化下具有更好的样本效率和鲁棒性。这些优势使基于Koopman的RL非常适合多载体调度,因为它可以在电力、热力、供冷网络以及氢能网络中提供耦合动态的准确预测,同时在不确定需求剖面下实现经济最优的决策[48]。
总体而言,多载体IES中各种单元和资源之间存在高度依赖和耦合关系,这使得此类系统的调度成为一个极具挑战性的任务。因此,本研究旨在通过开发基于Koopman的软值迭代(K-SVI)框架来解决IES的调度问题。贡献如下:
i)开发了一种基于K-SVI算法的新型多载体调度器,用于解决具有高度耦合发电组件的多载体IES调度问题。
ii)对各种能源资源(包括CHP、燃气锅炉、电解槽、氢能单元、供冷系统和可再生能源)进行了全面的描述和建模。在该框架中,对多载体系统间的耦合关系进行了公式化描述以解决调度问题。
iii)为了解决能源管理系统问题,提供了马尔可夫决策过程(MDP)与Koopman算子理论相结合的方案。Koopman智能体可以在不同水平的不确定可再生能源发电和多变体耦合变化下动态适应运行状况。
iv)通过协调优化各种资源(如CHP、氢能单元、可再生能源等),K-SVI技术改善了电力、热力、供冷和氢能网络之间的协同效应。
表1列出了所提出的框架与现有方法的综合比较。
系统架构与数学建模
图1展示了能源系统的结构以及各IES及其相应组件。如图所示,每个对等节点可包括光伏板、风力涡轮机(WT)、热电联产(CHP)、燃气锅炉(GB)、电动制冷机(EC)和吸收式制冷机(AC)、电解槽(EL)和氢储能(HSS)、电能储能(EES)。
MDP与贝尔曼方程
使用无限时域马尔可夫决策过程(MDP)来表示能源管理智能体的决策环境。在每个时间步,智能体观察系统状态并根据控制策略选择动作,该策略指定了在状态中选择动作的概率。MDP中使用的单步阶段成本为第2.8节中定义的运行成本:
相应地,即时奖励定义为阶段成本的负值:
输入数据与IES系统规格
多能源系统的预测需求已提供在图4(a)-(d)中。该图提供了各独立能源系统的电力、供热、供冷和氢能需求。系统的电力价格已提供在图5中。组件参数、光伏发电和风电数据提取自文献[49]。此外,可再生能源的电力发电量和各能源系统的氢能需求已描述在图6(a)-(c)中。
结论
所提出的多载体综合能源系统有效协调了不同能源载体和资源,实现了优化、可靠和可持续的运行。特别地,采用基于Koopman的软值迭代(K-SVI)作为调度器来解决能源管理问题。在该框架中,调度问题基于马尔可夫决策过程(MDP)进行建模,K-SVI智能体通过与系统的交互找到最优策略。
CRediT作者贡献声明
Mai The Vu:写作——审阅与编辑,写作——初稿,可视化,验证,软件,资源,方法论,调查,形式分析,数据整理,概念化。
Tuan Hai Nguyen:写作——审阅与编辑,写作——初稿,可视化,验证,监督。
Hoang Nguyen-Huy:写作——审阅与编辑,可视化,软件,资源,数据整理。
Seong Han Kim:调查,资金获取,形式分析,概念化。
Le Loc:
利益冲突声明
? 作者声明没有已知的 competing 财务利益或个人关系可能影响本文所报道的工作。
Mai The Vu | Seong Han Kim | Hoang Nguyen-Huy | Van Huy Pham | Le Loc | Tuan Hai Nguyen
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号