考虑混合决策变量的多微电网可再生资源双层协同能量调度

《Energy》：Bi-Level Synergistic Energy Scheduling for Multi-Microgrids with Renewable Resources Considering Mixed Decision Variables

　　•提出了一种用于协调多能源微电网的双层能量调度系统（bi-EGS）。
•提出了一种协同策略学习方法（S-APL），可生成连续和离散的调度动作。
•动态负荷参与（DLP）机制增强了系统灵活性和需求侧响应。
•一种合作方案改善了运行成本和整体能源利用率。

引言

多能源微电网（MEμGs）正成为一种满足日益增长的能源需求、同时支持脱碳和能效目标的有前景的方案。通过将电力、供热和制冷整合到一个协调网络中，这些系统能够利用资源之间的协同效应并提升整体性能。这种组合能够更高效地部署可再生能源技术，提高供需平衡的灵活性，并减少对传统集中式电网的依赖[1]、[2]。此外，多载体结构具有更强的韧性，因为某一载体的中断可通过替代路径得到缓解。当与点对点交易机制相结合时，MEμGs为产消者积极参与能源市场、共享剩余资源并降低运行成本创造了机会。其结果是形成更可持续、更具适应性且以社区为导向的能源格局，与全球向低碳解决方案的转型相一致[3]、[4]。为应对互联微电网的运行挑战，已有多种合作和博弈论框架被提出，用于共享本地资源和最大化全局效率；另一些研究则侧重于通过多阶段决策过程增强高峰时段的系统灵活性[5]。

在完全优化的MEμGs中，多种能源载体的集成不仅是技术安排，更是提高效率、可靠性和可持续性的深思熟虑的策略。电力是系统的骨干，来自各种可再生能源发电单元（RGUs）（如光伏（PV）面板、风电场等），在某些配置中还包括小型水电[6]、[7]。这些RGU提供可变但日益显著的能源比例，其间歇性特征驱动了对稳健的转换和存储解决方案的需求[8]。在此方面，Liao和Liu[9]开发了电转气（P2G）方法，这是最关键的解决方案之一，可将多余的可再生电力通过电解转化为氢气，或通过甲烷化转化为合成甲烷。这些气体可长期储存，利用现有燃气基础设施运输，或用于其他过程（如为热电联产（CHP）机组供能），从而在短期波动性和长期能源安全之间架起桥梁。Zhu等[10]在综合电力系统中采用CHP机组以增强高运行灵活性，并利用单一燃料源（无论是天然气、沼气还是氢气混合物）同时发电和产生有用热能，与分产系统相比实现了高整体效率和更低的燃料消耗。此外，Jin[11]阐述了电转热（P2H）技术，通过热泵或电锅炉将多余电力转化为热能，为区域供热网络、工业设施或建筑级系统供能，增加了另一维度。近期研究还通过综合考虑结构和运行特性来识别关键组件和评估运行风险，从而研究电力系统的脆弱性和韧性[12]。此外，基于图学习的方法已被探索用于提高电力系统在极端事件下的韧性并减轻级联故障[13]。

此类系统的结构通常包括可储存数小时甚至数天热能的热储罐，以及用于较短时长电力平衡的先进电池系统。这些储能组件与实时能源管理平台协同工作，后者利用预测算法预判需求、预测可再生发电量并确定跨载体的最优能量流[14]、[15]。除了运行调度外，储能系统的最优容量配置和布置也已被研究，以在高比例可再生能源渗透下平衡投资成本与电网韧性[16]。在稳健高效的设计下，电力、热力和燃气的互联不仅降低了可再生能源出力的限制，还创造了部门耦合的路径，使多余的可再生电力能够支持供热、交通和工业过程[17]、[18]。其结果是形成一个可根据市场价格、需求曲线和发电条件在载体之间动态切换的网络，为运营商和产消者在能源使用和交易方式上提供了更大的灵活性。重要的是，如果某一能源载体出现供应约束，这种方法具有韧性优势；系统可利用其他载体维持服务连续性，这与强调高影响条件下多能源韧性、鲁棒性和运行灵活性之间区别与协同的更广泛框架相一致[19]。随着时间的推移，随着可再生能源渗透率上升和碳减排目标收紧，这种多载体结构对于在环境目标、经济可行性和系统稳定性之间实现优化平衡将变得至关重要[20]。在此背景下，协调电池储能和风电场已被证明能够显著降低传统电厂燃料费用和碳排放惩罚成本，适应不同的客户负荷需求[21]。

多载体能源系统的运行和规划具有高度复杂性，原因是多种相互依存的能量流、多样化的发电方式、波动的需求和供应条件。为克服这一复杂性，研究人员和从业者依赖于一系列能够捕捉这些系统技术、经济和环境维度的优化技术。Huang等[22]提出了混合整数线性规划（MILP），这是最常见的方法之一，其优势在于能够处理离散决策（包括机组组合或设备切换），同时保持计算可行性。然而，并非所有系统行为都能用线性关系准确表示，这促使在涉及非线性效率曲线、热损失或更复杂物理约束的情况下采用非线性规划（NLP）模型[23]、[24]、[25]。除了这些经典公式外，元启发式算法如粒子群优化（PSO）[26]、蚁群优化（ACO）[27]和模拟退火（SA）[28]在处理大规模、高度非线性问题方面日益流行，而传统优化方法在这些问题中计算成本过高或不可行。类似地，多目标引力搜索算法已通过储能和需求响应解决可再生能源集成能源系统中的经济、排放和韧性权衡问题[29]。在需要不确定性下稳健决策的场景中，包括可变可再生能源出力或波动能源价格，随机规划和鲁棒优化结构被采用，以确保解决方案在一系列可能的未来条件下保持有效[30]。与此同时，结合需求响应计划和电池储能系统的多目标框架已通过实时网络仿真进行研究，以评估可再生能源不确定性下的经济韧性指标和灵活负荷转移[31]。例如，已有研究探讨了纳入条件风险价值（CVaR）的风险感知随机调度方法，用于协调可再生能源和电池储能系统，在破坏性事件期间显著改善了运行韧性和停电恢复能力[32]。综合能源系统也已扩展到纳入氢气等替代能源载体和移动储能资产，其中应用了基于Copula的场景缩减技术，在混合整数线性规划公式中处理多源相关不确定性[33]。多能源集群的合作调度也已扩展到纳入耦合的氢气和海水淡化水网络[34]。

然而，尽管具有潜力，这些策略各自都存在不足。MILP虽然高效，但可能过度简化非线性物理过程。NLP模型可能在收敛到全局最优方面存在困难，元启发式算法通常需要大量参数调整且可能产生无法保证最优性的解，而随机或鲁棒模型可能计算量大，尤其是对于大规模社区级应用[35]。因此，在选择或设计既足够详细以捕捉系统现实，又能在实时或大规模运行部署中计算高效的优化结构方面，仍然存在持续挑战。

为解决传统优化结构的局限性，已提出强化学习（RL）策略来有效管理具有多样化组件的MEμGs。RL技术[36]、[37]具有通过与环境的交互学习最优控制方法的优势，适用于以不确定性、非线性和动态运行条件为特征的系统。通常，RL方法分为两大类，用于解决具有离散和连续决策变量的电力工程问题。在离散方法中，深度强化学习技术如深度递归Q网络（DRQN）[38]、深度Q网络（DQN）[39]和双深度Q网络（DDQN）[40]已被广泛引入。它们的优势在于通过神经表示处理广阔的状态-动作域，在序列问题设置中实现可靠求解。然而，这些方法通常需要大量计算资源，且在应用于连续或大规模动作空间的环境时可能遭受不稳定性。另一方面，连续深度RL方法如软演员-评论家（SAC）[41]、近端策略优化（PPO）[42]、深度确定性策略梯度（DDPG）[43]和双延迟DDPG（TD3）[44]在管理高维连续动作空间的环境方面表现出色。尽管在收敛稳定性、可扩展性和动态条件下的适应性方面表现优异，这些方法在超参数调整、延长训练需求和探索-利用平衡方面往往遇到困难。为缓解这些挑战，需要一种能处理离散和连续决策变量的深度RL算法，这也是协同动作策略学习（S-APL）[45]出现的主要原因。离散和连续动作的协同使S-APL具备广泛应用的通用性。通过将离散选择与连续细化相结合，S-APL为智能体提供了更高水平的灵活性，同时促进了混合类型动作域中的有效操作。

尽管已有丰富的研究探讨了MEμGs的能源管理和最优调度，但在具有异构决策变量的互联MEμGs的协调管理方面仍存在若干局限性。表1概述了具有代表性的最新方法。基于所综述的文献，本研究所解决的研究空白总结如下：

•将自适应动态负荷参与有限集成到MEμG调度中：动态负荷参与（DLP）可通过根据系统运行条件调整柔性需求来提供运行灵活性。然而，现有的MEμG调度方法往往忽略需求侧参与，或使用预定义或基于规则的策略表示柔性负荷。因此，DLP、可再生发电波动性、电价和互联MEμGs运行条件之间的交互作用未得到充分表征。这促使开发一种自适应调度框架，其中负荷参与可与发电、储能运行和MEμG间能量交换协调。

•基于强化学习的能源管理中对混合离散-连续决策空间的不完整处理：强化学习（RL）因其能够学习序列调度策略，已越来越多地应用于能源管理问题。然而，许多传统深度RL算法主要针对连续或离散动作空间设计。在实际MEμG调度中，决策本质上是异构的：连续变量可能包括发电或调度水平，而离散决策可能决定能量转换和储能组件的运行状态。因此，直接应用传统的单动作空间RL算法可能无法充分表征完整的调度问题。这创造了对能够协调异构离散和连续决策的调度机制的需求。

•互联多能源微电网的有限分层协调：已有研究探讨了集中式、分散式和点对点能源管理策略；然而，相当一部分文献侧重于单个微电网，或在协调时未明确区分本地组件级调度和系统级协调。对于互联MEμGs，本地运行决策必须同时满足单个微电网约束和系统级要求，如微电网间能量交换、共享储能运行以及与上级电网的交互。这促使建立一种分层调度架构，在保留本地决策制定的同时实现系统级协调运行。

•需要一种集成调度框架来处理异构决策、能量共享和可再生能源不确定性：传统优化技术如MILP、PSO和NSGA-II可以针对特定公式提供有效解决方案，但随着组件、决策变量和运行约束数量的增加，其计算需求可能增大。基于RL的方法为序列决策提供了一种替代方案，但其有效性很大程度上取决于动作空间的表示和协调机制。此外，可再生能源发电不确定性可能进一步复杂化调度决策。因此，需要一种集成框架，将分层协调、混合离散-连续决策、MEμG间能量交换、共享储能、DLP和不确定性感知运行相结合。

上述空白表明，主要挑战并非缺乏诸如分层调度、RL、共享储能或DLP等单项技术，因为这些概念已在先前研究中独立或不同组合地被探讨。相反，需要一种统一的调度框架，能够协调互联MEμGs中的本地和全局决策，同时显式处理异构离散-连续动作和可再生能源及市场不确定性下的自适应需求参与。

相应地，本工作提出了一种基于协同动作策略学习（S-APL）的双层能源调度框架，在该框架中，本地 MEμG 的运行与中央运营商关于多能源微电网间能源交换和共享储能的决策相协调。基于上述识别的研究空白，本研究开发了一种面向互联多能源微电网（MEμGs）的协调双层能源调度框架。该框架将本地调度决策与中央协调决策分离开来，同时使得由此产生的异构离散与连续决策能够在一个统一的基于强化学习的调度策略框架内进行处理。主要贡献如下：
i) 双层协调能源调度框架：针对互联 MEμGs 的协调运行，开发了一种分层双层能源调度系统（bi-EGS）。下层执行每个 MEμG 内部组件的本地调度，而上层通过中央运营商实施，协调多能源微电网间的能源交换、共享储能运行以及与上级电网的交互。这种结构使得在保持系统级协调的同时，能够考虑本地运行需求。
ii) 基于 S-APL 的混合动作调度机制：针对具有异构离散与连续决策变量特征的调度问题，建立了一种协同动作策略学习（S-APL）机制。连续动作组件确定运行量，例如可控发电单元的调度出力，而离散动作组件确定相关能源系统组件的运行状态或模式。所提出的机制在调度过程中协调这些动作类型，从而为 bi-EGS 的混合决策空间提供了一种适用的动作表示方法。
iii) 共享储能与动态负荷参与的集成协调：共享储能和动态负荷参与（DLP）作为系统灵活性资源被纳入所提出的双层调度框架中。中央运营商协调共享储能的充放电与互联 MEμGs 的能源盈余和短缺情况，而 DLP 使灵活需求能够参与本地调度决策。这些组件是与双层调度机制集成的，而不是被视为独立的优化模块。
iv) 可再生能源发电与市场价格不确定性下的自适应运行：所提出的调度框架在可再生能源发电偏差和电价波动条件下进行了评估，以检验其对不确定运行条件的适应性。调度策略根据变化的系统条件动态调整能源交换、储能运行和灵活需求参与，从而提供了一种面向不确定性感知运行的集成机制。
v) 所提出的框架建立了本地 MEμG 决策与中央协调决策之间的联系，使得发电、储能、灵活需求、多能源微电网间能源交换以及上级电网交互能够在一个共同的调度框架内被考虑。这种集成旨在利用互联 MEμGs 之间的互补能源资源，同时减少对上级电网的不必要依赖。

章节片段
MEμG 系统整体配置
本研究调查了一个由 N 个微电网（N=1, 2,…）组成的互联多载体多网系统。每个微电网（子系统）都有其自身的运营商，用于优化和平衡其能源生产和消费。这些 MEμG 连接到一个中央运营单元（COU），该单元监管一个共享多载体储能（MCES）系统，以提高微电网的可靠性和灵活性。在每个子系统中，各种发电源，

RL 算法基本公式
RL 依赖于试错探索，允许智能体通过与其周围环境交互来发现最优决策。在大多数情况下，交互框架被描述为马尔可夫决策过程（MDP），表示状态、动作、奖励和转移之间的联系。通过学习 MDP 结构，RL 寻求推导出最优决策策略，MDP 可以说明如下：根据上述公式， 是时间 的状态， 是

输入数据集、可再生能源预测及市场价格
各组件的相关参数提取自 [54]。风数据和太阳辐照度数据取自 [55]。预测的光伏（PV）和风电（WT）发电量分别如图 5 和图 6 所示。与电能买卖相关的电力市场价格数据如图 7 所示。为了避免系统频繁参与买卖交易，卖出价和买入价是不同的。类似于常规电力

结论
本文提出了一种由中央运营商协调的互联多能源微电网（MEμGs）的综合双层能源调度框架（bi-EGS）。在该框架内，中央运营商集成了单个微电网的本地优化模型，并协调微电网间的能源交易以及共享资产。为解决混合决策变量问题，开发了一种协同动作策略学习（S-APL）来调度离散运行状态和连续

CRediT 作者贡献声明
李曙光：写作 - 审查与编辑，监督，方法论。
李雅丽：写作 - 初稿，调查，形式分析

利益冲突声明
? 作者声明不存在已知的竞争性财务利益或个人关系，这些利益或关系可能影响本论文中报告的工作。

李雅丽|李曙光