基于深度强化学习的含碳捕集与交易区域综合能源系统最优调度方法

《International Journal of Hydrogen Energy》：Deep reinforcement learning for optimal dispatch of regional integrated energy systems with carbon capture and trading

　　纳杜|刘宝义|敖功|昆扬|沈鹏超|陈玉珠|彼得·D·伦德中国秦皇岛市燕山大学亚稳态材料科学及技术国家重点实验室，邮编066004摘要本研究提出了一种多能源区域综合能源系统模型，该模型结合了电能转气体技术，以满足不同用户的需求，同时还配备了碳捕集装置以及分等级的碳交易机制，以此提升系统的经济性和低碳性能。碳捕集装置用于从化石能源中吸收二氧化碳，并与电能转气体技术协同作用，以实现碳资源的高效利用和灵活调度。调度问题被建模为马尔可夫决策过程，通过双延迟深度确定性策略梯度算法来解决，从而实现高效且成本可控的调控。研究结果表明，引入电能转气体技术后，综合能源系统能够更灵活地管理能源转换过程。此外，碳捕集技术的应用显著降低了电能转气体设备的利用率，进而影响了系统的调度效率。而分等级的碳交易机制则使碳排放量减少了28.7%，运营成本降低了10.4%。这些研究结果表明，分等级碳交易机制有助于推动系统向低碳运营模式转型。引言根据《中国建筑能耗与碳排放研究报告》[1]的数据，2020年中国建筑运行阶段产生的碳排放量约为21.6亿吨，占全国总排放量的21.6%。因此在实现碳达峰和碳中和的目标背景下，提升建筑能源系统的效率、节能性及低碳运营能力，对于缓解能源危机和降低碳排放具有重要意义[2]。目前，解决能源与环境问题的关键策略之一就是大力发展可再生能源（如太阳能、风能、地热能和生物质能），同时提高能源系统的整体效率[3]。近年来，由于能够提高可再生能源的比例并提升能源利用效率，综合能源系统受到了政府和研究人员的广泛关注[4]。综合能源系统整合了能源的生产、转换、传输、储存和利用过程，通过协同优化和灵活的多能源转换方式，实现多种能源资源的有效利用。这种方法能有效克服不同能源子系统之间存在的差异问题，促进能源的梯级利用[5]。因此，综合能源系统是推动能源系统向灵活化、低碳化和可持续方向发展的关键途径，将在实现“双碳”目标的过程中发挥重要作用[5]。然而，随着综合能源系统的不断发展，可再生能源利用效率低下以及供需匹配不佳等问题愈发严重，给系统的优化运行带来了诸多挑战。这些问题是需要在综合能源系统进一步发展中重点解决的根本性问题[6]。此外，分布式发电存在随机波动，能源供应和需求方面也存在诸多不确定性，这些都大大增加了综合能源系统规划和运行调度的难度，凸显出全面应对各类不确定性的必要性[7]。因此，开展进一步的研究，优化综合能源系统的设计，提升其整体效益至关重要。综合能源系统的建模与优化已成为能源领域的重要研究热点。其主要目标是通过对多种能源资源进行协同优化和高效运行，提升能源利用效率，减少碳排放，同时增强系统的灵活性和可靠性。早期关于综合能源系统建模的研究主要集中在电力系统和天然气系统的独立建模上，重点研究其稳态运行特性。尹[8]通过分析典型综合能源系统中的能量流动路径，建立了一个涵盖从上游能源到下游设备的完整物理模型。阿里等人[9]则提出了一种针对资源受限城市建筑的能源建模方法，旨在提高能源利用效率并减少能源浪费。随着技术的不断进步，人们越来越重视耦合设备对综合能源系统运行的影响及其在系统中的作用。陈等人[10]研究了将新型耦合设备，尤其是电能转气体技术，集成到综合能源系统中的可能性。通过将电能转气体设施和燃气轮机作为关键的耦合单元，可以实现电网与天然气网络之间的双向能量流动，从而便于高比例可再生能源的接入。张等人[11]进一步分析了电能转气体与碳捕集封存技术耦合的建模问题，指出碳捕集封存技术捕获的二氧化碳可作为电能转气体过程的高质量碳原料。他们的耦合模型显示出在降低碳排放、减少天然气采购量以及避免风电限电方面的潜力。传统的综合能源系统优化方法主要包括两阶段随机规划法和鲁棒优化法[12]。两阶段随机规划法常用于处理复杂的优化问题，但由于上下层之间需要大量迭代，且建模复杂度较高，往往会导致较大的偏差[13]。而鲁棒优化法则侧重于最坏情况的分析，可能会过于保守，且在不同场景下的适用性较差[14]。随着人工智能技术逐渐应用于能源领域，基于人工智能的优化方法在综合能源系统优化中受到了越来越多的关注[15]。最近的研究越来越多地运用强化学习技术进行能源管理和调度优化[16][17]。与传统的全局综合能源系统优化算法相比，强化学习在综合能源系统优化中的应用借助动态规划原理来制定有效的策略。这种方法通过无需进行复杂的环境建模，也不依赖精确的随机供需预测，从而简化了调度流程[18][19]。在综合能源系统中，人们已经使用了诸如Q学习[20]以及状态-动作-奖励-下一状态-下一动作（SARSA）[21]之类的传统强化学习算法来优化和调度能源系统。然而，这些方法需要对状态空间进行离散化处理，而在高维系统中，由于维度灾难的问题，这会降低算法的效能[19][22]。为了解决非线性和非凸优化问题，深度强化学习算法将深度神经网络与强化学习相结合，具备了出色的自适应能力和决策优化功能[23]。例如，张等人[24]利用深度神经网络为综合能源系统调度中的连续状态和动作空间设计了专门的强化学习策略函数。不过，这种方法可能会引入较大的方差和梯度噪声。史等人[25]则采用深度Q网络方法，优化了在智能电网需求存在不确定性的情况下，整合氢能、风能和太阳能的氢电系统。他们的模拟结果显示，当参数设置合理时，深度Q网络算法在能源管理任务中的表现优于遗传算法，体现了这种方法的可行性和优势。罗切塔等人[26]将Q学习与人工神经网络相结合，用于优化电网的运行和维护，同时具备预测和健康管理功能。这种方法尤其适用于状态空间维度较高的大型系统。随着深度强化学习在更多领域的应用，支持连续动作的模型也受到了更多关注。其中，基于演员-评论家框架的方法，通过将策略输出与价值函数评估相结合，已被证明在开发高效智能体方面具有很高的效果。萨门德等人[27]提出了多智能体深度确定性策略梯度算法，用于优化能源生产企业的运营。该策略在考虑电力分配网络约束的前提下，能够降低能源生产和分配成本，从而帮助做出最优的能源交易决策。杨等人[28]则将深度确定性策略梯度算法应用于综合能源系统的动态经济调度中，使得系统能够在无需进行不确定性预测或建模的情况下，对随机出现的“源-荷”波动做出快速响应。不过，他们的调度目标仅在于最小化运营成本，因此属于单目标调度模型。博伦巴赫和莱因[29]则运用信任域策略优化法和深度确定性策略梯度法，为能源枢纽制定了经济最优的组合控制策略。此外，刘等人[30]提出了一种基于深度强化学习的综合能源系统调度优化框架，该框架兼顾了供需双方的灵活性需求。他们将优化问题建模为部分可观测马尔可夫决策过程，然后使用双延迟深度确定性策略梯度算法来求解，以降低成本并提升用户满意度。同时，他们还采用了分层奖励设定机制来提高训练效果。案例研究表明，这种HRS-TD3算法不仅收敛速度最快，还能实现最佳的经济效益。塞佩尔扎德等人[31]为智慧城市中的孤立式网络微电网设计了一种能源管理策略，该策略采用了智能概率小波模糊神经网络与深度强化学习相结合的方法来实现电力和频率的控制。这种控制策略基于马尔可夫决策过程，通过软演员-评论家算法实现，包括离线训练和分布式运行两部分，为每个微电网分配一个使用在线学习算法的控制智能体。该方法实现了超过98%的控制精度，同时将计算负担降低了7.82%，计算时间则减少了61.1%。在中国“双碳”政策背景下，推动综合能源系统的低碳运营至关重要。在技术层面，碳捕集技术的发展与应用已有效减少了能源生产过程中的碳排放。田等人[32]为数据中心微电网设计了一种低碳优化调度模型，旨在降低高能耗和碳排放。该模型包含了碳捕集装置、电能转气体系统以及燃气轮机单元，通过平衡能源的供需关系，降低了碳封存和二氧化碳采购的成本。此外，李等人[33]开发了一种混合型综合能源系统，该系统将电能转气体技术与碳捕集封存技术相结合。该系统采用了低碳经济调度模型，旨在在降低总成本的同时，提高风能的利用效率，实现二氧化碳排放量减少72.4%的目标。碳交易机制通过交易碳排放权来调控企业排放水平，作为一种推动综合能源系统实现低碳经济运行的策略，正受到越来越多的关注。为了解决多能源系统中碳排放责任分配的问题，程等人[34]开发了一种碳排放流量分析模型。他们通过案例研究验证了该模型的有效性，证明它能够准确量化多能源系统中与能源流动相关的碳排放量。该模型非常适合用于分配减排责任、进行碳定价和交易以及规划系统运行。针对现有综合能源系统中的碳流量分析方法存在的准确性不足、缺乏动态性以及实时性较差等问题，张等人[35]提出了一种动态碳流量追踪框架。他们构建了一个包含碳阻力和碳潜力的碳网络模型，提升了综合能源系统碳排放的时空分辨率和追踪能力。这一框架为碳排放减少策略和能源调度优化提供了有力的支持。此外，黄等人[36]还为综合能源系统提出了几种低碳经济调度方法。通过建立合理的互动定价机制，这些方法促进了不同系统之间的能源共享，促使跟随系统在降低运营成本、增加利润的同时，优化碳排放配额。何等人[37]则利用CVXPY求解器开发了一种整合多种可再生能源的调度模型。他们的研究结果表明，引入电力存储和碳交易机制后，能够实现多种能源资源的协同调度，从而提高风能和太阳能的利用效率。这项研究强调了碳交易机制在塑造综合能源系统的运营策略和确保其符合环保要求方面的关键作用。田等人[38]对碳交易市场进行了研究，发现参与该市场的中国企业更有动力通过发展数字经济来降低碳排放。研究表明，每当数字经济发展水平提升1个单位，这些企业的碳排放强度平均就会下降0.417个单位。吴等人[39]则提出了一种基于深度循环Q网络的碳排放交易策略算法。该算法基于深度强化学习技术，并通过融入长短期记忆网络等先进技术，对传统的双深度Q网络进行了改进。在广东和湖北的碳市场中，该算法分别实现了15.43%和34.75%的年化收益率。梁等人[23]则提出了一种将碳捕集封存技术与电能转气体技术相结合的模型，用于优化综合电力-天然气系统，实现低碳且高效的运行。他们采用了一种基于深度强化学习的无模型策略，旨在降低运营成本和碳排放。该系统经过了数学建模，将调度过程中的不确定性视为马尔可夫决策过程，然后使用TD3算法进行实时决策。对比分析表明，这种方案在实现低碳经济效益和可持续性方面具有明显优势，其在财务目标、收敛速度和学习性能等方面均优于深度Q网络和深度确定性策略梯度算法。为应对智能建筑多能源系统中可再生能源整合度不断提高以及能源市场与碳市场融合不足的问题，邱等人[40]提出了一种针对智能建筑的能源与碳配额联合点对点交易机制。他们采用了联邦学习与强化学习算法的混合模型，使得总能源成本降低了5.87%，环境成本降低了8.02%。孙等人[41]则建议在向碳中和转型的过程中，将碳交易纳入智能建筑能源管理框架，建立涵盖电力、天然气和碳交易的IESs协同交易市场。他们运用改进的MADDPG算法来解决多智能体能源管理协调优化问题，最终显著降低了能源交易成本和总体运营支出。总之，碳捕集技术是降低智能建筑碳排放的重要技术手段。碳交易机制通过市场机制激励企业从被动减排转向主动的低碳行动。而强化学习则为系统的智能调度提供了重要技术支持。因此，这三种技术的协同应用对于实现智能建筑的低碳高效运行具有重要意义。

根据文献综述，目前的研究存在若干局限性，尤其是在构建系统优化模型以及优化过程中考虑各种影响因素方面。主要问题如下：（1）关于智能建筑调度优化的研究大多聚焦于简单的模型，如电-热系统或冷暖电三联供系统。然而，涉及多能源互补、多技术耦合及多负荷需求的智能建筑优化问题仍缺乏足够研究。（2）尽管碳交易机制在电力行业已得到广泛研究，但多数研究集中在从固定碳定价向更多元化机制的转型上。因此，有必要进一步探索多种碳交易机制在智能建筑优化与调度中的应用。（3）在智能建筑优化方面，研究趋势正从传统的随机规划与鲁棒优化转向强化学习方法。不过，基于价值、基于策略以及演员-评论家算法仍存在诸多挑战，如何选用合适的强化学习算法来优化智能建筑仍是重大难题。

本研究针对上述研究局限性，构建了一个区域智能建筑动态最优调度模型。本文的主要贡献如下：（1）在母线架构下构建了全面的多能源区域智能建筑模型，整合了电力、供暖、制冷和燃气子系统。该模型解决了现有研究中多能源载体之间相互依赖关系表达不足的问题，通过支持动态调度分析，能够体现多能源的协同效应，有助于设计更高效、更协调的运行策略。（2）在区域智能建筑优化模型中融入了实用的碳排放管理策略。该策略量化了外部电力采购和内部系统运行产生的碳排放，并引入了包含补偿与惩罚因素的分级碳交易机制。通过将结构化的碳成本激励机制纳入调度模型，该策略弥补了现有智能建筑优化研究中的关键缺陷，为多能源系统的低碳运行提供了具有政策参考价值的方案。（3）采用TD3算法进行优化与调度。该算法的准确性及其处理复杂环境的能力虽然提升了调度难度，但也增强了优化的实用性。此外，还在奖励函数中加入了功率失衡惩罚项以提高算法精度。通过针对区域智能建筑调度对TD3算法进行优化，本研究解决了在复杂能源系统中应用先进强化学习方法的难题，推动了该领域强化学习技术的应用。

本文其余结构如下：第2节构建多能源互补的区域智能建筑模型；第3节介绍TD3算法的原理，对模型进行转化，并对所提出的系统模型进行仿真；第4节进行分析和讨论；第5节总结全文并指出一些局限性。