利用自适应深度随机策略学习方法，协调规划以氢能为驱动、可再生能源为主导的能源枢纽的运行时间

《International Journal of Hydrogen Energy》：Coordinated scheduling of hydrogen-enabled renewable-dominated energy hubs using an adaptive deep stochastic policy learning

　　穆罕默德·雷扎·奥哈迪（Mohammad Reza Ohadi）、雷扎·埃法特内贾德（Reza Effatnejad）、马赫迪·赫达亚蒂（Mahdi Hedayati）、阿卜杜勒雷扎·德赫加尼·塔夫蒂（Abdolreza Dehghani Tafti）
伊朗伊斯兰自由大学电气工程系，卡拉杰（Karaj）

**摘要**
本研究提出了一种智能能源管理框架，用于基于氢能的可再生能源集成能源中心（HEHs），该框架采用了深度软演员-评论家（Deep Soft Actor–Critic，Deep SAC）算法。所开发的模型能够在可再生能源发电和负荷不确定性条件下，优化光伏（PV）系统、风力涡轮机、热电联产（CHP）单元、电解器、氢储存系统、燃料电池、电能储存系统（ESS）以及需求响应（DR）程序的协同运行。通过利用多余的可再生能源电力进行电制氢转换，产生的氢气随后在燃料电池中通过电化学反应产生电力和热能，从而提升系统的灵活性和脱碳效果。所提出的Deep SAC框架被构建为一个马尔可夫决策过程，旨在最小化总运营成本，同时最大化可再生能源利用率、氢气生产效率及系统可靠性。仿真结果表明，Deep SAC的性能显著优于其他强化学习方法，包括双深度Q网络（Double Deep Q-Network，DDQN）、深度确定性策略梯度（Deep Deterministic Policy Gradient，DDPG）和近端策略优化（Proximal Policy Optimization，PPO）。在没有需求响应的情况下，Deep SAC能够使光伏发电量达到1500千瓦，风力发电量达到2000千瓦，为氢气生产提供支持，总运营成本为50万美元，相比DDQN实现了9.1%的成本降低，并且氢气转化率提高了7-10%。当集成需求响应机制后，总成本进一步降至45万美元，相比无需求响应情况降低了10%，整体性能提升了15%；同时负荷灵活性提高了约20%。此外，与DDPG和PPO相比，Deep SAC的收敛速度快18%，训练稳定性高22%，确保了实时的决策能力。研究结果证实，基于Deep SAC的框架为以氢能为导向的多能源系统提供了一种成本效益高、适应性强且可扩展的解决方案，支持可持续的氢生产、储存和利用。

**引言**
日益严重的环境问题以及巨大的能源需求增加了对可再生能源（RESs）、备用设备和需求响应计划（DRPs）的依赖。可再生能源技术在清洁能生产中发挥着关键作用。尽管管理这些资源以确保安全高效运行存在挑战，但微电网（microgrids）提供了一个可行的解决方案[[1], [2], [3]]。微电网由分布式发电（DGs）、电能储存系统（ESSs）和响应性负荷组成，既可以连接到主电网，也可以独立运行。在并网状态下，微电网可作为负荷或电源与主电网及其他孤立微电网进行能量交换；但在重大故障、电能质量问题或维护作业等情况下，微电网可能需要断开连接并独立运行[4]。储能系统（ESSs）和响应性负荷与基于可再生能源的分布式发电单元共同存在，有效缓解了分布式能源资源（DERs）的不确定性，提升了微电网的可靠性。这种方法不仅推迟了增加发电容量的需求，还降低了运营成本并减少了温室气体排放[5,6]。

最新研究表明，将微电网互联成网络化结构（NMGs）可进一步提升系统性能和可靠性，帮助运营商降低运营成本，同时为消费者提供更可靠且经济高效的电力供应[7,8]。与独立微电网相比，NMGs在经济调度和孤岛控制方面更具优势，还能优化每个微电网内分布式能源资源的使用，并促进与主电网或其他NMGs之间的电力交换[9]。NMGs的广泛采用需要有效的能源管理系统（EMS）来保障系统稳定性。网络化微电网中EMS的主要目标是降低系统成本（如燃料、维护费用），同时提高可靠性和灵活性[10,11]。EMS优化了可调度分布式发电单元（包括微型涡轮机、备用设备、可控负荷）的性能，以及微电网间的电力交互。然而，随着可再生能源在微电网中的集成程度增加，传统确定性模型已无法充分应对新的不确定性。为此，研究人员开发了新的概率模型来研究复杂网络中的EMS，考虑了多种不确定性因素[12]。

多项研究探讨了网络化微电网中的运营调度方法。Hussain等人[13]提出了一种以韧性为核心的策略，用于优化NMGs的运行，强调在正常运行期间实现孤岛状态，并在紧急情况下保障关键负荷的供电。他们的方法考虑了基于可再生能源的分布式发电单元和负荷需求的不确定性，但仅针对单个微电网进行分析，未考虑多个集成系统间的交互。Zhou等人[14]评估了由多个微电网组成的配电网络中的两种分散式经济调度框架，虽然该方法考虑了可再生能源单元的随机性和负荷消耗，但仍采用确定性方法。另一项研究[15,16]提出了用于NMGs日前调度的嵌套EMS，其成本效益优于传统EMS，但未考虑可再生能源输出和负荷的不确定性。Ren等人[15]提出了软件定义网络（SDN）架构，以促进微电网间的快速电力支持，将孤立微电网整合为网络化结构，提升韧性和效率。尽管有这些优势，但这些研究仍依赖确定性模型，未纳入不确定性因素。Zhao等人[19]提出了一种分散式经济调度方法，其中配电系统运营商（DSO）与控制中心合作制定NMGs内的最优策略，但未研究DRPs对微电网能源调度的影响。Bazmohammadi等人[20]提出了一种基于随机预测的多NMGs集成运营管理方法，通过本地EMS计算微电网与主电网间的电力交互的联合概率限制。值得注意的是，以往研究[21,22]未考虑微电网间电力交换的价格问题。参考文献[23]引入了分散式EMS，探索了配电网络中NMGs的最优策略；在并网情况下，将配电系统运营商和微电网运营商视为独立实体，各自关注自身运营成本的最低化。尽管该研究考虑了电力交换价格，但未提供明确的计算方法，且假设分布式发电单元的发电成本固定，电力进出口市场价格设定为发电成本的两倍。

多项研究探讨了包含单个或多微电网的网络中的需求响应计划（DRPs）。Amir等人[24]开发了一种概率方法，用于多载波系统中的最优负荷调度，分析了可再生能源不确定性对NMGs的影响，并引入了基于时间的负荷侧EMS以调整负荷曲线，避免高峰时段的过度能源消耗。参考文献[25]提出了一种以生存能力为导向的DRP，旨在减少负荷削减并降低对可再生能源的依赖，该策略通过市场信号激活，并通过鲁棒性能处理可再生能源和负荷的不确定性。参考文献[26]针对NMGs的最优调度问题进行了研究，考虑了可再生能源和负荷的不确定性，采用元启发式算法求解。参考文献[27]研究了互联微电网间的合作，提出了激励机制（基于纳什谈判）来安排能源交易。然而，这些研究仍采用确定性方法，未考虑可再生能源单元和负荷消耗的不确定性。参考文献[28]采用鲁棒优化技术进行微电网内的能源管理，提出利用无功负荷管理微电网运行（尤其在风能和太阳能存在的情况下）。参考文献[29]应用博弈论需求响应程序（GTDR）确定连接主电网的微电网的最优调度方案，发现实施模糊满足方法后运营成本和负荷均有所下降。类似地，参考文献[30]引入了改进的粒子群优化（PSO）算法解决实时能源管理问题（EMP），优化电池的充放电过程。参考文献[31]开发了多目标最优调度模型，利用基于激励的需求响应（DR）经济优化热电联产（CCHP）微电网。

文献表明，多种策略可用于应对可再生能源带来的不确定性。这些方法的主要区别在于如何建模和表示输入不确定性。鉴于可再生能源的固有变异性，概率方法更适合评估此类技术的影响[32]。参考文献[33]提出了一种基于混合概率负荷预测系统（CPLFS）和分位数回归的混合模型，用于降低电力调度风险。尽管该模型考虑了分布式发电单元的影响，但目标函数未考虑污染物排放和与主电网的能源交换。参考文献[34]提出了一种概率调度方法，用于管理微电网的无功功率，同时考虑了风能不确定性。参考文献[35]提出了一种智能能源管理系统，用于24小时内同时产生电力和热能的微电网，确保热负荷和电能的全面覆盖，模型使用了基于正态分布的概率密度函数（PDF）。

文献综述指出，以往的调度和优化方法存在显著局限性：i) 如混合整数线性规划（MILP）等数学方法需要精确的系统建模，增加了计算复杂性[36]；随着发电厂规模的扩大，这些方法的复杂性呈指数级增长。ii) 元启发式算法（如PSO、Harmony算法和灰狼优化器）在训练和泛化能力上存在不足，尤其是在具有多个最优解的大规模问题中容易陷入局部最优[37,38]。iii) 动态规划算法虽然采用递归结构进行训练，但在处理CCHP系统的非线性和系统约束时存在困难。最近关于燃料电池混合系统的研究显示，分层MPC方案可同时确保安全性、舒适性和能源高效利用，并考虑了燃料电池的退化问题[39]。同时，对车辆燃料电池技术的文献计量分析揭示了氢/空气子系统、能源管理策略和热管理方面的研究趋势，表明方法和优先级随时间演变[40]。这些发展表明燃料电池系统的技术成熟度不断提高，凸显了本研究中开发的基于氢能的集成能源管理框架的相关性。

为克服这些挑战，引入了强化学习（RL）算法，通过让智能体与环境（系统）互动来解决复杂优化问题。最近，深度神经网络（DNNs）被集成到RL框架中作为函数逼近器[41,42]。例如Deep Q学习（DQN）算法利用DNNs的训练能力识别最优策略。迄今为止，许多基于RL的算法已被应用于能源管理[42]、调度[43]、需求响应[5]和可再生能源集成[44]等领域。尽管DQN和Double DQN（DDQN）在解决复杂优化问题方面表现出色，但它们对离散动作空间的依赖限制了其应用范围。Actor-Critic算法（如深度确定性策略梯度[46]和近端策略优化[47]）虽然能处理高复杂度的优化问题，但对超参数的敏感性限制了其应用。在Actor-Critic算法中，Deep SAC通过引入熵正则化机制实现了高鲁棒性和训练稳定性，防止过早收敛。

近期研究中，风能和光伏发电的变异性以及电力流分析的复杂性常常被忽视。本研究提出了一种基于场景的随机优化框架，用于管理能源中心（EHs）的不确定性并优化能源管理。该框架整合了广泛的参与者——工业、商业和住宅用户——以及可控和不可控设备，以提高能源枢纽（EHs）的运营效率和成本效益。本研究的主要贡献包括：

i) 以氢气为导向的需求响应整合
本研究将一种考虑氢气因素的需求响应（DR）策略纳入其中，以提高可再生能源集成能源枢纽的运营灵活性。通过动态调整电力和热负荷，所提出的DR方案提高了可再生能源的利用率，并在发电过剩期间支持高效的电力到氢气的转换。采用详细的热模型来调节恒温控制的负荷，确保满足用户舒适度的同时，实现电解器和燃料电池的灵活运行。

ii) 考虑不确定性的可再生能源到氢气能量流动建模
本研究将概率性的风能和光伏发电情景纳入能源枢纽内氢气生产、储存和转换过程的运营调度中。通过将可再生能源发电的不确定性与电解器运行、氢气储存管理和燃料电池调度联系起来，所提出的框架能够捕捉到从可再生能源到氢气能量路径上的不确定性传播，从而实现更可靠和适应性更强的能源管理。

iii) 基于深度强化学习的氢能管理优化
将氢能管理的问题表述为一个马尔可夫决策过程，并使用深度软演员-评论家（Deep SAC）算法进行求解。所提出的基于学习的控制器同时最小化运营成本，最大化可再生能源到氢气的转换效率，并提高系统可靠性。与传统强化学习方法相比，Deep SAC表现出更快的收敛速度和更高的稳定性，非常适合实时优化集成氢气的多能源系统。

通过各种案例研究的模拟，验证了所提出的随机能源管理系统，并将其与确定性方法进行了比较。结果表明，该基于场景的框架在优化多组件能源枢纽的运行方面非常有效，特别是在管理不确定性和提高能源效率方面具有显著优势。表1从建模能力、不确定性处理和DRP整合等方面，将所提出的能源管理框架与现有的确定性、元启发式和基于RL的技术进行了比较。比较显示，所提出的框架同时结合了可再生能源不确定性建模、基于氢气的能量耦合和深度强化学习以实现实时运行，而这些在以往的研究中很少被同时考虑。尽管第2节中制定的主要目标函数是降低能源枢纽的运营成本，但引言中提到的另外两个目标——提高可再生能源消耗和保持系统稳定性——也是通过系统架构和约束的设计实现的。由于多余的可再生能源被电解器用于生产氢气，灵活负荷通过DR程序进行调整，而削减发电量会带来经济处罚，因此可再生能源的利用率自然会增加。系统稳定性通过技术约束得到保障，例如热电联产（CHP）的爬坡限制、储能系统（ESS）和氢储能系统（HSS）的充电状态界限、最小开关时间以及多能源平衡方程。这些机制共同使得该框架能够在不增加成本函数额外项的情况下间接实现可再生能源使用和稳定性目标。在本研究中，“用户舒适度”指的是在仅允许有限比例的负荷参与DR的情况下，维持需求曲线中基本（不可调整）的部分。灵活性参数γDR被限制在0.1以内，确保每小时负荷的变动不超过10%。这一限制防止了不适感的发生，并在不需要额外特定于舒适度的约束的情况下保持了用户满意度。

本文的结构如下：第2节介绍了所提出模型的整体框架，解释了假设的能源枢纽结构并详细说明了涉及的各个组成部分。第3节描述了问题的数学表述，包括联合热电联产（CHP）单元、燃气锅炉、储能系统（ESS）和DR程序等组件的目标函数和约束。第4节展示了使用马尔可夫决策过程和深度强化学习的仿真结果及性能比较。最后，第5节总结了研究发现，并对未来研究方向提出了建议。

**所提出框架的总体方案**
本研究中的能源枢纽代表了一个由光伏（PV）面板、风力涡轮机（WT）、热电联产（CHP）单元、天然气网络和电网共同供应的单一集成多载体能源系统。虽然文献综述讨论了网络化微电网（NMGs）以提供更广泛的研究背景，但本研究重点关注一个基于氢能的能源枢纽的最优能源管理，如图1所示。

**软演员-评论家算法的合理性**
在一个包含多种发电单元和可再生能源资源（RERs）的复杂能源枢纽中，找到状态（观测值）与行动之间的关系是一项具有挑战性的任务。强化学习（RL）在解决决策问题时面临一些问题。现有基于RL的算法的不足之处在于：

1) SARSA和Q-learning是常用的解决RL问题的方案，其中q值的任何更新都存储在Q表中。然而，这些表格算法无法处理大规模问题，尤其是在高不确定性水平的情况下。

**仿真结果与讨论**
在本节中，使用MATLAB-2023在配备2.60 GHz Intel Core i5处理器和16 GB RAM的计算机上进行了基于强化学习（RL）算法的仿真分析。仿真所需的运营数据包括电价信号、负荷需求曲线以及光伏（PV）和风力涡轮机（WT）单元的可再生能源发电数据。这些数据集来源于能源管理研究中常用的典型日负荷曲线。

**结论**
本文提出了一种使用深度软演员-评论家（Deep SAC）算法的综合性氢能管理框架，用于可再生能源集成能源枢纽。所提出的方法有效应对了可再生能源、能源价格和多载体需求的随机行为，同时优化了相互连接的组件，包括光伏系统、风力涡轮机、热电联产单元、电解器、氢储能系统和燃料电池。

**作者贡献声明**
Mohammad Reza Ohadi：撰写——原始草稿、方法论、调查、形式分析、数据整理。
Reza Effatnejad：验证、监督、调查。
Mahdi Hedayati：撰写——审阅与编辑、可视化、资源整理。
Abdolreza Dehghani Tafti：验证、监督、软件开发。

**利益冲突声明**
作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。