基于RGHS-PPO算法的并网可再生能源制氢系统能量优化调度

《Renewable Energy》：Energy optimization scheduling of grid-connected renewable energy hydrogen production system based on RGHS-PPO algorithm

双碳目标下可再生能源制氢系统实时优化方法研究。提出基于连续动作空间近端策略优化（PPO）的深度强化学习方法，构建混合整数线性规划与动态规划结合的调度模型，解决风光波动性和预测误差问题，实现系统收益最大化与碳排放最小化协同优化。

　　本研究聚焦于解决可再生能源制氢系统中因风能和太阳能发电的间歇性和波动性所导致的“弃风弃光”问题。随着全球能源结构的转型，各国正致力于构建清洁、低碳、安全、高效的先进能源系统。这一趋势源于能源供需不平衡的加剧，主要受到化石燃料资源枯竭和全球环境问题的推动。可再生能源的引入，如风能和太阳能，为微电网提供了环保且可持续的能源解决方案。近年来，“双碳”政策（即碳达峰与碳中和）受到广泛关注，它强调推广非污染、高效、易部署的氢能技术。为了实现能源改革的最优策略，各国正在推动清洁能源的采用，并加快向能源脱碳的方向转变。氢能与风能、太阳能的结合成为能源脱碳的重要手段，而由氢能和电能驱动的微电网则有助于降低运行成本并提升系统可靠性。

高效的微电网调度与分配对于增强可再生能源系统的自适应能力、保护性能以及实现有效的能源管理至关重要，从而提升整体能源效率和系统收益。目前，CPLEX求解器被广泛应用于日前能源系统的调度，标志着可再生能源利用方式的重大变革。然而，CPLEX方法在解决调度问题时高度依赖于对未来数据的准确预测，这在实际应用中带来了显著的不确定性。此外，获取精确的预测数据在现实环境中是一个重大挑战，因此许多研究者采用基于状态控制的方法来开发能源调度系统。然而，这种方法的调度结果往往较为保守，难以达到最优的控制效率。

为了克服这些挑战，研究人员开始探索强化学习方法在电力系统调度中的应用。与传统调度方法相比，深度强化学习（Deep Reinforcement Learning, DRL）提供了一种新的方法来处理动态决策问题，能够满足实时要求并有效适应各种不确定性，如电价波动、可再生能源发电变化以及需求不确定性。近年来，DRL在可再生能源制氢系统中的应用也得到了验证。例如，Qi等人开发了一种基于双深Q网络与NoisyNet的智能能源管理框架，用于电网连接的氢能加注站，有效降低了运行成本并提高了对不确定需求的适应能力，但受限于高维调度中的离散动作空间。Khosravi等人提出了基于控制的协同优化策略，用于可再生能源网络中氢和电池储能的整合，实现了效率提升，但依赖于准确的预测数据和复杂的控制逻辑。Lan等人则开发了一种基于DRL的调度策略，用于氢氨混合储能系统，平衡了经济收益与碳减排，但在连续、高维控制方面面临挑战。

尽管DRL的多种变体展现出一定的潜力，但大多数方法仍受限于离散动作的设计，这会降低控制的精细度和可扩展性。例如，Boudlal等人通过熵和多项式插值增强离散PPO，以提升探索能力。而Liu等人和Sanaye等人则分别将DQN应用于微电网能源管理和识别成本最优的运行策略。虽然这些方法在特定场景下表现出色，但它们的局限性凸显了开发能够同时处理精细控制、实时适应性和经济-环境优化的连续动作PPO框架的必要性。

针对上述问题，本研究提出了一种专门适用于电网连接的可再生能源制氢系统的连续动作空间Proximal Policy Optimization（PPO）算法。该算法将动态调度问题建模为一个马尔可夫决策过程（Markov Decision Process, MDP），使得系统能够在不确定环境下进行实时决策，而无需依赖于准确的预测数据。通过与传统方法和DRL方法的广泛比较实验，该方法展示了其在提升系统收益、降低环境成本以及增强对季节性条件的适应能力方面的有效性。

在本研究中，首先提出了一个分层控制框架，使得上层的数字空间与下层的物理空间之间能够实现实时交互（如图1所示）。该闭环架构集成了实时状态感知、智能决策和执行反馈，从而实现了预测独立的实时优化调度，克服了传统方法对准确的日前预测和在线计算高度依赖的局限性。其次，为了应对高维、连续控制的挑战，本研究开发了一种基于深度强化学习的调度策略，采用连续动作空间的PPO算法（RGHS-PPO），使得系统能够对电解槽的功率和电池充放电操作进行精细调节。这解决了离散动作DRL算法在控制精度上的不足，同时确保了算法的低复杂度、稳定收敛性和对动态系统行为的高效学习。最后，本研究将调度问题全面建模为一个连续动作空间的MDP，目标是最大化系统收益并最小化环境成本。通过在多个季节性场景下的模拟实验，该方法的稳定性和适应性得到了验证，为实现低碳运行目标提供了可行的解决方案。

本研究的创新点在于构建了一个集成的框架和设备模型，用于电网耦合的可再生能源制氢系统（Renewable Grid Hydrogen System, RGHS）。该框架不仅能够有效应对风能和太阳能发电的间歇性和波动性，还能通过引入基于深度强化学习的经济调度方法，提高系统运行效率并降低总体成本。此外，该方法还增强了风能和太阳能的利用率，并在预测不确定性的情况下展现出较强的鲁棒性和适应性。

研究的结构安排如下：第二部分深入探讨了可再生能源制氢系统的模型结构，提供了系统各组件的全面模型。第三部分介绍了基于深度学习的能源调度策略。第四部分对所提出的方法进行了实验验证。第五部分对本研究进行了总结，并展望了未来的研究方向。

本研究的模型涵盖了风力发电场、光伏电站、电池、水电解制氢装置和氢气储罐等关键组件。风能和太阳能作为可再生能源来源，为系统提供稳定的电力输入。然而，系统需要适应居民负荷的波动性电力需求以及氢气加注站的氢气需求变化。为了实现这一目标，系统需要具备灵活的调度能力，以应对不同时间段的能源供需变化。

在PPO算法的应用方面，本研究重点分析了其在处理高维、连续控制问题中的优势。传统的调度方法通常基于数学规划，依赖于准确的预测数据，并且计算成本较高，难以满足实时控制需求。而基于模糊控制的方法虽然具备一定的鲁棒性，但往往依赖于复杂的规则设计，缺乏可扩展性。相比之下，基于深度强化学习的方法，特别是基于策略的方法，如PPO，能够在无需准确预测的情况下，实现对系统状态的实时响应和优化。此外，PPO算法能够处理高维状态空间和动作空间，提高控制的精细度和适应性。

本研究提出的RGHS-PPO算法，将动态调度问题建模为一个马尔可夫决策过程（MDP），允许系统在不确定环境下进行实时决策。通过广泛的实验验证，该算法在多个季节性场景下均表现出色，能够有效提升系统收益、降低环境成本，并增强对季节性条件的适应能力。该方法的稳定性得到了实验数据的支持，同时具备良好的扩展性，能够适应不同规模的可再生能源制氢系统。

为了进一步提升系统的调度能力，本研究还引入了一个分层的控制框架，该框架能够实现上层数字空间与下层物理空间之间的实时交互。这一闭环架构集成了实时状态感知、智能决策和执行反馈，使得系统能够在不依赖准确预测的情况下，实现实时优化调度。此外，该框架还能够适应不同季节的能源供需变化，提高系统的整体运行效率。

在实验验证部分，本研究基于河北省崇礼地区的风能和太阳能可用性变化，进行了全面的实验评估。实验涵盖了四个代表性日期，分别代表春、夏、秋、冬四个季节。这些日期的选择旨在反映风速、太阳能辐射强度、电力需求和氢气需求的典型季节性变化。通过实验数据，本研究验证了所提出方法在不同季节条件下的适应性和稳定性，为实现低碳运行目标提供了可行的解决方案。

本研究还探讨了PPO算法在处理高维、连续控制问题中的优势。传统的调度方法通常基于数学规划，依赖于准确的预测数据，并且计算成本较高，难以满足实时控制需求。而基于模糊控制的方法虽然具备一定的鲁棒性，但往往依赖于复杂的规则设计，缺乏可扩展性。相比之下，基于深度强化学习的方法，特别是基于策略的方法，如PPO，能够在无需准确预测的情况下，实现对系统状态的实时响应和优化。此外，PPO算法能够处理高维状态空间和动作空间，提高控制的精细度和适应性。

通过与传统方法和DRL方法的广泛比较实验，本研究验证了RGHS-PPO算法在提升系统收益、降低环境成本以及增强对季节性条件的适应能力方面的有效性。该方法的稳定性得到了实验数据的支持，同时具备良好的扩展性，能够适应不同规模的可再生能源制氢系统。

综上所述，本研究提出了一种新型的实时能源优化框架，用于电网连接的可再生能源制氢系统。该框架通过引入RGHS-PPO强化学习算法，实现了对系统状态的实时响应和优化。通过构建一个结合数字空间与物理空间的闭环架构，该框架增强了系统的自适应能力，并有效应对了不同季节的能源供需变化。此外，该方法还提升了风能和太阳能的利用率，并在预测不确定性的情况下展现出较强的鲁棒性和适应性。本研究的成果为实现低碳运行目标提供了可行的解决方案，并为未来的研究提供了新的方向。