一种基于策略安全优化的多智能体强化学习方法，用于可再生能源驱动的多电氢一体化充电站的成本导向型能源管理

《Renewable Energy》：A Policy Safety-Enhanced Multi-Agent Reinforcement Learning for Cost-Orient Energy Management of Renewable Energy Powered Multi Electricity-Hydrogen Integrated Charging Stations

　　

Xinyu Ye|Hongcheng Wang|Gaohui He|Guozhou Zhang|Zhenjie Cui|Weihao Hu

中国重庆西南大学工程技术学院

摘要

在具有高可再生能源占比的可持续交通网络中，对综合充电基础设施中的多种能源流动进行协同管理至关重要。然而，传统方法难以同时应对电力与氢能需求的双重间歇性、可再生能源生成的随机性以及严格的运营约束，从而导致成本偏高和安全问题。为解决这一问题，本文提出了一种基于可再生能源的多电氢综合充电站系统，该系统采用分布式能源资源架构。能源管理问题被构建为在系统约束条件下实现总成本最小化的优化问题，其中成本包括运营成本、维护成本和风险成本。为应对固有的不确定性，该问题被转化为部分可观测马尔可夫博弈，并通过多智能体双延迟深度确定性策略梯度算法进行求解，该算法能够考虑可再生能源生成和需求的随机性。此外，还在多智能体强化学习框架中嵌入了策略安全增强机制，以引导智能体在可行范围内学习安全且具有适应性的调度策略，从而确保在训练和部署过程中的运营安全。仿真结果表明，与基准方法相比，所提出的方法可使总成本降低多达12.85%，同时有效应对间歇性和不确定性问题，并保障系统安全。

引言

随着人们对温室气体排放问题的日益关注，化石燃料的环境影响愈发凸显。由于其零排放和可持续的特性，新能源车辆正成为一种重要发展趋势[1]。根据国际能源署2026年全球电动汽车展望报告，2025年全球电动汽车销量已超过2000万辆，约占全球新车总销量的四分之一。氢能汽车也因其高效率及安静的运行特性而展现出巨大潜力。电动汽车和氢能汽车的快速发展使得人们对充电及氢能加注基础设施的需求不断增长。预计到2030年，全球电动汽车充电站的数量将从2025年的580万座增加到1100万座。相比之下，截至2024年底，全球在运行的氢能站仅有约1160座。在此背景下，电氢综合充电站逐渐受到更多关注[2]、[3]。

电氢综合充电站具备双重功能：可通过电网为电动汽车充电，同时通过水电解产生氢气并实现现场存储[4]。其设计需要考虑负荷情况并进行运营调度以降低成本。在[5]中，一种带有氢能存储装置和柴油发电机组的离网型电氢综合充电站被用于优化设备规模，从而降低投资和运营成本。在[6]中提出了一种由风能和太阳能驱动的氢能站，并对其进行了验证；而在[7]中则研究了如何通过扩展配电网络来优化涡轮机和氢能存储装置的选址。在[8]和[9]中，探讨了在需求随机、市场价格多变以及多目标约束条件下的选址规划问题。在电氢综合充电站的调度方面，[10]方法可减少电动汽车的峰谷用电差异，而[11]方法则通过凸松弛技术实现全局最优的电动汽车充电方案。为兼顾氢能汽车的需求，[12]提出了基于斯塔克伯格均衡的电动汽车与氢能汽车协同充电方案，[13]则将路径规划与充电调度相结合，并考虑了可再生能源的影响。在[14]中提出了一种两阶段的前瞻性及实时能源管理策略。尽管考虑了日前市场因素，但灵活的协调能力仍有限。在[15]中，通过结合太阳能和氢能的随机规划方法降低了成本，但由于依赖预测数据，该方法的效果会受到限制。

强化学习利用历史数据进行预训练，能够实现实时决策，因此在电氢综合充电站的调度中展现出巨大应用潜力[16]。例如，[17]提出了一种基于强化学习的分布式发电与储能系统韧性控制方法，而[18]则将韧性最大化问题转化为马尔可夫决策过程，并通过强化学习求解。近年来，先进的强化学习框架被进一步发展，用以提升在高维和多目标控制问题中的决策能力。例如，Lin等人提出了一种两阶段的量子软演员-评论家框架，用于多目标输电线路切换问题[19]，该框架将变分量子电路纳入策略学习过程，以提高表示能力并加速收敛速度。这些研究凸显了量子增强型及混合强化学习方法在解决复杂能源管理任务中的潜力。总之，由于能够在复杂环境中学习决策策略，单智能体强化学习结合集中式控制的方法已被广泛用于能源系统优化领域。然而，这类方法往往存在可扩展性受限的问题，在大规模能源系统中还可能面临单点故障和通信延迟等问题。为克服这些缺陷，多设备调度问题被分解为多个子问题，并建模为马尔可夫博弈，再通过多智能体强化学习进行求解，这种方法已应用于氢电协同调度[20]以及基于变压器的多站点电动汽车充电调度[21]。近期，多智能体强化学习还被拓展应用于更复杂的多时间尺度及多设备能源管理场景。例如，有一种结合了TD3和DDQN的双层深度强化学习框架被用于配电网络中的电压/无功控制问题[22]，该框架引入了网络重构机制，并运用图神经网络来缩小拓扑结构搜索空间，从而实现跨多个时间尺度的协同控制。不过，传统的多智能体强化学习方法在学习过程中仍可能存在不安全的探索行为，这可能会导致能源系统应用中出现违反运营约束的情况。

为解决基于深度强化学习的电氢综合充电站调度中的安全问题，一些研究将运营约束条件纳入模型中。[23]将能源管理问题建模为受约束的马尔可夫决策过程，然后通过受约束的软演员-评论家算法进行求解。[24]在深度强化学习模型中嵌入了基于安全引导的神经网络，无需依赖奖励惩罚机制即可避免出现物理上的违规情况。[25]提出了一种安全层机制，用于预测约束条件的变化，从而引导深度强化学习模型的探索行为，同时配套的即插即用安全模块能够帮助智能体避免出现电量状态和电压异常情况。然而，将某些物理约束条件融入网络层中仍然是一项具有挑战性的任务。[26]采用最近点投影方法为训练生成可行的动作，但评论家层的更新仍基于经过修改的动作，而演员层的梯度则来源于原始的、可能不可行的动作，这就导致了演员层与评论家层之间的不一致。

受先前研究的启发，本研究提出了一种基于安全机制的多智能体强化学习能源管理调度方法，用于可再生能源驱动的电氢综合充电站。该方法能够在实现分布式控制的同时保障策略安全，经测试系统验证，该方法不仅能够有效降低成本，还能提升系统安全性。本文的主要贡献如下：

• (1)
  构建了一种基于可再生能源的多电氢综合充电站框架，该框架包含分布式能源资源，每个充电站均可满足电力和氢能的需求。该系统的动态能源管理问题被构建为在包括运营成本、维护成本和风险成本在内的系统约束条件下实现总成本最小化的优化问题。
• (2)
  将优化问题转化为部分可观测马尔可夫博弈，进而构建出一种决策框架，该框架通过多智能体双延迟深度确定性策略梯度算法进行求解，该方法能够充分考虑需求 的间歇性以及可再生能源供应的不确定性。
• (3)
  在多智能体强化学习框架中嵌入了策略安全增强机制，该机制能够引导智能体在可行的运营范围内学习适应性调度策略，从而提升系统安全性，同时克服传统多智能体强化学习方法的局限性。

其余内容如下：第2节介绍了多电氢综合充电站中各组件的配置情况。第3节将多电氢综合充电站的能源管理问题构建为最优控制问题。第4节介绍了将多智能体强化学习方法及安全增强机制应用于该最优控制问题的解决方案。第5节通过大量仿真对比分析了所提方法与基准方法的效果。最后，第6节总结了本研究的主要结论。

章节要点

多电氢综合充电站的结构

该系统由多个电氢综合充电站组成（见图1），每个充电站都包含一个电氢耦合子系统（见图2），该子系统包括光伏阵列、风力发电机、碱性电解槽、氢气压缩机、氢气储存罐、电池储能系统以及氢燃料电池。能源来源包括光伏、风能、电网以及外部氢能供应网络；而能量转换与储存环节则涉及电解槽、压缩机、氢燃料电池、电池储能系统和氢气储存罐等设备。电能可被转换为

多电氢综合充电站能源管理问题的建模

在本节中，多电氢综合充电站的能源管理问题被构建为一种受约束的最优控制问题，其目标函数及相关约束条件都被明确界定。

用于分布式能源调度的新型软多智能体强化学习方法

在本节中，多电氢综合充电站的能源管理问题被建模为部分可观测马尔可夫博弈。为了解决该问题，本文提出了一种结合策略安全增强机制的MATD3方法，该方法采用了集中式训练与分布式执行的结构，从而实现在部分可观测条件下的分散式决策。

仿真分析与讨论

本节通过一个案例研究，评估所提出的安全型MATD3框架在多电氢综合充电站调度中的应用可行性。通过模拟的运行条件，利用相关数据集和系统参数对所提出的多智能体架构进行训练和性能评估。此外，还将所提出的安全型MATD3方法的性能与一些代表性的基准算法进行系统比较，以此评价其有效性、稳健性以及在协同调度中的安全性符合程度

结论与未来工作

本文提出了一种基于安全型MATD3方法的、以成本为导向的多电氢综合充电站能源管理方案。通过将不确定的能源调度问题建模为部分可观测马尔可夫博弈，并嵌入两阶段的安全增强机制，该方案能够在保证训练和运行过程安全性的同时实现较高的经济效益，有效避免了传统MATD3方法和MASAC方法中存在的约束违反风险以及学习不稳定的问题。

近期的受约束

CRediT作者贡献说明

Hongcheng Wang：负责撰写原文初稿、方法论部分以及数据整理工作。Xinyu Ye：负责文本的审阅与编辑工作，同时参与原文初稿的撰写、结果验证、资源收集以及方法论研究。Guozhou Zhang：负责文本的审阅与编辑工作，同时还承担研究指导及方法论设计工作。Gaohui He：负责文本的审阅与编辑工作，同时参与原文初稿的撰写、研究指导以及资源收集工作。Weihao Hu：负责文本的审阅与编辑工作，同时承担研究指导及资源收集工作。Zhenjie Cui：负责文本的审阅与编辑工作，同时参与资源收集和方法论研究

利益冲突声明

? 作者声明，他们不存在任何可能影响本文研究结果的已知利益冲突或个人关系。