基于分层强化学习的电-热-氢-气综合能源系统多时间尺度协调调度方法

《Global Energy Interconnection》：Multi-timescale Coordinated Scheduling Approach for Integrated Energy System Based on Hierarchical Reinforcement Learning

　　

配备耦合多能转换的综合能源系统（Integrated Energy System，IES）的实时协调调度，对缓解可再生能源间歇性与动态负荷波动至关重要。然而，电力流快动态特性与热-氢-气流体慢动态特性的深度交织形成混合动态叠加特征，给传统优化与调度带来显著挑战。针对上述问题，本文构建了考虑供需失配偏差与储能寿命退化等关键因素的IES最优调度模型。面向常规单层深度强化学习（Deep Reinforcement Learning，DRL）在处理多时间尺度耦合与严格物理边界时训练不稳定的问题，提出基于双层级深度确定性策略梯度（Bi-level Deep Deterministic Policy Gradient，HRL-DDPG）的分层强化学习协调调度框架。该框架将复杂决策严格解耦为高层慢动态经济基线调度与低层快动态实时自适应校正，两层通过结构化信息通路紧密耦合，其中高层状态观测整合低层快动态单元的累计调节反馈，从而确保兼顾快慢动态资源的经济调度物理可实施性。进一步，本文充分利用HRL-DDPG算法优势，采用契合不同单元物理惯性的混合探索策略，配备双经验回放缓冲以消除时间自相关，有效提升深度神经网络训练效率与策略稳定性。仿真结果表明，所提方法不仅能大幅降低系统总运行成本与在线求解时间，还能在源荷扰动下有效平滑高频功率波动，同时在规定设备级物理限值内保持运行可行性。

研究背景方面，全球气候变化加剧与化石燃料枯竭推动能源体系向低碳转型，风电光伏等可再生能源大规模接入现代电网，但其间歇波动与不可预测性给单载体能源系统功率平衡与运行稳定带来严峻挑战。综合能源系统（IES）通过耦合电、热、氢、气多能流实现多能互补与时空级联利用，成为提升系统灵活性、消纳高比例可再生能源的物理骨干。然而异构能流深度集成引入极端复杂性：电力瞬态发生在毫秒至秒级，而热、气动态受流体力学与热惯性支配，时间延迟跨越分钟至小时级，这种多时间尺度差异使传统日前或日内静态调度在高频随机波动下频繁失效，导致约束违例、电压偏差或弃风弃光。传统模型驱动方法（如混合整数优化、模型预测控制）虽可解释性强，但在线决策面临维度灾难与计算难解；单层深度强化学习（DRL）虽能离线训练在线亚秒级推理，但将慢动态热网与快动态电网强行嵌入同一高频马尔可夫决策过程（Markov Decision Process，MDP）会引发奖励稀释与信用分配失败，且混合连续-离散动作空间导致探索低效与训练不稳定。现有分层强化学习（Hierarchical Reinforcement Learning，HRL）研究多缺失高低层物理可跟踪性反馈机制。为此，研究人员在《Global Energy Interconnection》发表该研究，提出交互感知的HRL多时间尺度协调调度框架，打通从宏观经济决策到微观物理校正的优化闭环。

关键技术与方法上，研究人员构建含电-热-氢-气转换与四类储能（电储EES、热储TES、氢储HST、气储GSS）的IES数学模型，显式计入供需失配偏差、储能退化成本及爬坡约束；设计双层级DDPG算法，高层以慢响应机组与储能生成平滑经济基线，低层以快响应资源跟踪源荷波动，两层通过结构化信息通路耦合，高层状态融合低层累计校正反馈；算法层采用分层独立经验回放缓冲、按设备物理惯性定制的混合探索策略及梯度优化，消除时间自相关并稳定收敛。

研究结果部分，第1章引言指出多时间尺度调度是高中渗透可再生能源IES的核心瓶颈，综述模型驱动优化、扁平单层DRL与HRL三类范式后，明确现有文献在物理一致性与层间反馈两方面的缺口。第2章建立IES数学模型：2.1节给出含燃气轮机（GT）、燃气锅炉（GB）、电锅炉（EB）、电解槽（EL）、甲烷化反应器（MR）、氢燃料电池（HFC）及四类储能的系统拓扑；2.2节以效率法建模各转换单元输入-输出关系，如P_GT,t^e=η_GT^eP_GT,t、P_EL,t^H₂=η_ELP_EB,t（原文式4右端变量笔误沿用原文）；2.3节给出储能SOC演化E_s,t+1=E_s,t+(η_s^chP_s,t^ch?1/η_s^disP_s,t^dis)Δt及互斥充放电约束；2.4节加入机组爬坡ΔP_x限制与外购电/气上限；2.5节以显式偏差变量表征电/热/氢/气平衡，定义赤字P_h,t^def=max(?ΔP_h,t,0)与盈余P_h,t^exc=max(ΔP_h,t,0)并纳入目标惩罚。第3章提出HRL-DDPG框架：高层慢动态代理在长时段生成经济基线，低层快动态代理在短时段校正，高层观测状态显式嵌入低层累计调节量，双经验池分层采样。第4章案例仿真显示，相较单层DDPG与模型预测控制（Model Predictive Control，MPC）基准，所提方法在电-热-氢-气耦合IES中降低总运行成本与在线求解时间，源荷扰动下高频功率波动被有效平滑，且全部设备动作满足额定容量、SOC边界与爬坡限值。第5章结论指出，HRL-DDPG通过时间尺度解耦与层间反馈闭环，兼顾经济性与物理可实施性，为高中渗透可再生能源IES提供稳定、可部署的实时调度路径。

讨论与结论翻译部分，研究人员总结：所建IES模型显式刻画供需失配、储能退化及多能转换约束，覆盖电快动态与热氢气慢动态；双层级框架将宏观经济规划与微观物理校正严格解耦又经结构化通路耦合，高层因接收低层累计校正反馈而避免生成不可执行基线；分层DDPG配双经验回放与混合探索，消除时序自相关、加速收敛。仿真证实该方法在降成本、缩时耗、平抑高频波动及严守设备物理边界上均优于对照算法，证明交互感知的分层强化学习可有效 bridging 多时间尺度调度的物理一致性缺口。