《Energies》:Hierarchical Reinforcement Learning for Integrated Energy System Scheduling Based on Large Language Model Forecasting
编辑推荐:
源侧可再生能源供电与用户侧多能需求的不确定性对电-热-氢综合能源系统(electricity-heat-hydrogen integrated energy system, EHH-IES)的协调调度构成重大挑战。研究人员提出了一种以源荷预测为基础的EHH-I
源侧可再生能源供电与用户侧多能需求的不确定性对电-热-氢综合能源系统(electricity-heat-hydrogen integrated energy system, EHH-IES)的协调调度构成重大挑战。研究人员提出了一种以源荷预测为基础的EHH-IES分层调度方法。传统预测方法严重依赖大量训练样本。为解决数据稀缺场景下的预测挑战,开发了一种变分模态分解(variational mode decomposition, VMD)辅助的冻结大语言模型(large language model, LLM)进行源荷联合预测。在调度过程中,传统单层强化学习策略在处理高维混合动作空间及满足EHH-IES复杂运行约束方面效果不足。为此,开发了一种基于模仿学习的分层近端策略优化(proximal policy optimization, PPO)策略,将调度任务分解为系统级能量协调与设备级动作执行。实验评估表明,所提预测方法在数据稀缺场景下提升了预测精度,与最强基线相比,光伏发电、风力发电、电负荷、热负荷和氢负荷预测的均方根误差(root mean square error, RMSE)分别降低了8.65%、23.27%、34.99%、24.60%和39.38%。所提调度策略与三种基准方法相比实现了最快收敛,同时总运行成本分别降低了21.3%、7.1%和2.8%。
**基于大语言模型预测与分层强化学习的综合能源系统调度研究解读**
**1. 研究背景与意义**
随着气候变化与能源安全议题日益受到关注,全球能源系统正加速向低碳化转型。可再生能源尤其是风电和光伏得到大规模部署,氢能因其跨能源转换与长期储存潜力而备受重视。在此背景下,电-热-氢综合能源系统(electricity-heat-hydrogen integrated energy system, EHH-IES)通过对电力、热力与氢能的产生、转换、储存及利用进行集成管理,成为提升整体能源利用效率、促进可再生能源消纳并降低运行成本的有效途径。
EHH-IES的高效协调调度旨在维持电、热、氢三种能量流的动态供需平衡并最小化系统运行成本。然而,供给侧可再生能源出力与用户侧多能负荷均具有高度不确定性和强耦合性,使得经济最优的协调调度难以实现。以源荷预测为基础的调度策略对提升系统经济性能与运行稳定性至关重要。现有预测方法大多依赖充足的历史训练样本,而新建或改造的EHH-IES在部署初期往往面临历史运行数据不足的问题,导致数据驱动模型难以充分捕捉多能负荷序列的时序特征与波动规律。此外,传统优化调度方法虽能显式建模能量平衡约束与设备运行限制,但重复求解约束优化问题计算负担沉重;单层强化学习虽可减少在线优化需求,却在应对高维混合动作空间及复杂运行约束时存在探索效率低与不可行动作频发的问题。因此,面向数据稀缺场景的源荷预测方法以及兼顾可行性与经济性的调度策略成为亟待解决的关键挑战。
**2. 研究内容与总体框架**
研究人员构建了一套面向EHH-IES的预测-调度统一框架。在预测层面,提出了变分模态分解辅助的冻结大语言模型(VMD-LLM)源荷预测方法,通过多频分解、时间序列补丁重编程与多模态提示前缀构造,在数据稀缺条件下实现对风电、光伏、电负荷、热负荷与氢负荷的联合预测。在调度层面,提出了基于模仿学习的分层PPO调度策略(IL-HPPO),将全球调度任务分解为上层系统级能量协调与下层设备级动作执行两个层级,并引入基于混合整数线性规划(mixed-integer linear programming, MILP)专家轨迹的行为克隆初始化与动作安全层校正机制,以提升训练效率与调度可行性。研究基于中国四川某区域EHH-IES的真实运行数据开展实验验证。
**3. 关键技术方法**
该研究采用的主要技术方法包括:利用VMD将非平稳源荷序列分解为不同频率特征的本征模态函数;通过时间序列补丁重编程将模态序列转换为适配大语言模型(large language model, LLM)推理的补丁表示;构造包含全局上下文、频率先验与电-热-氢物理耦合信息的多模态提示前缀,引导冻结LLM进行模态预测并线性重构最终源荷预测结果。在调度方面,采用分层近端策略优化(proximal policy optimization, PPO)架构,上层智能体负责系统级能量管理决策并向下层发送净负荷指令,下层智能体根据设备运行状态将指令转化为满足约束的设备级执行方案;通过MILP专家轨迹行为克隆实现策略初始化,并利用动作安全层对越限、爬坡、启停及储能状态等不可行动作在执行前进行校正。
**4. 研究结果与分析**
**4.1 源荷预测结果与性能分析**
实验数据来自中国四川某区域EHH-IES,含一年风电、光伏、电负荷、热负荷、氢负荷及气象数据。为模拟数据稀缺场景,选取连续1700小时(约71天,约占全年数据20%)作为训练集。结果显示,VMD-LLM在光伏、风电、电负荷、热负荷和氢负荷预测上均取得最优效果,RMSE较最强基线分别降低8.65%、23.27%、34.99%、24.60%和39.38%,其中氢负荷RMSE降幅最大,归因于电解槽、储氢系统与燃料电池耦合运行导致的复杂非线性多尺度变化。消融实验表明,与不含VMD的GPT-2模型相比,VMD-LLM在风电、电负荷、热负荷和氢负荷预测上显著提升,验证了频率分解的有效性;与VMD-BiLSTM相比,VMD-LLM在风电、电负荷、热负荷和氢负荷上表现更优,说明LLM表征能力与频率感知提示机制的贡献。在不同训练数据比例下,VMD-LLM在10%和20%数据条件下均展现较稳定的预测优势。尽管VMD-LLM训练时间与GPU内存消耗高于轻量模型,其推理时间(33.932 ms/样本)仍在可接受范围内。
**4.2 分层优化调度结果与性能分析**
**4.2.1 典型日能流调度结果**
典型日电侧调度结果显示,风电与光伏在白天提供主要可再生供电,CHP机组承担相对稳定的基荷,电网购电与电池储能补偿可再生能源波动及高峰时段电力缺额。L2层实际电出力紧密跟踪L1发出的净电负荷指令,满足机组启停、爬坡与热电耦合约束。热侧由CHP与燃气锅炉联合满足热负荷,CHP保持相对稳定的基荷热出力,燃气锅炉承担峰值调节。氢侧由电解槽与储氢系统共同跟踪氢负荷指令,储氢补偿需求峰值或制氢不足,平滑氢负荷波动对电侧的直接影响。电网交互策略响应分时电价信号,在高电价时段减少外购电,低电价时段增加电网购电,实现经济性优化。
**4.2.2 对比分析**
与MILP、Flat-PPO和HPPO三种基准方法相比,IL-HPPO在训练早期即实现最快速的回报提升,收敛步数更少,最终回报最高,表明分层结构与专家初始化显著提高了训练效率与稳定性。约束可行性方面,IL-HPPO在100个测试回合中实现零约束违规,而Flat-PPO违规率最高,HPPO虽通过分层决策减少违规但仍无法完全消除不可行动作。MILP因预测误差导致实际执行时出现违规。运行成本方面,IL-HPPO总运行成本为3,324,143.5元,较MILP、Flat-PPO和HPPO分别降低约21.3%、7.1%和2.8%,主要经济收益来自辅助燃油成本的显著降低,表明该方法更有效地协调了CHP机组、燃气锅炉、储能与氢能链条,减少机组进入深度调峰区域的频率。
**5. 讨论与结论**
该研究建立了面向EHH-IES的统一预测-调度框架,实验验证了VMD-LLM在数据稀缺场景下的优越预测性能和IL-HPPO在收敛速度、约束可行性与经济性方面的综合优势。研究结论表明,所提框架在保证动作可行性的同时提升了系统运行经济性。未来工作将进一步考虑可再生能源出力不确定性、跨场景迁移能力及在线滚动调度,以增强方法在实际工程环境中的适应性。