基于多智能体强化学习的联合循环燃气轮机数据驱动预测控制

《ENERGY CONVERSION AND MANAGEMENT》:Data-driven predictive control for combined-cycle gas turbines by multi-agent reinforcement learning

【字体: 大 中 小 】 时间:2026年09月23日 来源:ENERGY CONVERSION AND MANAGEMENT 11.8

编辑推荐:

   •基于数据的快-慢数字孪生实现了"2+1"联合循环燃气轮机的协同负荷跟踪。•无模型自适应预测控制在协同多智能体剩余功率分配中保留了基准调节能力。•多智能体协调在跟踪精度、鲁棒性、可重复性和燃油经济性之间取得了平衡。 引言 现代电力系统的运行范式因可再生能源——特别是风能和太

  

•基于数据的快-慢数字孪生实现了"2+1"联合循环燃气轮机的协同负荷跟踪。•无模型自适应预测控制在协同多智能体剩余功率分配中保留了基准调节能力。•多智能体协调在跟踪精度、鲁棒性、可重复性和燃油经济性之间取得了平衡。

引言
现代电力系统的运行范式因可再生能源——特别是风能和太阳能光伏[1]——的加速并网而发生了根本性变革。与常规同步发电机不同,这些可变可再生能源具有间歇性,仅能部分调度,且主要通过电力电子接口与电网频率解耦[2]、[3]。因此,系统运行人员日益依赖可调度的热力机组来提供负荷跟踪、爬坡和频率调节所需的灵活性[4]。联合循环燃气轮机(CCGT)因其快速启动能力、宽运行范围和良好的部分负荷效率而被认为是最具吸引力的灵活性资源之一[5]、[6]、[7]、[8]。

在CCGT类型中,"2+1"构型——由两台燃气轮机(GT)通过余热回收锅炉(HRSG)耦合到一台共享汽轮机(ST)——呈现出独特的控制挑战。GT通过燃油流量和进口导叶(IGV)指令直接驱动,能够实现快速电力响应。然而,ST通过HRSG将GT排气中回收的热能转化为蒸汽,经由热量积累、蒸汽输送和膨胀做功,从而引入了可观的惯性和延迟[9]、[10]。因此,控制问题涉及两个快速执行器通道与一个延迟能量转换路径的协调,同时受到非线性、多变量耦合和运行点相关动力学的影响。这一结构使得CCGT负荷跟踪区别于更简单的单轴或单轮机调节任务。第一性原理和基于模型的控制方法仍然有价值,因为热力学结构可以被显式表示,预测性约束处理也可以被系统性地纳入[11]。然而,全厂表示必须涵盖压缩机和透平特性、燃烧过程、HRSG传热与蓄热、蒸汽输送、执行器动力学以及宽负荷范围内的运行约束。相应参数受环境条件、燃料特性、部件退化和维护状态影响,且未建模的GT-HRSG-ST交互作用还会引入额外偏差[12]。因此,全范围辨识、校准和持续维护既费力又昂贵,当控制器运行超出其标称模型的校准包络范围时,性能可能下降。

从控制理论角度看,CCGT调节问题通过多条基本独立的研究路径进行了探索。第一条路径追求数据驱动的无模型控制作为第一性原理建模的替代方案。研究从行为输入-输出表示[13]、[14]发展为互联系统的预测调节[15]。无模型自适应控制(MFAC)从实测输入-输出数据构建局部增量表示,避免了对完全校准的热力学模型的需求[16]。其预测扩展——无模型自适应预测控制(MFAPC)——将该表示嵌入滚动时域框架,并已应用于电力系统、化工过程和负荷频率调节[17]、[18]、[19]、[20]、[21]。近期扩展还解决了宽负荷能量转换和耦合能源系统[22]、[23]。扩张状态观测器(ESO)通过在线估计集总不确定性来增强干扰抑制能力,已在多变量和观测器增强的控制方案中证明了有效性[24]、[25]、[26]、[27]。学习观测器设计已进一步发展用于不确定系统中的干扰抑制[28]、[29]。这些方法主要是局部的,每台GT相对于自身参考进行调节。当共享ST贡献延迟功率时,由此产生的总发电不匹配是两台GT共有的,需要在具有不同瞬时功率、温度和燃油条件的执行器之间进行协调分配。这一厂级分配问题区别于局部干扰抑制。

第二条路径解决剩余学习问题,即强化学习(RL)智能体在结构化标称控制器基础上添加纠正动作[30]、[31]、[32]。该范式已扩展至数据驱动剩余策略、动力总成和机电一体化控制以及受约束方案[33]、[34]、[35]、[36]。深度RL也已应用于实时能源系统优化[37]。一个相关但不同的模型预测控制(MPC)/RL混合类别修改了MPC模型、价值函数或终端代价[38]。形式化安全强化学习(Safe RL)方法引入了受约束策略优化和预测安全滤波器[39]、[40]。这些方法在假设和实施复杂度方面存在差异,且其对特定CCGT协调结构的应用仍然有限。通用剩余叠加也留下了剩余激活时机、执行器之间的纠正分配以及标称闭环特性保持等问题,具体取决于特定实现。对于"2+1"CCGT,剩余接口应保留确定性基准,同时允许在相关转换期间进行有界的基于学习的纠正。

第三条路径探索了多智能体强化学习(MARL)用于多执行器系统的协调控制。集中训练分散执行(CTDE)使局部执行者能够使用单元级观测信息执行,而集中评估器在训练期间利用联合信息[41]、[42]、[43]。MARL已应用于电力系统、建筑能源管理和多机器人协调[44]、[45]。然而,对于仅有两台结构相似的GT的电厂,一个根本性问题浮现:多智能体架构是否必要,还是集中式单智能体策略就足够了?在现有文献中,这一问题尚未得到充分解决,特别是在基准控制器、信息结构、剩余权限和奖励设计保持一致的设置下。

数字孪生(DT)方法为此类受控比较提供了使能环境。通过构建物理电厂的数据驱动代理,数字孪生使得离线模型开发、时空过程表示以及在探索性工厂试验不可行时的安全性控制器评估成为可能[46]、[47]、[48]。数据驱动代理已被用于从运行记录中表示蒸汽生成动力学,并支持汽轮机运行的效率分析[49]、[50]。近期燃气轮机能源系统研究进一步将运行建模与低排放性能评估联系起来[51]、[52]。近期研究将数字孪生研究扩展至生成式AI使能的网络架构[53]、大规模控制的安全分层MARL[54],以及基于双模拟分析的数字孪生偏差与孪生训练策略性能之间的关系[55]。这些发展凸显了数字孪生在智能系统建模、协调控制和策略评估中的日益重要的作用。对于CCGT负荷跟踪控制,这些进展也强调了代理保真度的重要性,而核心的过程特定要求是重现直接驱动GT与延迟HRSG-ST路径之间的耦合快-慢动力学。因此,本工作开发了一个面向过程的CCGT数字孪生,将动态GT代理与具有历史依赖性的ST模型集成为一个可递归执行的环境,为控制器开发和比较闭环评估提供了共同基础。

这三条路径——数据驱动的局部调节、剩余RL和多智能体协调——在很大程度上是并行发展的。在"2+1"CCGT负荷跟踪问题中,应保留确定性的局部调节。学习不应替代基准控制器,而应为延迟ST功率引起的厂级不匹配提供有界且转换门控的纠正。这一需求无法通过MFAPC、ESO和多智能体近端策略优化(MAPPO)的直接组合来满足。需要特定的问题分解、清晰的剩余接口和实施一致的分析。还需要一个共同的离线环境,以便在相同的电厂动力学、指令接口、运行边界和燃油消耗核算下评估控制器行为。

尽管取得了最新进展,对于所考虑的"2+1"CCGT构型,仍存在五个差距:

•首先,现有CCGT研究尚未提供一个可递归执行的控制导向代理,该代理同时保留快速GT执行路径和延迟的共享HRSG-ST响应,以用于匹配的闭环比较。现有的静态或子系统级模型不适用于耦合CCGT动力学的统一递归闭环评估。

•其次,现有基于MFAC/主动干扰抑制控制(ADRC)的方法可以对每台GT进行局部调节并补偿广义干扰。然而,延迟的ST功率引入了共享的总发电不匹配。仍需一种机制在两台GT之间分配此不匹配。这种分配是厂级问题,取决于两台GT的瞬态功率、温度和执行器条件。

•第三,剩余RL、RL调谐MPC和安全RL解决了不同的设计问题。对于CCGT负荷跟踪,确定性预测与剩余学习之间的接口尚不明确。基准应被保留,学习应仅在相关转换期间激活。强制的输入限制和经验罚项也应单独说明。

•然后,对于两台相似的GT,多智能体剩余控制的收益并非显而易见。应在匹配的基准控制、状态信息、剩余权限、奖励构造和评价指标下进行评估。此类直接证据在CCGT负荷跟踪中很少被报道。

•最后,稳定性声明通常是针对理想基准回路作出的。在实际部署中,剩余动作、转换门控、指令裁剪和数值效应也同时存在。这些效应应纳入实用闭环描述中,否则分析保证和实证观察可能会混淆。

本工作的新颖性体现在针对"2+1"CCGT负荷跟踪的三种设计特征中:

•开发了一个可递归执行的"2+1"CCGT数字孪生。两个动态GT转换代理与一个具有历史依赖性的HRSG-ST模型在共同环境中耦合。快速GT执行路径和延迟的ST热响应路径均被保留用于闭环控制器评估。

•设计了一个基准保留的协同剩余接口。学习层仅通过tanh有界、缩放、门控、方向分配和裁剪的剩余通道起作用。ESO增强的改进无模型自适应预测控制(ESO-IMFAPC)预测模型、伪雅可比矩阵(PJM)更新、预测准则和观测器不被该剩余层修改。

•理论分析分离了两种闭环描述。首先分析精确求解的确定性基准。然后描述具有聚合部署扰动的固定策略部署实现。此扰动包括剩余动作、门控、裁剪和数值效应。因此,理想基准的有界性结果不会直接转移到完整的辅助学习回路中。

本研究的主要贡献总结如下:

•通过在一个共同递归环境中耦合两个动态GT代理和一个具有历史依赖性的ST模型,构建了一个集成的快-慢CCGT数字孪生。完整周期的留一法(LODO)测试量化了子系统在未见过运行周期上的泛化能力,单独保留的递归指令重放评估刻画了误差通过耦合GT-ST代理的传播。

•开发了结合多智能体近端策略优化、改进无模型自适应预测控制和扩张状态观测器(MAPPO-IMFAPC-ESO)的分层框架。确定性局部预测调节和干扰补偿由ESO-IMFAPC提供。共享总发电不匹配的有界协同剩余纠正由MAPPO提供。评估了策略可重复性、随机不匹配、长时程负荷跟踪和燃油消耗核算。由此量化了转换精度、鲁棒性和燃油经济性之间的工程平衡。

•为精确求解的ESO-IMFAPC基准建立了条件一致最终有界性(UUB)。然后在有界聚合部署扰动下为固定策略部署实现建立了条件输入到状态实用稳定性(ISpS)。剩余添加和指令裁剪被纳入部署回路分析中。理论声明仅限于输入幅度和规定的正常运行区域。

本文其余部分组织如下。第2节描述"2+1"CCGT的物理构型、运行范围、快-慢能量耦合和协调控制目标。第3节介绍子系统数字孪生及其训练和时序验证程序。第4节开发ESO-IMFAPC基准、基于MAPPO的协同剩余层和稳定性分析。第5节报告了数字孪生验证、控制器比较、独立运行评估、模型不匹配实验、燃油消耗指标和长时程负荷跟踪结果。最后,第6节总结了主要结果并概述了提高数字孪生保真度和推进硬件在环及物理验证的未来方向。

段落片段
结构与能量耦合
所研究的CCGT电厂采用"2+1"构型,由两套GT发电机组、两台三压再热HRSG和一台在高压、中压和低压段运行的共享再热ST组成。如图1所示,每台GT直接发电并向对应的HRSG提供排气能量。两台HRSG产生的蒸汽随后送入共享ST,形成耦合的气-蒸汽发电过程。

两台GT是直接驱动的快速执行器……

基于数据的CCGT子系统数字孪生建模
数字孪生建模为复现工业过程动力学和支持离线控制器开发提供了数据一致的代理[46]。时空数字孪生表示进一步促使对分布式过程记忆进行显式处理[47]。遵循"2+1"CCGT的执行和能量路径,电厂代理被分解为两个GT孪生和一个共享ST孪生。每个GT孪生描述直接驱动的功率-温度响应,而ST孪生则结合了GT……

CCGT的分层协同剩余控制框架
图4展示了所提出的MAPPO-IMFAPC-ESO框架。数字孪生代表了快速GT路径和延迟的ST贡献。

对于每个GT,ESO-IMFAPC提供确定性的标称调节,而MAPPO则通过一个经过缩放、门控和限幅的残差通道对该指令进行修改。这种分工将本地跟踪和扰动补偿分配给无模型基线,将机组级协调分配给学习层。以下公式区分了标准方法学组件。

**案例研究**

案例研究采用了中国北方某燃气联合循环电厂的真实运行数据。评估工作组织为数字孪生验证、闭环控制器对比、随机鲁棒性测试以及在可再生能源波动下的长时程负荷跟踪。

**结论**

本研究开发了一种层次化的MAPPO-IMFAPC-ESO框架,用于"2+1"CCGT的协调负荷跟踪。一个可递归执行的数字孪生集成了GT的快速过渡动力学与HRSG-ST的延迟响应,为控制器开发和闭环评估提供了统一环境。在控制架构中,ESO-IMFAPC提供确定性预测调节和广义扰动补偿,而MAPPO则引入经过缩放、门控和方向性的……

**CRediT作者贡献声明**

Ren Liu:论文撰写—原始草稿、软件、方法学、调查研究、概念构思。Congzhi Huang:论文撰写—审阅与编辑、监督、项目管理、基金获取。Haofei Wang:可视化、验证、数据整理。Chuanbin Wang:论文撰写—审阅与编辑、验证。Shuzhi Sam Ge:论文撰写—审阅与编辑、监督。

**利益冲突声明**

作者声明,他们没有已知可能影响本文所述工作的竞争性经济利益或个人关系。

**致谢**

本工作部分由国家自然科学基金(项目编号62373149)和中央高校基本科研业务费专项资金(项目编号2026JG004)资助。

Ren Liu | Congzhi Huang | Haofei Wang | Chuanbin Wang | Shuzhi Sam Ge
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号