集成神经网络建模与改进的离散时间强化学习-EADRC控制技术，用于超超临界机组的灵活运行

《Energy》：Integrated neural-network modeling and improved discrete-time RL-EADRC control for flexible operation of ultra-supercritical units

　　• 开发了一种改进的Titans模型，用于高精度的超临界（USC）单元建模。• 设计了一种带有电流观测器的离散时间EADRC（主动扰动抑制控制器），以减少观测延迟。• 分析了离散EADRC的参数调整和噪声敏感性。• 基于强化学习（RL）的在线调整增强了控制器的适应性。• 建模、跟踪和干扰测试验证了所提出的方法的有效性。

引言
随着风能和光伏等可再生能源的迅速整合，电力系统面临着日益增加的波动性和不确定性[1]、[2]、[3]。作为最稳定和可调度的发电资源之一，热电单元需要更加灵活地运行，以适应变化的电力需求[4]、[5]。其中，USC单元由于效率高和排放量低而在现代电力系统中扮演着重要角色[6]、[7]。因此，USC单元必须频繁调整其输出，并快速响应自动发电控制（AGC）命令[8]、[9]。为了满足上述要求，USC单元必须在日益复杂的条件下运行，这进一步需要对其进行改造和升级。然而，由于惯性大、非线性强、多变量耦合显著以及负载依赖的动态特性，准确描述其动态行为非常困难[10]、[11]。同时，频繁的负载波动和外部干扰进一步增加了保持满意控制性能的难度[12]、[13]。鉴于这些挑战，用于USC单元灵活运行的先进动态建模和控制技术仍值得进一步研究。准确的动态建模为控制设计提供了基础。现有的热电单元建模方法主要包括基于机理的方法和数据驱动的方法[14]。基于机理的模型从热力学原理和守恒定律中推导出控制方程[15]。例如，建立了一个660兆瓦燃煤单元的热力学模型，以分析其循环效率和运行特性[16]。同样，也开发了一个统一的动态模型，用于USC单元控制器的设计，以描述直流式和循环式模式及其转换过程[17]。然而，这些模型通常依赖于简化的假设，这可能会限制其建模精度。数据驱动的建模直接从历史运行数据中构建数学表示[18]。传统的系统识别方法通常围绕特定的运行点建立，当单元远离这些点运行时，可能难以保持满意的建模精度[19]、[20]。智能建模方法，包括多层感知器（MLP）、模糊神经网络（FNN）、循环神经网络（RNN）和基于Transformer的架构，提供了更强的非线性逼近能力。Huang等人[21]提出了一种基于FNN的动态建模方法，用于600兆瓦超临界单元干湿状态之间的双向转换。Liu等人[22]结合堆叠去噪自编码器和RNN来模拟USC单元的时间依赖行为。Huang等人[23]提出了一种改进的基于Transformer的建模方法，能够准确拟合USC单元的关键过程变量。尽管如此，基于MLP和FNN的模型在捕捉时间依赖性方面存在局限性。基于RNN的模型将历史信息压缩成固定长度的隐藏状态，导致长序列建模中的表达能力受限和梯度不稳定性。Transformer通过全局自注意力机制缓解了梯度消失和爆炸问题。然而，其标准注意力机制进行点对点相似性计算，主要依赖位置编码进行时间建模，这可能限制其捕获时间序列信号中连续趋势演变的能力。为了进一步提高建模性能，通过将注意力机制与RNN[24]、[25]、卷积神经网络（CNN）[26]或图神经网络[27]集成，提出了各种混合架构。然而，这些方法通常强调在特定时间尺度上的增强，仍然缺乏专门用于同时保持长期依赖性和表征USC单元负载依赖动态特性的机制，如表1所示。为了解决上述挑战，本文基于Titans[28]开发了一个建模框架。在保留神经网络强大的非线性表示能力的同时，Titans进一步增强了长期依赖性建模。此外，还结合了趋势感知注意力机制[29]、[30]，以增强负载变化时负载依赖动态特性的表示。

控制策略的性能直接影响USC单元的削峰质量和运行安全性。比例-积分-微分（PID）控制因其结构简单而在电厂系统中得到广泛应用[31]。然而，在强非线性或多变量耦合条件下，PID控制难以保持满意的性能。为了提高调节性能，已将模型预测控制[32]、滑模控制[33]和其他先进控制方法[34]引入热电单元调节。然而，这些方法通常依赖于相对准确的系统模型或在线优化计算，导致计算复杂性增加，可能无法满足工业控制系统中的实时要求。主动扰动抑制控制（ADRC）采用扩展状态观测器（ESO）在线估计和补偿总扰动[35]，实现理想的动态性能和扰动抑制能力，而无需依赖精确模型[36]、[37]、[38]、[39]。EADRC是ADRC的一种单自由度变体，专为工业控制系统中的实际应用开发[40]、[41]、[42]、[43]。凭借强大的扰动抑制能力和良好的工程适应性，EADRC被视为PID控制的有效替代方案，并已在热电单元应用中得到广泛研究。Hou等人[44]通过将降阶ESO嵌入EADRC框架，结合鲁棒补偿和执行器幅度及速率限制机制，并通过群体智能多目标调整优化控制器参数，提高了USC单元的负载调节性能。为了解决扰动观测的相位延迟问题，Pang等人[45]引入了MIMO环路的静态解耦，并在EADRC结构中开发了相位领先的ESO，从而提高了扰动估计的相位裕度。Ye和Hou[46]专注于热电单元与钒氧化还原液流电池的协调削峰，将实时AGC分解与二阶扰动补偿EADRC集成，实现了改进的扰动重建精度和动态响应性能。然而，大多数关于热电单元中EADRC的研究都是在连续时间设置下进行的，而该领域对其离散时间实现的系统研究仍然相对有限。实际工业控制系统通常以低采样率运行，对连续时间控制器的简单离散化往往无法保留其原始动态特性[47]、[48]、[49]。尽管文献中已经研究了离散时间ADRC[50]、[51]，但据作者所知，其应用于USC单元调节的情况尚未报道。基于此考虑，本文开发了一种基于电流形式观测器的离散时间EADRC策略，以提高其在数字控制条件下的适用性。进一步分析了电流形式离散时间EADRC的闭环稳定性和其观测器的测量噪声敏感性。

合理的参数选择对控制器的性能至关重要。基于群体智能的优化算法由于其简单性和全局搜索能力而在参数调整领域得到广泛应用[52]、[53]。然而，这些方法通常是在离线进行的，因此无法随着运行条件的变化在线调整控制器参数，固定的一组EADRC参数不足以维持满意的控制性能[54]、[55]。RL是一种有效的求解最优序列决策问题的方法，不依赖于被控制对象的精确模型。通过与环境的持续交互和性能驱动的策略更新，RL能够在复杂非线性系统中动态调整决策变量[56]、[57]。近年来，RL逐渐被引入热电控制中，以增强灵活运行性能。Ye等人[58]采用深度确定性策略梯度（Deep Deterministic Policy Gradient）与EADRC结合，学习了分层补偿控制策略。Hou等人[59]和Huang等人[60]进一步开发了分层RL-预测控制框架，以改善经济和灵活的负载调节性能。此外，Zhang等人[61]提出了一个RL框架，采用软演员-评论家（Soft Actor-Critic，SAC）来学习协调的电力-热控制动作。这些研究展示了RL在增强灵活性和经济性能方面的巨大潜力。然而，现有方法主要集中在分层协调或直接控制律生成上。值得注意的是，Hou等人[62]采用基于双延迟深度确定性策略梯度的多代理框架来调整卡尔曼滤波器级联EADRC的参数。然而，获得的参数仍然在控制器内作为固定集合使用，且验证场景集中在相对较小的调节范围内。受到上述研究的启发，本文将RL引入EADRC框架。考虑到SAC算法在连续控制任务中的样本效率和稳定的策略更新机制，本文采用了SAC[63]、[64]。SAC代理根据系统运行状态在线生成关键的EADRC参数，使得在不同负载条件下能够进行自适应动态调整。

总结来说，本文研究了USC单元的动态建模和控制，旨在提高其灵活运行能力。本文的主要贡献如下：
(1) 通过结合LMM和趋势感知注意力机制，提出了一种改进的Titans模型。该模型在保留神经网络表征非线性及强耦合多变量动态的优势的同时，能够精确提取长期依赖性，并准确表示USC单元中的负载依赖动态演变。
(2) 设计了一种带有电流形式观测器的离散时间EADRC控制器，以减少观测延迟，从而在低采样率下提高扰动估计性能，并在数字实现中增强控制效果。进一步分析了预测形式和电流形式ESO的测量噪声敏感性。
(3) 将RL辅助的参数调整策略结合到EADRC框架中，其中SAC代理根据系统运行状态在线调整关键控制器参数，从而在不同负载条件下提高控制适应性。

本文的其余部分安排如下：第2节分析了USC单元在灵活运行期间的运行特性，并探讨了相关的建模和控制挑战。第3节介绍了所提出的动态建模方法和离散时间RL辅助EADRC控制策略。第4节提供了实验结果，以验证所提方法的有效性。最后，第5节总结了本文并指出了未来的研究方向。

USC单元结构和模型简化
USC单元主要由三个核心子系统组成：直流式锅炉、蒸汽轮机和热回收系统，如图1所示。煤首先被粉碎并送入炉膛，在那里燃烧释放热量以提高给水温度。然后给水流经省煤器、水壁、蒸汽分离器和过热器，转化为高参数的主蒸汽。主蒸汽在高压（HP）和中间压力（IP）中膨胀。

改进的Titans建模和RL优化的离散时间EADRC控制策略
为了应对这些挑战，提出了一个用于USC单元灵活运行的建模-控制框架，如图3所示。首先通过结合LMM和趋势感知注意力机制，开发了一个针对USC单元动态特性的改进Titans模型，用于后续的控制性能评估。接下来，设计了一种带有电流观测器结构的离散时间EADRC策略，以更好地保持负载跟踪和扰动抑制性能。

实验验证
所提出框架的有效性在动态建模和控制性能方面得到了验证。具体来说，首先评估了改进Titans的建模精度，以证明其描述USC单元动态行为的能力。在此基础上，然后在不同负载命令下检查了所提出的离散时间RL-EADRC的跟踪性能。此外，还进行了扰动抑制测试，以评估其所提出的方案的鲁棒性。

结论
本研究通过结合改进的Titans建模和离散时间RL-EADRC控制，为1000兆瓦USC单元提出了一个灵活运行方案。可以得出以下结论：
(1) 通过将LMM和趋势感知注意力机制整合到Titans中，获得了一个高精度的USC单元动态模型。所提模型的整体建模精度达到了99.3%。与PatchTST相比，三个输出变量的均方误差（MSE）分别减少了30.17%、25.32%和37.83%。

作者贡献声明
Wenchuan Huang：监督、调查、数据整理。
Guolian Hou：监督、调查、数据整理。
Zeyu Liu：监督、调查、数据整理。
Xiangyu Du：撰写——审稿与编辑、撰写——原始草稿、可视化、验证、方法论、调查、概念化。
Lingling Ye：监督、调查、数据整理。

利益冲突声明
? 作者声明他们没有已知的竞争财务利益或个人关系，这些利益或关系可能会影响本文报告的工作。

致谢
本工作得到了中央高校基本研究基金（2025JC003）的支持。非常感谢评委们的深刻见解和宝贵建议。
杜向宇 | 侯国莲 | 黄文川 | 刘泽宇 | 叶玲玲