具有延迟特性的热能系统中基于物理一致性的强化学习温度控制

《Energy》：Physics-consistent reinforcement learning for temperature control in delayed thermal energy systems

　　

# 摘要

延迟流量热传递控制具有挑战性，因为出口温度受到流体传输延迟、固体储热以及隐性的壁面—流体热状态的影响。在有限测量条件下，控制任务变得部分可观测，这使得仅基于瞬时观测的强化学习容易采取延迟动作，导致过大的超调和闭环振荡。为了解决这一问题，本研究提出了一种物理一致的增广状态强化学习框架，用于延迟热能系统中的超调抑制温度控制。首先，分析了流量加热过程的延迟输入—输出关系，以阐明瞬时观测为何不足以进行策略学习。随后，建立了一个快速降阶物理模型，用于预测稳态热液特征，包括出口温度、压力、流速和特征沉降时间。为减小因降维和不确定传热条件引起的模型偏差，引入了集合卡尔曼滤波器在线更新等效热源修正参数。修正后的物理预测被纳入策略状态中，并基于该增广状态表示训练了基于PPO的连续控制策略。在80°C基准测试中，所提出的方法在五个独立训练的随机种子中实现了最大温度超调为0.291±0.201°C，相较于标准PPO降低了86.4%。在70、75和80°C目标下，平均最大超调保持在0.148至0.291°C之间，证明了在测试设定点上可重复的超调抑制调节能力。这些结果表明，在线修正的物理状态增广改善了强化学习的状态表示，并为延迟热能系统提供了控制参考。

# 引言

现代热能系统日益需要在高效率、高功率密度和严格安全裕度的条件下运行。随着紧凑型和高性能能源设备的发展，这些系统越来越多地面临高热流密度、热—电耦合行为以及频繁的负载变化。这类需求在电池热管理中尤为突出，因为在电池热管理中热过程和电过程之间存在强耦合[1]。因此，温度调节是一项关键的运行任务，因为它直接影响能量转换效率、设备可靠性和运行安全。流量热传递过程广泛应用于太阳能热转换[2]和核能系统[3]中。在这些应用中，必须调节热输入、冷却剂流量和出口温度以维持稳定的运行条件。近期关于变工况下动态热管理的研究进一步强调了先进能源系统对快速可靠热调节的需求[4]。

然而，流量热传递过程中的精确温度控制仍然具有挑战性。停留时间变化、流体传输时间、壁面储热和入口扰动都会延迟出口温度响应并增加闭环调节的难度[5]。在有限测量条件下，这些延迟和部分可观测的动态特性使得控制器难以推断系统的实际热演化过程。这可能导致延迟调节、温度超调和闭环振荡。针对相关延迟热控制问题，研究者已开发了基于预测器和边界调节的策略，但它们仍然依赖于显式的延迟感知模型或反馈结构[6]。这些局限性促使我们需要开发能够表示隐性热动力学并支持热能系统稳定运行的可靠控制方法。

时间延迟控制已从多个理论视角进行了广泛研究。早期研究主要集中在延迟补偿和固定结构反馈控制方面，代表性方法包括Smith预测器和改进的PID控制器。这些方法通过在控制回路中引入预测模型、补偿环节或鲁棒调参机制来缓解延迟效应。例如，Normey-Rico等人系统地综述了基于Smith预测器的结构和死区补偿结构，强调了它们在具有大延迟过程中的重要性[7]。Ingimundarson等人提出了死区补偿控制器的鲁棒调参程序，以改善对延迟变化的容忍度[8]。?str?m等人讨论了PID控制在工业过程中的设计和性能局限性[9]，而Panagopoulos等人则将PID调参表述为考虑鲁棒性和闭环性能的约束优化问题[10]。然而，这些方法依赖于精确的过程模型和固定反馈结构，限制了它们在具有强热惯性、传输延迟和变化运行条件的流量热传递过程中的适用性。

模型预测控制（MPC）已被广泛应用于延迟和约束系统，因为它在滚动时域上预测未来系统演化并在运行约束下优化控制动作。Mayne等人建立了约束MPC的理论基础[11]，而Qin等人综述了其在工业过程控制中的成功应用[12]。在延迟能源和过程系统中，Zhao等人提出了基于预测负载和时间延迟的区域能源系统MPC策略[13]，Srinivasagupta等人则为具有随机通信延迟的过程开发了一种时间戳MPC算法[14]。这些研究展示了MPC在延迟感知控制中的潜力。然而，MPC的性能强烈依赖于预测模型的保真度和在线优化的效率。对于流量热传递系统，流体传输、壁面储热和分布热状态的耦合效应使得精确的实时预测变得困难，从而限制了MPC在强延迟热控制问题中的直接应用。

随着数据驱动控制的发展，强化学习（RL）已成为复杂非线性能源系统的一种有吸引力的方法，因为它可以通过直接交互学习顺序控制策略，而不需要显式的高保真控制模型。Mnih等人展示了深度强化学习的强表示和决策能力[15]，而Vázquez-Canteli等人综述了其在需求响应和建筑能源管理中的应用[16]。Perera等人进一步总结了RL在更广泛的能源系统优化中的使用[17]，Spielberg等人则探索了用于非线性过程控制的深度强化学习[18]。最近，迁移学习与多智能体强化学习被结合用于热成型加热系统的高效自适应控制，进一步证明了RL在复杂热过程控制中的相关性[19]。这些研究表明了RL在复杂能源系统自适应控制中的潜力。然而，大多数RL方法仍然在马尔可夫决策过程假设下制定，其中当前状态应为未来决策提供充分信息。在流量热传递系统中，出口温度演化受到热惯性、传输延迟和隐性壁面—流体热状态的强烈影响，使得瞬时观测不足以进行稳定的策略学习。这促使我们进行物理引导的状态增广，以改善RL控制中延迟热动力学的表示。

本研究的目标是在有限测量条件下改善延迟流量热传递系统中基于强化学习的温度控制。具体而言，本研究解决了由传输延迟、固体储热和隐性壁面—流体热状态引起的状态表示不足问题，这些问题使得瞬时观测不足以进行稳定的策略学习和超调抑制。

方法论的重点是利用强化学习为延迟热控制构建物理一致的状态表示。PPO用于优化连续控制策略，而降阶模型不用于模型滚动或在线滚动时域优化。相反，快速物理模型提取与隐性延迟动态相关的紧凑热液特征，EnKF则利用当前植物反馈修正等效热源参数。修正后的物理预测被纳入策略状态中，供PPO用于连续控制。

本研究的主要贡献总结如下：

1. 从部分可观测性的视角重新表述了延迟流量加热控制问题。理论推导表明，出口温度观测依赖于延迟的历史动作和隐性热状态，解释了为何瞬时观测对标准强化学习控制而言是不够的。

2. 开发了一种带有在线修正的物理一致状态增广策略，将延迟热历史压缩为紧凑且具有物理可解释性的特征。该策略不依赖单一控制步的观测或直接堆叠观测历史，而是通过快速物理模型预测稳态出口温度、压力、流速和特征沉降时间。这些预测被在线修正并纳入策略状态。

3. 引入了一种在线EnKF修正机制来更新等效热源参数并减小降阶物理模型中的偏差。这种修正在模型简化和不确定传热条件下提高了物理信息增广状态的可靠性。

4. 将修正后的增广状态与基于PPO的策略集成用于连续控制，并使用五个独立训练的随机种子进行评估。在80°C基准上的对比实验表明，相较于代表性反馈控制器和强化学习控制器，该方法在超调抑制和动作平滑性方面均有改善。在70、75和80°C下的额外测试显示了在测试设定点上可重复的目标跟踪能力。

本文其余部分组织如下：第2节建立了流量热传递系统模型并从物理和数学角度分析了热延迟特性，进一步阐明了有限测量如何导致强化学习框架中的部分可观测性和观测空间历史依赖性。第3节提出了所提出的物理一致状态增广强化学习方法，包括快速物理模型的构建、在线数据同化策略以及基于增广状态的PPO控制器。第4节展示了验证和控制评估结果。首先使用实验测量的瞬态响应来评估RELAP5模型的动态保真度。然后在相同的测试条件下使用基于RELAP5的数字环境评估基于物理的预测、数据同化和闭环控制性能。本文中使用的主要符号和缩写总结在附录C中。

## 流量热传递过程的机理建模

为了捕捉流量热传递过程的关键动力学，包括热惯性和传输延迟，必须明确定义物理构型、材料属性和边界条件。几何布局和材料分布决定了固体壁面和流体之间的传热路径，从而控制热容和延迟的形成。基于实际测试系统，建立了高保真RELAP5模型以支持后续的……

## 整体算法框架

在加热系统中，流体热传递固有的时间延迟特性以及传感器测量的有限可用性，使得观测到的决策过程变为部分可观测且具有历史依赖性。底层系统在完整内部状态下可能是马尔可夫的，但瞬时观测不包含足够的信息来识别该状态。因此，仅依赖单步观测的传统强化学习方法可能会遭受……

## 实验设置与评估指标

评估在2.1.1节所述的板式矩形流量热传递系统上进行。物理设施提供了用于建立和验证RELAP5模型的几何结构、材料属性、边界条件和瞬态温度测量数据。验证后，RELAP5模型被用作高保真数字环境进行强化学习交互、控制器训练和闭环控制器评估。

## 主要闭环任务

……

## 主要发现与贡献

延迟流量加热系统中的出口温度控制同时受到近期测量值、历史控制输入和潜在壁面—流体热状态的影响。在有限传感器覆盖条件下，瞬时观测无法充分表征不断变化的热状况。因此，基于单步观测的强化学习可能会遭受状态混叠和延迟动作归因的问题，导致过度加热、温度超调和闭环……

## CRediT作者贡献声明

Xu Xing（邢雨）：撰写—原稿撰写，软件，方法论，形式化分析，数据整理，概念化。Zhaopeng Feng（冯兆鹏）：撰写—审阅与编辑，软件，方法论，数据整理。Zelong Zhao（赵泽隆）：撰写—审阅与编辑，监督，软件，方法论。Xiaojing Liu（刘晓静）：撰写—原稿撰写，监督，方法论，数据整理。Meiqi Song（宋美琪）：撰写—审阅与编辑，监督，方法论，数据整理，概念化。

## 利益冲突声明

作者声明不存在已知的竞争性经济利益或个人关系可能会影响本文所报告的工作。

## 致谢

本工作得到了国家自然科学基金（NSFC，资助号12427811）的支持。作者感谢实验平台、数值建模和基于强化学习的热控制研究提供的资金支持。

邢雨 | 冯兆鹏 | 赵泽隆 | 刘晓静 | 宋美琪
上海交通大学智慧能源学院，上海市建川路665号，上海，200240，中国