知识引导的分层强化学习用于冷机系统鲁棒运行控制:酒店建筑中的现场部署

《ENERGY AND BUILDINGS》:Knowledge-guided hierarchical reinforcement learning for robust operational control of chiller plants: Field deployment in a hotel building

【字体: 大 中 小 】 时间:2026年08月30日 来源:ENERGY AND BUILDINGS 8.0

编辑推荐:

   摘要 冷水机组系统的日益复杂性和异构性使得智能控制对于降低建筑能耗和碳排放至关重要。然而,有效的系统级运行控制需要在严格的运行约束下,跨多个时间尺度实现混合离散-连续决策的协调,而现有研究大多局限于仿真,且往往忽视了实际部署的工程技术要求。针对这些问题,本研究提出了一种知识

  

摘要

冷水机组系统的日益复杂性和异构性使得智能控制对于降低建筑能耗和碳排放至关重要。然而,有效的系统级运行控制需要在严格的运行约束下,跨多个时间尺度实现混合离散-连续决策的协调,而现有研究大多局限于仿真,且往往忽视了实际部署的工程技术要求。针对这些问题,本研究提出了一种知识引导的分层强化学习(HRL)框架,用于实际冷水机组系统的运行控制。该框架将系统级决策分解为负责离散设备启停调度(staging)的高层策略和负责连续调节的低层策略,并将工程知识嵌入分层动作设计和可行的控制约束中。为支持预训练,本研究进一步开发了一种物理引导的数据驱动代理建模方法,该方法利用基于k近邻(kNN)的样本密度自适应调整物理约束的权重。在预训练过程中,HRL控制器学会了协调一致的、对状态响应的系统级控制模式。在相同工况下的预部署评估中,该控制器相对人工控制预计降低了总电耗22.14%,主要得益于制冷机电耗降低32.44%。在部署过程中,尽管存在状态分布偏移,控制器在针对具体案例的安全保障机制下,仍实现了安全稳定的自主运行,能源性能与人工控制相当。这些结果表明,通过物理引导的预训练和工程安全保障,HRL作为知识引导的监管层,为冷水机组运行控制的可扩展部署提供了一条潜在的途径。

引言

2024年人为气候变化达到了前所未有的水平,使其成为175年观测记录中最温暖的一年[1],凸显了加速减缓和适应气候变化的必要性。2022年建筑运营约占全球终端能源消耗的30%和能源相关CO2排放的27%[2],使其成为能源相关气候影响的主要贡献者。由于暖通空调(HVAC)系统在建筑能耗中占据主导地位,冷水机组系统的运行性能直接决定了能效和碳足迹,凸显了智能自适应控制策略的必要性。

HVAC系统的异构性不仅源于建筑功能的差异,还源于其机械系统的复杂性——众多类型的设备通过复杂的水力与热力相互作用耦合在一起,使每个冷水机组系统都具有独特性。即使建筑类型和布局相似的建筑物,其HVAC系统配置、可控参数、数据质量和运行逻辑也可能存在显著差异。此外,随着蓄热、可再生能源和电网交互技术等新兴元素的整合,HVAC系统的复杂性不断增加[3],控制维度扩大,多尺度时空耦合加剧。这些特征对更先进的控制方法提出了更高的要求。

历史上,基于规则的控制一直是实际工程中冷水机组系统运行的一种稳定可靠的方法。尽管这种规范性和反馈式反应控制简单且运行有效,但由于缺乏预测信息且依赖于固定的、预先调校的控制序列,无法适应特定建筑特征和气候条件,因此本质上是非最优的[4]。近年来研究的核心是两种先进控制方法,即模型预测控制(MPC)和强化学习(RL),它们分别作为基于模型和自由模型的方法被广泛研究。大量仿真研究表明,将MPC和RL应用于HVAC系统可以带来显著的节能效果[5]。尽管MPC在许多基于模型的控制场景中仍然有效,但其对精确系统模型的依赖以及对异构和快速变化条件的适应性有限,限制了其在更复杂应用中的可扩展性。在此背景下,RL的最新进展使其成为一种日益有前景的替代方案。

由于能耗设备众多,冷水机组系统具有巨大的节能潜力。然而,大多数与HVAC相关的RL研究聚焦于末端设备或区域级控制,而基于RL的冷水机组系统运行控制相比之下仍研究不足[4], [6]。Qiu等人[7]在实际中心站中开发了一种基于Q学习的冷冻水温度重置策略,辅以专家规则,实现了安全的在线学习并取得了节能效果。He等人[8]开发了一种自由模型的预测控制方案,集成了基于长短期记忆网络(LSTM)的负荷预测与RL驱动的冷冻水温度优化。He等人[9]提出了一种用于冷水机组的聚类深度Q网络(DQN)控制框架,优化连续的冷冻水供水温度设定值和冷却塔风机频率。这些研究表明了RL在冷水机组运行中的可行性,但它们对一两个控制变量的关注仅捕捉了系统级监管控制中固有的多变量协调问题的一部分。

更近期的研究将RL扩展到冷水机组的多变量协调。Homod等人[10]提出了一种合作多智能体RL框架,在大型离散状态-动作空间中协调多台冷机和HVAC子系统。Cha等人[11]系统地评估了几种DQN变体用于多冷机系统控制,其离散设备调度动作在仿真中相比基于规则的控制报告了显著的节能效果。Wang等人[12]开发了一种基于软演员-评论家(SAC)的RL框架,通过连续控制变量协调冷机、冷却塔和泵,用于实际部署。这些研究将RL扩展到冷水机组的多变量协调,证明了其在离散设备调度或连续运行控制方面的有效性。然而,实际冷水机组运行需要在异构动作空间和多个时间尺度上进行协调决策,因为监管性的设备调度决策(如冷机和泵的启停状态)是离散的,且以相对缓慢的时间尺度演变,而运行调节变量(如泵频率、冷却塔风机转速和温度设定值)是连续的,必须在热力与水力耦合的系统内快速响应负荷变化。

受早期分层框架如Feudal RL[13]启发的分层强化学习(HRL),将复杂决策问题分解为多个在不同时间或功能分辨率下运行的策略。对于HVAC系统控制,HRL提供了一种多级决策结构,其中高层策略处理长期设备调度,低层策略执行实时连续控制,从而有效管理HVAC系统的多时间尺度和多组件复杂性[14]。

Zhou等人[14]提出了一种基于option-critic的HRL框架,用于多冷机冷源系统,其中智能体观察室内热环境和室外天气作为系统状态,协调高层冷机-泵-塔设备组合和低层连续控制变量,在仿真中实现了改善舒适度和降低能耗的目标。Wong等人[15]开发了一种用于工业冷水机组控制的两层HRL架构,其中高层智能体调度冷机启用状态,低层智能体调整温度设定值,并表明在有限数据的仿真中,HRL在更好地平衡功率、温度违规和冷机磨损方面优于扁平RL、基于启发式的策略(HBP)和多智能体强化学习(MARL)。Liao等人[16]提出了一种全年HRL框架,使用近端策略优化(PPO)进行顶层模式选择,使用双延迟深度确定性策略梯度(TD3)进行底层风机/泵频率控制,以处理混合动作空间,在温度合规性和温度与CO2要求的联合合规性方面均有所改善,同时在高保真仿真平台中相对比例-积分(PI)控制降低了能耗。Tang等人[17]将商业建筑HVAC控制建模为为电网频率调节服务提供的双时间尺度马尔可夫决策过程(MDP),并使用基于SAC的HRL框架求解,分层智能体在仿真中协调慢速和快速时间尺度的控制动作。总体而言,这些研究表明了HRL在HVAC控制中的前景,通过将决策分解到设备层、动作层级和时间尺度。它们表明,对于受约束的、混合动作的HVAC系统,HRL比扁平RL提供了更合适的框架,用于协调长期的设备级决策和短期的连续调节。尽管取得了这些进展,现有HVAC中的HRL研究仍然主要基于仿真,在现实世界实施方面进展有限。

尽管基于深度强化学习(DRL)的HVAC控制日益受到关注,但其实际可扩展性和可部署性仍受到缓慢策略收敛[18]、不稳定且可能不安全的早期探索[19]、充足且具有代表性的运行数据有限可用[20],以及需要适应学习策略到特定建筑动态和运行条件[18]等因素的制约。现有研究已尝试将DRL扩展到超越单区域或单设定值控制,用于更复杂的HVAC决策问题。早期研究证明了从高维建筑状态中学习HVAC控制策略的可行性[21],随后扩展到整栋建筑控制和需求响应[22]。多智能体DRL已被开发用于在耦合的舒适度、空气质量和能耗成本约束下协调多区域控制[23]。迁移学习也被引入以提高跨建筑适用性并减少重新训练工作[24],近期研究进一步通过跨不同能源系统、气候和运行条件的建筑进行在线和异构迁移学习来扩展这一方向[18], [25], [26]。最近,分层DRL已被探索用于通过分解控制为高层模式选择和低层连续调节来处理混合离散-连续动作空间[16]。这些研究表明,可扩展的HVAC控制DRL需要超越增加神经网络容量,它取决于结构分解、分布式或分层协调、知识重用,以及能够减少全站决策空间维度和重新训练负担的机制。

部署既驱动又定义了基于DRL的HVAC控制研究。由于不安全在线探索在实际建筑中不可行,研究重点在于利用历史数据、离线学习、基于仿真的预训练和部署前的安全感知探索。例如,Gnu-RL利用历史控制器数据和可微MPC策略来增强实际适用性[27]。实际建筑中的实施已在辐射供暖、以人为中心控制和热激活系统中得到验证,通常依赖于校准模型、虚拟预训练或分阶段部署以最小化物理试错[28], [29], [30]。近期研究进一步结合在线迁移学习、模仿学习和微调,向可扩展的实际部署迈进,使DRL控制器能够在真实办公环境之间迁移,或从已接受的基于规则的控制器初始化后进行在线适应[31], [32]。此外,安全感知RL框架集成了专家知识、约束、动作掩码、批量RL和离线到在线微调,以提高部署可行性[33], [34], [35]。

本研究的动机源于以下挑战:
- 尽管现有针对冷水机组运行的RL研究已显示出令人鼓舞的结果,但由于强烈的热力-水力耦合、混合动作空间和系统级多时间尺度运行控制,实际冷水机组运行控制仍然极具挑战性。
- 扁平RL对于冷水机组运行优化仍然不够,因为需要在异构离散-连续动作和多个时间尺度上协调多个耦合变量。
- 现有HVAC系统中的HRL研究已经展示了分层分解在处理混合动作空间和多时间尺度控制方面的优势。然而,这些研究仍然主要局限于基于仿真的验证,其对于实际冷水机组实施的适用性仍未得到充分证明。

本研究的主要贡献如下:
- 开发了一种实用的HRL框架,用于实际水冷冷水机组系统,集成了用于离散设备调度的高层DQN和用于连续调节的低层SAC。
- 开发了一种物理引导的数据驱动代理建模方法,使用基于k近邻(kNN)的密度自适应加权物理约束,用于支持预训练,从而在保持数据稀疏区域物理一致性的同时支持广泛的状态-动作探索。
- 据我们所知,本研究首次在实际冷水机组中部署了HRL,实施了针对具体案例的安全保障机制作为安全和可靠运行的关键工程条件,以应对有限的训练状态覆盖率和状态分布偏移,从而将基于HRL的冷水机组控制从基于仿真的验证推进到实际应用。

本文其余部分组织如下:第2节介绍所提出的方法,包括强化学习基础知识、分层强化学习框架和物理引导的预训练环境。第3节描述所提框架的工程实施。第4节呈现结果。第5节讨论主要发现和含义。最后,第6节总结全文并展望未来的工作。

方法片段

本研究中使用的离策略DRL算法

本研究在提出的HRL框架中采用了两种代表性的离策略深度强化学习算法:用于高层离散决策的DQN和用于低层连续调节的SAC。这两种算法作为模块化DRL组件采用,可以在相同的分层控制框架内被其他离散或连续动作算法轻易替换。

DQN[36]是一种基于价值的DRL算法,它通过近似来扩展表格Q学习……

冷水机组系统描述和数据集构建

中国成都的一家酒店冷水机组系统作为案例研究。如图3所示,该系统由两种类型的冷机、变频冷却水泵、变频冷冻水泵和变频冷却塔组成。冷水机组设备的详细配置见表1。

案例研究冷水机组数据集中包含的主要测量变量汇总于表2。

由于传感器缺失,3号冷水机组及…的实时功率数据无法获取。基于物理引导模型的预训练:图4展示了所提出的HRL控制器与平面RL基准在十次独立运行中的预训练性能。细线表示各次运行结果,粗线和阴影区域分别表示均值和一个标准差。在图4(a)中,平面控制器的回报是使用与高级DQN相同的工厂级奖励公式计算的,从而可以在等效的回合回报尺度上进行直接比较;而图4(b)…层次分解对工厂级控制的意义:预训练结果表明,层次分解可以改善涉及耦合离散决策与连续决策的工厂级控制策略的学习。所提出HRL框架的高级DQN比平面DQN和平面SAC基准实现了更高且更一致的工厂级回合回报。该结果表明,将设备调度与连续运行调节分离,可以降低直接在完整…空间上进行搜索的难度。结论与未来工作:本研究开发并现场测试了一种知识引导的层次强化学习(HRL)框架,用于真实世界水冷冷水机组机组的运营控制。主要结论如下:1. 在物理引导的代理环境支持下,该环境可实现广泛且物理一致的预训练,所提出的HRL框架通过将离散设备调度与连续调节分离,实现了比平面RL更好的训练性能和稳定性。2. HRL控制器…作者贡献声明:张文奇:撰写初稿、可视化、验证、软件、方法论、数据整理、概念设计。于勇:撰写初稿、可视化、验证、软件、方法论、调研。袁中元:撰写—审阅与编辑、指导、项目管理、资金获取。高博:资金获取。利益冲突声明:作者声明不存在可能影响本文所报告工作的已知竞争性经济利益或个人关系。张文奇|于勇|袁中元|高博
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号