在极端热浪条件下，用于大型多区域办公建筑能源灵活控制的多目标情境感知深度强化学习方法

《Energy》：Multi-objective context-aware deep reinforcement learning for energy flexible control of a large multizone office building under extreme heatwave conditions

　　比拉尔·艾哈迈德|阿提克·艾哈迈德|安朱坎·卡蒂尔加马纳坦|郭俊良|张红娜|李晓斌|曲凯阳|李丰辰中国天津大学机械工程学院，发动机国家重点实验室，天津，300350摘要随着气候驱动的热浪频发且强度加剧，建筑物的制冷需求不断增加，从而加重了电力负荷峰值，威胁电网稳定。大型多区域办公建筑由于复杂的热动力学特性、 HVAC系统响应延迟以及严格的热舒适性要求，给能源管理带来挑战。强化学习在建筑能源管理方面展现出巨大潜力，但现有研究多集中在正常天气条件下、小型建筑上，且采用双重目标优化和瞬时状态表示方法，因此在极端高温事件中的表现有限。为弥补这些不足，本研究提出一种基于软演员-评论家的情境感知深度强化学习框架，以提高大型多区域办公建筑在热浪期间的能源灵活性。该框架结合历史HVAC操作数据和区域温度信息，以捕捉延迟的热响应，并利用外部天气和电价预测以及动态占用情况。通过三重目标优化，最小化制冷能耗、居民不适感以及电力负荷峰值。同时，该框架还整合了光伏发电和热能存储技术，以实现负荷转移和适应电网需求的运行方式。研究使用EnergyPlus-Python仿真工具，结合2023年意大利Cerberus热浪期间的实际天气数据和电力市场数据对这一框架进行了评估。与基于规则的控制方法相比，该框架可使居民不适感平均降低76.55%，能耗降低17.15%，总能耗降低16.45%，电力负荷峰值降低15.28%。能源灵活性指标显示，负荷转移率为20.55%，自用率为95.46%。这些结果证明了情境感知深度强化学习作为一种强大且可扩展的策略，在日益频繁和严重的热浪背景下，有助于实现具备电网响应能力的建筑。引言近年来，热浪的频率和强度不断上升，给电力系统和建筑运营带来了前所未有的挑战。在极端温度条件下，制冷需求的急剧增加进一步暴露了能源供应、负荷峰值管理和室内热舒适性方面的薄弱环节。因此，提升建筑的运行灵活性已成为缓解电网压力的核心策略。这对于那些占据城市大量能源消耗的大型多区域商业建筑尤为重要，因为这类建筑需要将热舒适性维持在可接受的水平。因此，深入理解热浪引发的能源消耗模式并采用先进的控制方法，对于开发出强大、可扩展且高效的数据驱动型建筑能源管理解决方案至关重要。热浪频发且强度加剧，对电网稳定和人类健康构成了严重威胁。热浪是指持续多日的异常高温天气[1]。各国根据当地的气候观测数据，制定了各自的热浪判定标准。在意大利，热浪被定义为连续至少六天，每日最高气温超过1991-2020年参考数据集的第95百分位数值。意大利每年的热浪天数是通过高温持续时间指数来计算的[2]。在热浪期间，由于建筑物需要更高的制冷量，电力需求和成本都会上升[3]。当需求突然激增时，电力基础设施可能会不堪重负，进而增加大面积供电不足的风险。电网往往难以应对不断增长的电力需求，甚至出现故障。就人类健康而言，热浪与停电的叠加会进一步增加健康风险，尤其是对于弱势群体和老年人，因为预计高温极值的强度和发生频率都将上升[4]。过去十年间，全球热浪的严重程度呈上升趋势。例如，2018年中，东亚部分地区遭遇了强烈的热浪，日本则出现了前所未有的夏季高温，熊谷地区记录到的最高气温达到了41.1℃[5]。2022年8月，中国西南部的四川省经历了长时间且强烈的热浪，电力负荷峰值超过了6500万千瓦，导致大规模的电力限制和停电现象[6]。在2022年的欧洲热浪期间，英国在7月19日的气温达到了40.3℃，这是该国历史上首次出现气温超过40℃的情况。这一时期的极端高温引发了欧洲大部分地区的干旱预警，进而导致了森林火灾，损害了生态系统并威胁到了能源系统[7]。2023年，席卷欧洲的Cerberus热浪导致意大利首都罗马的部分地区出现停电。该市的电力网格难以承受空调带来的巨大负荷，从而导致广泛的供电中断[8]。2024年，欧洲各地出现异常高的气温，导致电力消耗大幅上升，给电力网络带来了巨大压力，致使电力供应频繁中断。6月21日，黑山、波斯尼亚和黑塞哥维那以及克罗地亚等多个国家报告出现了大规模的电网故障[9]。在热浪期间，许多商业和商务中心等重要公共建筑限制了其运营，优先保障居民的电力需求，这影响了生产效率和收入。这些情况都表明，有必要采用优化的制冷方案，以保护电力网格并在极端高温期间确保电力供应的稳定性。全球约40%的一次能源被建筑所消耗[10]。其中，供暖、通风和空调系统占据了建筑总能源消耗的最大比例，约为38%，相当于全球建筑最终能源消耗的12%[11]。随着全球变暖的加剧，由气候变化引发的热浪频率预计将会增加。因此，HVAC系统的能源需求也会上升，给能源管理和可持续性发展带来挑战。为应对这一挑战，需要高效的HVAC系统，以便在控制能源消耗和碳排放的同时，维持健康舒适的室内环境。另一个挑战是，现代系统需要整合可再生能源资源，通过负荷转移来提高电网稳定性[12]。为应对这些复杂性，传统的基于规则的控制系统无法提供必要的适应性。这种控制系统是根据与气候变量或能源价格模式等相关的外部因素预先设定的规则来调整HVAC系统的运行[13,14]。然而，由于其无法对实时变化做出动态响应，其性能往往不尽如人意[15]，这也限制了它优化多个目标的能力[16,17]。优化算法必须平衡不同优化目标之间的关系。模型预测控制是一种先进的控制策略，它能够整合多个相互冲突的目标，从而在节能和舒适性等方面实现最佳平衡[18]。不过，将其应用于HVAC系统时，会受到环境温度、太阳辐射以及其他天气相关因素的不确定性影响[19]，这不仅增加了优化过程的复杂性，还降低了其在现实世界条件下的有效性[20]。虽然模型预测控制比传统的基于规则的控制系统更具动态性，但它仍难以应对现代HVAC系统在极端条件下的复杂性和不确定性。基于优化的方法在提高能源效率和维护舒适性方面表现出色，但由于它们依赖于精确的模型和预测，因此在不确定和动态的条件下适应性较差。正是由于这些挑战，人们越来越多地采用强化学习来实现更强大且具有适应性的控制。强化学习是一种无模型且以数据为驱动的方法，它可以通过与环境的持续交互来学习最优的控制策略[21]。近年来，强化学习在HVAC系统中的应用迅速发展，显示出在优化建筑运营中的能源效率与居民舒适性之间的平衡方面的巨大潜力[[22], [23], [24], [25], [26], [27]]。表1列举了以往基于强化学习的HVAC系统研究。在每篇论文中，都会介绍强化学习控制器的控制目标、控制范围、季节适用性、对外部预测的利用情况、状态表示方法、占用率建模以及所存在的局限性。如表1所示，目前大多数基于强化学习的HVAC控制研究都集中在平衡热舒适性和能源消耗的双重目标优化上。然而，随着具有电网互动功能的建筑越来越普遍，人们开始追求更多相互冲突的目标，比如降低电力负荷峰值。纳吉等人指出，建筑控制策略越来越需要考虑除维持室内热舒适性和减少能源使用之外的多种相互冲突的目标[34]。多重目标优化会带来各种矛盾，比如降低能源成本可能会影响热舒适性，提升舒适性则可能增加能源消耗和电力负荷峰值，而试图降低电力负荷峰值又可能会降低舒适度或增加能源成本。在建筑类型方面，大多数研究集中在小型建筑上，针对中型建筑的研究相对较少。这可能是因为与大型办公建筑相比，小型建筑的能源需求较为简单，而大型办公建筑则面临着高且复杂的能源需求所带来的挑战，还存在HVAC系统效率低下以及成本与舒适性之间难以平衡的问题。在运行条件方面，大多数研究都集中在常规的供暖和制冷场景上，而在评估强化学习在热浪等极端天气条件下的性能方面还存在明显不足。这类热浪越来越频繁，对电力系统和电网稳定构成威胁。热浪期间，温度、太阳辐射和湿度等气象条件可能会发生快速且极端的波动，从而加剧建筑和电网基础设施的热应力。那些依赖瞬时状态的标准化强化学习智能体可能无法预见到这种持续的边界条件违规情况，从而导致控制效果不佳、居民感到不适或能源消耗过度。热浪期间的电价变动和动态的占用模式会进一步加剧这些问题。在对外部预测的利用方面，只有少数研究纳入了天气预报或电价等外部预测数据。王和洪指出，引入预测状态有助于实现预控策略，比如提前制冷或预热，相比被动应对措施，这种方式能够提升能源利用效率[15]。此外，大多数研究都依赖瞬时电价，而在许多实际的电力市场中，同一天的未来电价是可以提前知晓的。忽视这一信息会限制智能体采取主动的负荷转移策略[35]。在状态表示方面，大多数现有研究都依赖瞬时状态，而这种方式无法充分反映延迟的热响应特性。王和洪指出了这一局限性，他们认为，纳入历史状态信息可以捕捉到延迟的热响应，从而使所学到的控制策略更加稳定且性能更佳[15]。同样，大多数研究往往假设设定点是固定的，或者仅使用预测平均投票值等指标，而这些方法无法应对动态且难以预测的占用模式。综上所述，这些局限性表明，现有的基于强化学习的HVAC控制策略不足以在极端热浪期间，为大型多区域办公建筑实现可靠、多目标且具备电网响应能力的运行效果。这就凸显了开发一种具有情境感知能力且能实现多目标控制的框架的必要性。为弥补已识别的研究空白，本研究做出了以下贡献：（1）本研究通过纳入历史HVAC操作数据、区域温度信息，以及外部天气和电价预测数据，解决了强化学习在捕捉延迟热响应方面的难题。这是因为仅依靠瞬时状态无法完全体现大型多区域建筑的热惯性。引入外部预测数据后，控制器能够预判热负荷和电力成本的变化，从而采取提前制冷和负荷转移等主动策略。（2）本研究提出了一种全新的三重目标控制框架，该框架能够同时最小化制冷能耗、居民不适感以及电力负荷峰值。降低电力负荷峰值对于实现电网响应式运行以及协调能源成本、舒适度和负荷峰值之间的关系至关重要。该框架通过支持负荷转移，并结合光伏发电和热能存储技术，提升了能源灵活性，从而使得在具有电网互动功能的建筑中实现更为均衡和高效的控制。（3）本研究将情境感知的SAC控制器应用于大型多区域建筑。这类建筑由于各区域之间存在复杂的相互作用，且能源需求较高，因此控制难度较大。该控制器还采用了动态占用模式，而非固定的设定点。在建筑内有人员居住时，会采用更严格的舒适度控制标准，而在无人时则适当放宽标准。这样一来，既能够在保证居民舒适度的同时实现节能运行，又能在建筑使用期间满足其需求。（4）本研究在2023年意大利罗马的Cerberus热浪期间，对所提出的控制策略的有效性进行了验证。研究采用了基于真实天气数据和电力市场价格的EnergyPlus-Python仿真工具，充分证明了该框架在极端热浪条件下的优异性能。本文的其余结构如下：第2节阐述情境感知深度强化学习的构建方法；第3节介绍案例研究；第4节分析研究结果并进行讨论；第5节总结本研究的主要发现。情境感知深度强化学习构建方法SAC算法是一种离线策略的深度强化学习算法，它通过最大熵目标函数来优化控制策略[36]。SAC因其能够处理连续动作空间以及具备高效的探索-利用平衡能力，非常适合用于能源管理任务，而这些特性对于优化像BEM这样的动态高维系统至关重要。它由两个主要组件构成：一个是将当前状态映射为最优动作的执行器，另一个是使用软建筑模型来评估动作的评估器。作为案例研究的建筑是从美国能源部（DOE）的商业参考建筑数据库中选取的。由于空调负荷较高以及能源成本与居住者舒适度之间的权衡，大型办公建筑会消耗城市中相当大的能源。DOE的大型办公建筑是一种广泛使用的参考模型，其多区域结构为评估先进的控制策略提供了典型的环境[39]。该模型的特点确保了研究结果的可靠性。

所提出的智能体的训练
为了在热浪条件下优先保障冷却性能，这种具有环境感知能力的SAC智能体首先使用6月1日至7月15日的数据进行初始训练，每轮训练模拟一个半月的周期。训练是在离线状态下进行的，通过50轮重复模拟来探索不同的控制路径，并确保算法能稳定收敛。训练轮数是通过初步的敏感性分析确定的，旨在实现智能体的最佳性能。

结论
气候变化导致极端温度事件，包括热浪和寒潮，的发生频率和强度不断增加。热浪会因增加的冷却需求而对电网稳定性造成巨大压力。现代系统必须在满足能源需求的同时保持室内热舒适度。尤其是大型多区域办公建筑，由于复杂的热动力学特性、空调系统的延迟响应以及严格的热舒适度要求，带来了诸多挑战。

RLCRediT作者贡献声明
Bilal Ahmed：撰写——初稿、可视化、验证、软件、资源、方法论、研究、数据整理、概念设计。Ateeque Ahmed：撰写——审阅与编辑、软件、方法论、概念设计。Anjukan Kathirgamanathan：软件、资源、方法论。Jun-Liang Guo：撰写——审阅与编辑。Hong-Na Zhang：撰写——审阅与编辑。Xiao-Bin Li：撰写——审阅与编辑。Kai-Yang Qu：撰写——审阅与编辑。Feng-Chen Li：撰写——审阅与编辑。

利益冲突声明
作者们声明没有已知的财务利益或个人关系可能影响本文所述的工作。

致谢
本研究得到了中国国家自然科学基金（52476158, U24B2067）的支持。