面向地暖系统的物理感知深度强化学习:一种主动能源管理的仿真到实物框架
《Energy》:Physics-Aware Deep Reinforcement Learning for Radiant Floor Heating: A Sim-to-Real Framework for Proactive Energy Management
【字体:
大
中
小
】
时间:2026年09月21日
来源:Energy 10.1
编辑推荐:
• 物理感知DQN通过自适应温度滑路径优化地暖系统。
• 预测性状态空间将混凝土热质量视为虚拟电池。
• 云-边协同物联网框架提供可扩展的低成本楼宇能源管理系统(BEMS)改造方案。
引言
居住部门占全球能源消耗的一大部分,其中暖通空调(HVAC)系统可占总建筑能耗的50
• 物理感知DQN通过自适应温度滑路径优化地暖系统。
• 预测性状态空间将混凝土热质量视为虚拟电池。
• 云-边协同物联网框架提供可扩展的低成本楼宇能源管理系统(BEMS)改造方案。
引言
居住部门占全球能源消耗的一大部分,其中暖通空调(HVAC)系统可占总建筑能耗的50% [1]。在追求碳中和目标的进程中,地暖(RFH)已成为一项被广泛采用的技术。与对流供暖不同,地暖通过嵌入式管道循环温水,主要通过热辐射方式传递热量。这提供了均匀的垂直温度分布,最大限度地减少了空气对流,并增强了人体热舒适度 [2]。此外,由于地暖系统所需的供水温度较低,它们与高效、低?热源(如空气源热泵 [3])具有出色的兼容性。
然而,楼板结构的热惯性制约了地暖系统的能源效率 [4]。在地暖系统中,热能首先为致密的混凝土找平层充电,然后才辐射至生活空间,这在能量输入与房间空气温度变化之间造成了时间延迟 [5]。在不同天气条件下管理这种热滞后构成了相当大的控制挑战。传统的反应式控制器,如bang-bang(开/关)控制器和比例-积分-微分(PID)控制器,不适用于地暖系统。因为它们仅对瞬时温度误差做出反应,而无法预见巨大的热容 [6],这会导致温度过冲、住户长时间不适以及显著的能源浪费。为解决这些低效问题,近期研究积极探讨了地暖系统的热力学建模与最优控制。已开发出计算高效的灰箱和电阻-电容(RC)网络模型,以准确捕捉嵌入式辐射地板的时间延迟和空间温度动态特性 [61], [62],尽管某些建模框架利用理想化的均匀热边界条件来简化系统 [63]。利用这些物理模型,从多目标模型预测控制(MPC) [61]、用于相变材料的分布式MPC [64] 到轻量化的近最优规则型算法 [65],各种先进的控制策略在协同优化能耗、热舒适度和系统耐久性方面取得了显著成功 [61], [64], [65]。
从能源管理的角度来看,将供暖操作与昼夜周期中的人体生理需求对齐,为热负荷转移提供了机会。在睡眠期间,由于床品的热绝缘作用,可以维持较低的卧室空气温度(如冬季17°C–19°C)[7], [8], [9], [10]。实验研究表明,在有适当床品的情况下,住户在低至11.3°C的环境温度下仍能保持热舒适 [8], [9],这得益于暴露面部的凉爽偏好 [11]。最优热调节需要分阶段进行。虽然较温暖的睡前环境可以减少入睡潜伏期 [12],但在睡眠维持阶段避免过热对于防止睡眠碎片化至关重要 [13]。因此,睡眠期间的较低室内温度,配合醒前的主动预加热,可以最大化能源节约和睡眠质量 [7]。这一每日生理周期为将建筑热质量作为短期热能储存运行提供了战略框架。传统控制器无法预见睡眠-觉醒时间表,导致碎片化睡眠的残余过热,并未能提前唤醒前对房间进行预热。
认识到暖通空调系统是优化的优先目标 [14], [15],强化学习(RL),特别是深度强化学习(DRL),已成为一种颇具吸引力的控制范式。DRL使智能体能够在不需要显式系统模型的情况下平衡多个目标,如节能和热舒适度 [16], [17]。越来越多的文献证明了RL在协同优化能耗和室内舒适度方面的能力 [18], [19], [20],以及其适应个人偏好的个性化能力 [21], [22]。最新进展还进一步增强了DRL的预测能力 [23], [24] 和偏好启发机制 [25],以更好地预见热动态并平衡相互竞争的目标。这些特性使RL成为管理现代建筑复杂需求的灵活工具。将RL应用于辐射系统——后者通过直接辐射交换而非单纯依靠空气运动来实现热舒适度 [2], [26]——带来了独特的挑战。结构元素的显著热惯性在控制动作与相应的温度响应之间产生了长达数小时的滞后 [27], [28]。这种复杂性使得辐射系统成为基于RL控制的严格测试平台,需要长时域和前瞻性的策略。
许多现有研究依赖基于模拟的环境进行智能体的训练和评估。EnergyPlus、TRNSYS和Modelica等平台已成为RL智能体开发的实际标准底层平台,使研究人员能够在不危及物理基础设施或住户舒适度的情况下生成策略收敛所需的大量交互数据 [22]。然而,这种依赖未能解决实际部署带来的可扩展性和泛化性挑战。校准后的模型由于未建模的住户行为、传感器噪声和未测量的热扰动,可能与实际建筑动态产生偏差;因此,在模拟中表现良好的策略在现场部署时可能会性能下降 [29]。因此,RL的实际建筑应用仍然罕见 [30], [31]。存在值得注意的例外 [16], [32], [33],例如在一栋实际办公楼中部署软 Actor-Critic DRL控制器,结果表明在未增加能耗的情况下改善了温度控制。这些示范突显了RL的实用可行性,并支持了更广泛的实际建筑验证的紧迫性。
阻碍广泛采用的另一因素是主流DRL架构参数繁重的特性。当代DRL方法需要调节众多相互依赖的组件(如状态空间变量、奖励权重、神经网络架构和学习率)[34], [35]。DRL性能对这些超参数很敏感,不适当的取值会导致学习不稳定 [36], [37]。超参数与控制性能之间的非线性关系需要进行系统搜索以识别有效配置,这需要机器学习专业知识,而建筑工程师和从业者往往缺乏这些知识。此外,由于人机交互的复杂性,设计有效的奖励信号仍然具有挑战性 [18], [19]。这些参数的激增不仅使单个部署难以复制和转移到新建筑,还损害了所产生控制策略的可解释性:从业者无法轻松理解智能体为何在特定时刻选择给定的设定点,这破坏了实际建筑自动化环境中运营接受所必需的透明度和信任度 [38]。解决这些障碍的方向指向参数轻量、物理感知的DRL框架,即将热力学领域知识嵌入智能体架构,以提高可解释性并实现更快的收敛 [39], [40], [41]。
为了克服这些现有障碍,本研究提出了一种物理感知的DRL框架,将自适应温度滑路径整合到住宅地暖系统的热动力学优化中,将混凝土板作为虚拟热电池进行管理。为建立模拟到现实(Sim-to-Real)框架,智能体通过与可靠的5R3C热网络模型交互来学习控制策略,该模型通过基于梯度的优化方法进行了校准。为支持这种自适应控制,该框架采用了一种成本效益高的传感器架构,纳入了利用实时照明能耗的夜间调度推断机制。依靠这种启发式代理来推断睡眠-觉醒转换,控制智能体自主生成动态温度滑路径,以实现主动预热和热滑行。这种主动负荷转移方法消除了碎片化睡眠的温度过冲,并在能源效率和热舒适度之间取得平衡。
本文其余部分组织如下:第2节详细介绍了方法论框架,包括基于物理的热建模和物理感知DRL控制智能体的设计。第3节呈现了性能分析,包括模拟和实际部署结果。第4节讨论了实际部署意义和局限性。最后,第5节总结了本研究。
章节摘要
方法论
本节概述了所提出的物理感知DRL框架的方法论。对于地暖系统离散开/关阀门的最优控制,选择基于价值的深度Q网络(DQN)架构而非演员-评论家方法(如PPO、SAC)。DQN提供了简化的单网络结构,无需双网络复杂性,其离策略特性利用经验回放实现离线模拟训练中的样本效率。如图1所示,…
结果
本节呈现了所提出的物理感知DRL框架的综合评估。结果分为四个阶段分析:(1) 5R3C灰箱模型的校准精度;(2) 贝叶斯超参数优化的效率;(3) 与传统控制器相比的基于模拟的策略分析和节能效果;以及 (4) 展示成功模拟到现实迁移的实际部署性能。
实际部署中的可扩展性和经济可行性
本研究展示了一栋实际公寓中物理感知DRL框架与地暖最优控制的集成。虽然以往研究侧重于基于模拟的验证或大量仪器化的测试平台,但本研究解决了阻碍DRL在住宅建筑中实际实施的几个部署障碍。
虽然基于校准灰箱模型的MPC提供了可靠的基准,但其应用受到离散控制的限制…
结论
本研究提出并实验验证了一种参数轻量、物理感知的DRL框架,该框架采用自适应温度滑路径来优化多户住宅建筑中高热惯性地暖系统的控制。与以快速对流传热为特征的常规空调系统不同,地暖系统存在显著的热延迟。为解决这种固有的时间滞后和模拟到现实的挑战,开发了可靠的5R3C热网络模型并进行了校准…
CRediT作者贡献声明
June Young Park:撰写——原稿撰写,方法论,概念设计。Young-Sun Jeong:撰写——审阅与编辑,调查研究。Yong-Ki Kim:撰写——审阅与编辑,监督,资金获取,概念设计。Sukjoon Oh:撰写——原稿撰写,可视化,验证,方法论,形式化分析,概念设计。
利益冲突
无。
资金
本研究由韩国能源技术评价与规划院(KETEP)和大韩民国气候、能源与环境部(MCEE)资助(编号:RS-2024-00398693)。
利益冲突声明
? 作者声明不存在任何已知的可能影响本文所述工作的竞争性经济利益或个人关系。
致谢
本研究的测试建筑由韩国土地住宅公社的房屋环境研究与创新(HERI)提供。
Sukjoon Oh | June Young Park | Young-Sun Jeong | Yong-Ki Kim
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号