基于行为的混合动作深度强化学习用于智能建筑能源管理

《Engineering Applications of Artificial Intelligence》：Behavior-based hybrid-action deep reinforcement learning for intelligent building energy management

　　

摘要
住户行为的随机特性导致家庭能源使用和需求的显著变化，这要求建筑能源管理系统（BEMSs）进行显式行为建模，以优化经济性能和用户舒适度。虽然深度强化学习（DRL）已成为管理此类不确定性的有前景的方法，但许多现有方法要么将能源使用行为视为外生扰动，要么难以处理能源调度的混合整数性质，这涉及离散和连续决策变量。为了解决这个问题，提出了一种基于行为的混合动作深度强化学习（HADRL）方法。该方法将数据驱动的能源使用行为分析与混合动作决策相结合用于能源管理。首先使用无监督聚类分析历史能耗数据以识别代表性模式，在此基础上训练行为分类器以实现在线、模式感知的决策。然后将推断的行为信息纳入混合动作 DRL，协调离散动作 Q 网络和连续动作演员 - 评论家网络，共同优化混合动作空间（离散和连续）。基于真实数据的模拟表明，该方法始终优于所考虑的基线方法。具体而言，平均温度偏差降低了 29%，表明热舒适度显著提高；建筑能源成本降低了 24.5%，反映了经济效率的提高，并且性能标准差降低了 59.4%，证明了操作稳定性的增强。

引言
随着城市化进程的加速，能源需求正在迅速增长。鉴于住宅建筑目前约占全球总能耗的三分之一，减少该领域的能源消耗提出了严峻的挑战（Ren 等，2024a；Yu 等，2021）。建筑能源管理系统（BEMSs）作为一种有前景的解决方案脱颖而出，智能电器的广泛应用、无线传感器网络的快速发展以及屋顶光伏系统的日益部署带来了新的机遇（Chatterjee 等，2023；Iyobhebhe 等，2025；Afzal 等，2024）。

作为集成和执行多种能源源控制逻辑的中心枢纽，BEMSs 主要负责供暖、通风和空调（HVAC）系统、照明和配电资源等各种负载设备的最优调度，以实现节能、减排、提高用户舒适度并实现自主运行（Gon?alves 等，2019；Slama 和 Mahmoud，2023；Chao 等，2025）。然而，用户行为天生具有随机性，导致各家庭电器使用模式多样化（Liu 等，2022）。具有固定参数的传统方法无法适应这些变化，损害了能源效率和用户舒适度。因此，将行为意识整合到 BEMSs 中势在必行；捕捉能源使用行为的随机特性可以实现更精确、符合用户的优化策略（Wu 等，2024a；Zhu 等，2023）。

现有研究调查了将能源使用行为纳入建筑能源管理的多种方法。基于问卷的方法通常通过自我报告的偏好和习惯模式来编码行为信息（Dorahaki 等，2022），而最近的研究通常通过预定义的场景假设（Amer 等，2023）或简化的单因素表示来操作化能源使用行为（Shi 等，2024；Wu 等，2024a；Ren 等，2024a）。虽然这些方法促进了行为感知建模，但它们依赖于主观输入或强先验假设，因此难以捕捉真实家庭能源使用轨迹中揭示的潜在、异质和时变偏好。此外，这种行为表示通常仅与序列决策弱耦合，从而限制了其在 BEMS 中支持随机价格、环境条件和操作约束下的自适应、符合用户的控制的能力。

这些局限性呼唤一种将行为意识与自适应控制相结合的数据驱动框架，而不是仅仅将能源使用行为视为离线或外生输入。在此背景下，深度强化学习（DRL）提供了一种有前景的方法，它将 BEMS 操作建模为马尔可夫决策过程（MDP），并直接从交互轨迹中学习自适应策略，以在不确定性和操作约束下优化长期目标（Xiong 等，2025；Irfan 等，2026；Wang 等，2024）。

然而，将 DRL 应用于 BEMS 的一个关键挑战是混合动作空间，它包括连续（例如 HVAC 的功率设置）和离散（例如洗衣机和烘干机的开关）动作（Guo 等，2022）。为解决此问题，Wei 等（2017）构建了一种基于 DRL 的 HVAC 控制方法，其中每个通风口的气流被离散化以实现基于 DRL 的控制。Forootani 等（2022）提出了一种使用双深度 Q 网络（DDQN）算法的家庭能源管理方法，其中电动汽车的充电功率被离散化以使动作选择变得可行。尽管如此，用离散近似替代连续动作本质上会降低控制精度，从而限制了 BEMS 达到最优策略的能力（Gao 等，2020）。Yang 等（2023）提出了一种基于混合策略的 DRL 方法，通过混合 Q 学习机制共同处理离散设备开关和连续功率调节。该方法应用于受传输约束的岛屿系统的多能源调度。Qiu 等（2022）开发了一种混合多智能体 DRL 方法，用于协调离散交通路由和连续充电调度，以进行耦合电力 - 交通网络中分布式电动汽车的韧性控制。

在能源系统之外，最近的研究专注于混合动作算法。Xu 等（2023）在软演员 - 评论家（SAC）框架内解耦了无人飞行器（UAV）路径规划中的离散和连续动作。Li 等（2021）提出了混合动作表示（HyAR），使用条件变分自编码器（VAE）将混合动作映射到潜在表示中。同样，Liu 等（2024）通过层次动作空间树和基于 Transformer 的蒙特卡洛树搜索增强了探索，并以高计算开销为代价实现了强大的性能。然而，这些方法依赖于离散动作及其相关连续动作之间的显式参数化关系。在考虑的 BEMS 中，这种关系并不自然存在：HVAC 功率是连续控制的，而家用电器则由离散决策控制。因此，这些方法可能无法有效协调这些异构动作（Xiao 等，2026）。

为了解决数据驱动行为建模与序列控制有限整合以及现有混合动作公式与异构 BEMS 决策之间的不匹配问题，提出了一种基于行为的混合动作 DRL（HADRL）方法，以减少能源消耗并提高用户舒适度。利用历史能源使用数据识别代表性行为模式并提取模式依赖的偏好参数。训练一个分类器在线识别行为模式。将推断的行为信息嵌入到智能体的状态空间和奖励函数中，以实现符合用户的自适应控制。为了解决 BEMS 中的混合决策问题，所提出的 HADRL 采用了一种分解学习框架，直接优化混合离散 - 连续动作，并通过集成 Q 网络和演员 - 评论家网络来保持控制保真度。本研究的主要贡献总结如下：
• 提出了一种基于行为的混合动作 DRL 框架，该框架整合了模式依赖的用户偏好，以实现超越现有 BEMS 固定参数设置的个性化和场景自适应控制。
• 设计了一种混合动作 DRL，采用非对称的、奖励结构化的学习架构，其中离散动作根据连续动作进行条件优化，从而提高了耦合连续 - 离散决策的训练稳定性。
• 进行了基于真实数据的模拟，结果表明该方法同时提高了经济效率和用户舒适度：平均温度偏差降低了 29%，建筑能源成本降低了 24.5%，性能标准差降低了 59.4%。

本文其余部分组织如下。第 2 节提出设备模型并制定相应的优化问题。第 3 节详细介绍所提出的基于行为的 HADRL 方法。第 4 节提出模拟设置并使用真实数据评估所提出的方法。最后，第 5 节总结全文，讨论其局限性，并概述未来的研究方向。

章节片段
系统概述
BEMS 是旨在优化和管理家庭内能源消耗的智能系统，其目标是在满足用户能源需求的同时降低能源成本。
图 1 显示了本研究中 BEMS 的结构，整合了能源供应和需求组件。在供应侧，系统包括电网、储能系统（ESS）和光伏发电（PV）单元。在需求侧，家用电器根据...分为三类。

所提出方法的概述
图 2 展示了所提出的基于行为的 HADRL 方法的整体架构，它由两个集成模块组成：能源使用行为分析和混合动作 DRL 决策。首先，分析历史数据以提取代表性的能源消耗模式并刻画用户偏好参数。这些量化参数被显式地纳入 HADRL 智能体的状态空间和奖励函数中，而不仅仅作为静态设置。

数值模拟
在本节中，首先详细描述模拟设置，并展示能源使用行为分析的结果，以此验证行为分析的合理性和有效性。随后，通过与基线方法进行比较验证所提出方法的性能，即基于孪生延迟 DDPG 的混合动作表示（HyAR-TD3）、TD3、DQN、DDQN 和 DDPG。

结论
本文提出了一种基于行为的 HADRL 方法用于 BEMS，以在维持用户舒适度的同时提高经济效率。通过利用历史数据识别代表性的能源使用模式，并将推断的行为信息纳入决策过程，该方法能够实现符合居住者偏好的自适应和模式感知控制。此外，开发了一种分解的混合动作学习框架，用于协调离散电器

CRediT 作者贡献声明
Bin Jia：撰写 - 初稿，软件。Bo Sun：监督，资金获取。Lingyue Gao：验证，软件。Che Liu：软件，资源。Fan Li：撰写 - 审阅与编辑，监督，资金获取。

利益冲突声明
作者声明，他们没有已知的竞争经济利益或个人关系，这可能影响本文所述的工作。

致谢
本工作得到了中国国家重点研发计划（项目编号：2023YFB4004500）和中国国家自然科学基金（项目编号：U24A20261）的支持。

Bin Jia|Bo Sun|Lingyue Gao|Che Liu|Fan Li
山东大学控制科学与工程学院，中国济南，250061