用于建筑能源管理应用中安全感知控制的自适应启发式强化学习（AH-RL）

《Eng》：Adaptive Heuristic Reinforcement Learning (AH-RL) for Safety-Aware Control in Building Energy Management Applications

　　

强化学习在序列控制问题中展现出强大潜力，为复杂动态环境中的自适应策略推导提供了有效框架。然而，独立强化学习（Reinforcement Learning, RL）控制器可能表现不稳定或过于激进，特别是在约束违规或风险行为不可接受的安全关键应用中。这一问题在能源与建筑控制中尤为突出，因为性能优化必须与安全可靠运行相平衡。当前研究工作提出了自适应启发式强化学习（Adaptive Heuristic Reinforcement Learning, AH-RL），一种混合控制框架，通过自适应、安全感知的混合机制将基线启发式控制器与残差强化学习策略相结合。在该结构中，启发式控制器作为稳定的运行参考，强化学习组件学习修正动作以提高性能，而不会导致灾难性偏差。所提出的AH-RL方法在三个CityLearn基准场景中进行了评估，使用软演员-评论家（Soft Actor–Critic, SAC）、深度确定性策略梯度（Deep Deterministic Policy Gradient, DDPG）和双延迟深度确定性策略梯度（Twin Delayed Deep Deterministic Policy Gradient, TD3）作为连续控制强化学习骨干。将AH-RL变体与相关的基于规则的控制器、对应的独立强化学习控制器以及约束拉格朗日强化学习控制器进行比较。结果表明，与独立强化学习和拉格朗日约束强化学习相比，AH-RL始终提供显著改善的热舒适性能，明显减少热侧不适并限制在这些学习基线中观察到的严重过热。最重要的是，这些热舒适性的改善并非以牺牲控制性能为代价——相反，它们伴随着总体奖励的增加：根据评估，AH-RL算法相比基于规则的控制始终提高了平均总奖励，并且普遍优于对应的独立强化学习以及更有利的拉格朗日约束控制器。总体而言，AH-RL方法能够在不过度依赖热退化来实现性能增益的情况下，提供显著更平衡的奖励–热舒适权衡。此外，在选定的诊断阈值下，未观察到关键状态过度偏差或动作变化事件。这些发现凸显了AH-RL在安全敏感能源管理应用中的潜力，并支持其在现实环境中的潜在部署。

论文解读：自适应启发式强化学习（AH-RL）用于建筑能源管理中的安全感知控制

近年来，机器学习技术的创新使建筑能源管理与舒适控制更加自适应、预测性和用户感知化。在建筑中协调暖通空调（Heating, Ventilation, and Air Conditioning, HVAC）运行、储能、可再生能源发电和用户需求方面，强化学习（Reinforcement Learning, RL）因能从环境交互中直接学习控制策略而备受关注。然而，独立RL控制器在安全关键应用中可能表现不稳定或过于激进，尤其在优化目标强烈鼓励节能或成本降低时，可能产生不可接受的热不适、突变控制动作或不稳定运行模式。相反，基于规则的启发式控制器（Rule-Based Controller, RBC）简单、可解释、鲁棒，但通常保守且次优。因此，需要一种混合方法，使RL在保持安全锚定的同时改善基线控制器的性能。现有安全混合方法包括安全过滤器、模型校正、约束学习等，但残差学习中的一个核心问题是如何确定学习残差的权限：权限过小则控制过于保守，过大则可能退化为不安全独立RL。由于最佳平衡取决于舒适风险、扰动、价格和运行环境，固定混合规则可能不足。为此，研究人员提出了自适应启发式强化学习（Adaptive Heuristic Reinforcement Learning, AH-RL）框架。

研究人员将AH-RL设计为：RBC作为持续活跃的安全锚，RL策略学习有界残差校正，通过基于运行背景和舒适风险的自适应混合机制调节残差影响。该框架在三个CityLearn基准场景（Phase 1、Phase 2和Phase 3）中进行了评估，使用软演员-评论家（Soft Actor–Critic, SAC）、深度确定性策略梯度（Deep Deterministic Policy Gradient, DDPG）和双延迟深度确定性策略梯度（Twin Delayed Deep Deterministic Policy Gradient, TD3）作为连续控制RL骨干。实验包括RBC、独立RL（SAC、DDPG、TD3）、拉格朗日（Lagrangian）约束RL（SAC-L、DDPG-L、TD3-L）以及AH-RL组合（SAC-RBC、DDPG-RBC、TD3-RBC），共十种控制器。结果表明，AH-RL在所有场景中均提高了平均总奖励，并显著降低了热侧不适，同时保持了有界动作行为；所有AH-RL配置相比RBC均提高了平均奖励，九个配置中的八个优于对应独立RL，六个优于Lagrangian基线。该研究发表在《Eng》期刊上。

关键技术方法方面，研究人员采用了以下方法：AH-RL架构结合RBC基线动作与RL残差动作，通过自适应系数α_t加权并投影到可行动作空间；使用残差缩放参数ρ限制残差大小；自适应系数由归一化电价、太阳能、时间段和舒适风险指标计算。实验基于CityLearn 2023挑战赛的三个场景，采用集中式控制，动作维度为9（Phase 1和2）或18（Phase 3）。所有学习控制器使用8个随机种子，训练预算为1000个环境步，每250步评估一次。Lagrangian基线采用连续热舒适成本，目标预算为零，乘子学习率固定。AH-RL不增加额外的可训练网络参数，在线计算复杂度为O(m)。

研究结果部分如下：

Phase 1 Results：在Phase 1场景中，SAC-RBC实现了SAC族中最佳性能，奖励相对RBC提高，热不适大幅降低；DDPG-RBC在六次运行中优于RBC，但两个种子表现不佳；TD3-RBC表现出最强的整体收益，奖励相对RBC、TD3和TD3-L均提高，且所有动作保持在RBC邻域内。

Phase 2 Results：在Phase 2场景中，SAC-RBC在所有八个种子中均优于RBC、SAC和SAC-L；DDPG-RBC比独立DDPG更鲁棒，但平均奖励略低于DDPG-L；TD3-RBC在所有种子中优于TD3和TD3-L，奖励变异显著降低。

Phase 3 Results：在更具挑战性的Phase 3场景中，SAC-RBC在所有八个种子中优于所有基线，热舒适改善明显；DDPG-RBC消除了独立DDPG的灾难性失败，但存在种子依赖性；TD3-RBC奖励优于RBC和TD3，但不如TD3-L，不过热舒适性更好。

Comparative Performance：综合比较显示，AH-RL在九个配置中均改善了相对RBC的平均奖励，多数优于独立RL和Lagrangian基线。SAC-RBC在三个场景中的总奖励均为最优。

Safety-Oriented Behavior：安全导向指标表明，所有AH-RL控制器始终保持在RBC的20%归一化邻域内，未观察到临界状态过度偏差或动作变化事件。

Sensitivity Across RL Backbones：SAC是最可靠的骨干，DDPG在稳定性上受益，TD3收益最大但场景敏感。

Sensitivity Across Residual Configuration：Phase 2采用更保守的配置（ρ=0.3，α_max=0.4），平均自适应系数和偏差更小；Phase 3恢复较高权限后偏差增大但仍受约束。

Computational Workload：AH-RL不引入额外可训练参数，在线额外开销为O(m)运算和O(m)内存，约数百字节。

讨论部分指出，AH-RL通过