摘要
用于供暖、通风和空调（HVAC）的深度强化学习（DRL）控制器很少在真实边缘硬件上部署或跨气候区域进行评估，而已发表的DRL-HVAC研究也很少报告物理部署。本文的贡献在于集成而非新算法：我们构建了一个端到端的Sim-to-Real部署，采用循环近端策略优化（PPO）智能体，其策略网络包含长短期记忆（LSTM）核心，并通过Simplex架构在树莓派4和ESP32边缘堆栈上由基于规则的安全屏蔽进行监督。该循环策略在吉隆坡EnergyPlus/Sinergym五区域VAV原型配置上训练一次，然后在无需重新训练的情况下在另外五个气候配置（纽约、东京、埃及、冰岛和沙特阿拉伯）上评估，舒适区合规率（CZCR）分别达到纽约和吉隆坡100.00%、东京99.50%、冰岛99.65%、沙特阿拉伯97.24%和埃及93.50%（单次训练）。在训练气候上进行十次随机种子重跑，确认每个种子均为100.00% CZCR和0次违规，能耗变异系数为2.3%（平均29,332.68 ± 673.30 kWh）。上述跨气候迁移数据仍为单次运行。一个匹配气候的PPO基线，直接在吉隆坡重新训练而非从纽约零样本迁移，同样达到100.00% CZCR，且能耗比混合模型低13.2%，这表明一旦消除原始基线比较中的训练气候混杂因素，混合模型在该气候上的能耗溢价更大而非更小。展示了双向安全屏蔽（23.2–25.8°C触发），与仅含上限限制的存档配置相比，将同一气候上的过度制冷违规次数从4124次（88.20% CZCR）降至零。在物理台架硬件在环（HIL）测试台上，三次重复30分钟试验（事后从三个晚间时段中各选取最干净的时间窗口，同一三个时段的完整长度CZCR值分别为98.02%、97.22%和91.50%），记录到所选窗口内100.00% CZCR，预测平均投票值（PMV）为0.043 ± 0.023，且系统在12分42秒路由器中断后自愈，热漂移为°C。树莓派4上设备端推理耗时112.9 ms（次调用记录，95%/99%分位延迟分别为116.3 ms/120.4 ms），约比15分钟控制步长低四个数量级。另一组三次试验，以测试台自身的“30分钟测试”开始/结束日志事件为界限而非事后选定，记录到较低但更具代表性的86.42–92.59% CZCR（总计90.12%）。这些是来自单一公开训练运行和短时物理试验的台架可行性结果。它们代表朝缩小而非封闭实用DRL-HVAC中Sim-to-Real和边缘部署差距迈出的一步。
