基于循环PPO的HVAC系统DRL控制器：边缘部署、跨气候迁移与物理验证

《Materials》：Dissimilar Joining Technologies for Aluminum and Steel: Interface Regulation, Defect Suppression, and External Field Assistance

　　摘要供暖、通风与空调（HVAC）系统的深度强化学习（DRL）控制器极少部署在真实边缘硬件上，也极少在不同气候条件下进行评估，且已发表的DRL-HVAC研究很少报告物理部署案例。本文的贡献在于集成而非新算法：我们构建了一个端到端的“仿真到现实”（Sim-to-Real）部署系统，采用循环近端策略优化（PPO）智能体，其策略网络包含长短期记忆（LSTM）核心，并通过Simplex架构在树莓派4和ESP32边缘栈上由基于规则的安全防护层进行监督。该循环策略在吉隆坡EnergyPlus/Sinergym五区变风量（VAV）原型气候剖面上训练一次，然后在不重新训练的情况下在另外五个气候剖面（纽约、东京、埃及、冰岛和沙特阿拉伯）上进行评估，实现了舒适区达标率（CZCR）：纽约和吉隆坡100.00%、东京99.50%、冰岛99.65%、沙特阿拉伯97.24%、埃及93.50%（单次训练运行）。在训练气候上进行的十次随机种子重跑确认每次种子均达到100.00% CZCR且0次违规，能耗变异系数为2.3%（均值29,332.68 ± 673.30 kWh）。上述跨气候迁移数据仍为单次运行结果。在吉隆坡直接重新训练而非从纽约零样本迁移的匹配气候PPO基线也达到了100.00% CZCR，且能耗比混合方案低13.2%，这表明一旦移除原始基线比较中训练气候的混杂因素，混合方案在该气候下的能耗溢价更大而非更小。展示了一个双向安全防护层（23.2–25.8 °C触发），与存档的仅上限配置相比，在相同气候下将过度制冷违规从4124次（CZCR 88.20%）降至零。在物理台架硬件在环（HIL）测试平台上，三次重复的30分钟试验（事后从三个晚间时段中各选取最干净的窗口；这三个时段的全长CZCR分别为98.02%、97.22%和91.50%）记录到所选窗口内100.00% CZCR，预测平均热感指数（PMV）为0.043 ± 0.023，且系统在12分42秒的路由器中断中自愈，热漂移为 °C。设备端推理在树莓派4上耗时112.9毫秒（次记录调用，95/99百分位延迟为116.3毫秒/120.4毫秒），比15分钟控制步长约低四个数量级。另一组三次试验，以测试平台自身的“30分钟测试”开始/结束日志事件为边界而非事后选取，记录了较低但更具代表性的86.42–92.59% CZCR（聚合90.12%）。这些是来自单次公开训练运行和短时物理试验的台架可行性结果。它们代表了朝着缩小而非弥合实际DRL-HVAC中仿真到现实和边缘部署差距迈出的一步。