《BUILDING AND ENVIRONMENT》:Field-informed reinforcement learning for multi-objective indoor air quality control in naturally ventilated buildings
编辑推荐:
室内空气质量(IAQ)控制涉及通风驱动下的二氧化碳(CO2)降低与室外环境颗粒物(PM2.5)渗透之间的权衡。本研究提出一种物理一致的框架,集成物理信息神经网络(PINN)代理环境与深度强化学习(DRL),用于随机现
室内空气质量(IAQ)控制涉及通风驱动下的二氧化碳(CO2)降低与室外环境颗粒物(PM2.5)渗透之间的权衡。本研究提出一种物理一致的框架,集成物理信息神经网络(PINN)代理环境与深度强化学习(DRL),用于随机现场条件下的多目标IAQ管理。代理环境基于某使用中办公室的长期测量数据构建,捕捉了特定场地的污染物动态、居住者行为以及气象条件。随后,DRL代理推导出帕累托最优策略,在实际约束下协调自然通风与空气净化。多种子不确定性分析评估了策略鲁棒性,SHapley加性解释(SHAP)用于解释决策机制。在30天验证期内,帕累托策略优于实测操作和基于规则的基线。通风导向策略消除了CO2超标,并将平均CO2从776 ppm降至619 ppm;净化导向策略将PM2.5超标次数从1063次降至83次,平均PM2.5从17.1 μg/m3降至6.3 μg/m3。简单基线仍受限于CO2–PM2.5权衡:仅通风控制仍产生902次PM2.5超标,而基于规则的CO2–PM2.5控制产生495次CO2超标和267次PM2.5超标。相比之下,中间RL策略(策略14)实现了70次CO2超标和152次PM2.5超标。这些结果表明,基于物理信息的数据驱动控制能够弥合基于仿真的优化与真实建筑运行之间的差距,为IAQ管理提供可解释的决策支持框架。其可扩展性应理解为方法学工作流层面的可复用性,而非定量结果或校准模型参数的直接可转移性。
### 论文解读:基于物理信息强化学习的自然通风建筑多目标室内空气质量控制
#### 研究背景与问题
室内空气质量(IAQ)严重影响人类健康、认知功能和工作效率。自然通风建筑中,通风可降低由居住者呼吸产生的二氧化碳(CO
2)浓度,但可能引入室外细颗粒物(PM
2.5),形成CO
2与PM
2.5之间的固有权衡。现有深度强化学习(DRL)控制方法多依赖简化仿真环境,未能充分捕捉真实建筑中随机且场地特定的动态;同时,DRL训练随机性导致策略重复性差,且黑箱决策机制缺乏可解释性,限制了实际部署。因此,研究人员提出一种可解释且鲁棒的IAQ控制框架,旨在解决上述问题。
#### 研究内容与结论
研究人员开发了基于物理信息神经网络(PINN)代理环境与DRL集成的控制框架,利用韩国庆熙大学某学生办公室的长期现场测量数据(2022年8月至2023年10月)进行训练与验证。框架通过多种子不确定性分析评估策略鲁棒性,并采用SHapley加性解释(SHAP)分析解释决策机制。在30天验证期内,帕累托最优策略显著优于实测操作和简单规则基线:通风导向策略(策略52)将CO
2超标次数降至0,平均CO
2从776 ppm降至619 ppm;净化导向策略(策略30)将PM
2.5超标次数从1063降至83,平均PM
2.5从17.1 μg/m
3降至6.3 μg/m
3;平衡策略(策略14)同时降低了两种污染物超标次数(CO
2 70次,PM
2.5 152次)。该研究发表于《BUILDING AND ENVIRONMENT》,证明了基于物理信息的数据驱动控制可桥接仿真优化与真实建筑运行,为IAQ管理提供可解释决策支持框架。
#### 主要关键技术方法
1. **PINN代理环境构建**:利用CO
2和PM
2.5的质量守恒方程,结合深度神经网络与物理定律约束,基于长期现场测量数据(包括CO
2、PM
2.5、气象、居住者行为等)建立场地特定的污染物动态模型。
2. **深度强化学习(DRL)训练**:采用近端策略优化(PPO)算法,在PINN环境中进行策略学习,通过拉丁超立方采样(LHS)生成64组超参数组合,探索多目标帕累托前沿。
3. **多种子不确定性分析**:对10个随机种子下的策略性能进行统计分析,评估鲁棒性。
4. **SHAP解释性分析**:分别对奖励函数参数和动作级决策进行SHAP归因,揭示策略形成机制和实时动作选择逻辑。
#### 研究结果
**3.1 时间变异性与居住者驱动的CO
2响应**
该研究通过Kruskal-Wallis检验确认现场数据集存在显著月际变化,非平稳边界条件需作为随机过程处理。事件分析表明,居住者到达后CO
2浓度约160分钟达到峰值,支持状态依赖控制而非静态阈值。
**3.2 PINN代理环境的控制导向验证**
通过反事实动作扰动测试,PINN代理环境在100%的测试时间步中正确预测了通风动作对CO
2的稀释效果,以及空气净化器对PM
2.5的去除效果,验证了其物理一致性。
**3.3 基于验证数据集的帕累托前沿分析**
64个DRL策略的性能图显示CO
2与PM
2.5之间的明确权衡,形成帕累托前沿。与实测基线(CO
2超标354次,PM
2.5超标1063次)相比,帕累托策略显著改善。SHAP分析表明,污染物权重参数(α)是控制权衡的主导因素。
**3.4 同场地时间泛化与统计可靠性分析**
帕累托前沿在未见测试集上结构保持稳定,表明策略避免了过拟合。多种子Tukey HSD检验显示,平衡策略(如策略14)的方差低于极端策略,表明其运行可靠性更高。
**3.5 最优策略的示例场景**
在高CO
2负荷场景中,DRL策略迅速响应,通风导向策略彻底抑制CO
2;在高室外PM
2.5场景中,策略限制通风并开启净化器,体现自适应切换。
**3.6 动作执行驱动因素的可解释性映射**
SHAP动作级分析显示,平衡策略14以室外PM
2.5和居住者数为主要驱动因素:高室外PM
2.5促进净化器开启,高CO
2促进全通风。依赖图显示室外PM
2.5约37.3 μg/m
3为净化器启动参考点,CO
2约755 ppm为通风启动参考点。
#### 讨论与结论
**讨论部分**:研究人员指出框架未集成预测性控制,且奖励函数未包含能量消耗;动作空间为离散二进制,净化器依赖内置自动模式;当前实验场地已不可用,未来需在新场地进行实证验证。框架的方法学工作流可复用,但定量结果和模型参数需针对新空间重新校准。
**结论翻译**:本研究提出一个可解释且鲁棒的室内空气质量控制框架,集成物理信息神经网络(PINN)环境模型与深度强化学习(DRL),以解决自然通风大学办公室中CO
2与PM
2.5的冲突控制目标。利用长期现场测量,该框架捕捉了现实运行变异性下的场地特定污染物动态、居住者行为及气象边界条件。所开发的PINN模型成功通过结合高分辨率环境测量与物理质量平衡约束再现了室内污染物动态行为,满足ASTM D5157推荐评估标准,并为DRL训练提供了可靠仿真环境。除常规预测精度外,控制导向验证确认了反事实扰动下的物理一致动作响应。时间响应分析表明现场数据集存在非平稳边界变异性与延迟的居住者驱动CO
2累积。当帕累托最优策略应用于30天验证期时,该框架显著改善了室内空气质量,性能取决于所选控制优先级。与简单规则基线的比较进一步证明了所提DRL框架的附加价值。为评估策略可靠性,使用10个独立随机种子进行不确定性分析,结果表明帕累托最优策略形成了可重复的运行模式,其中平衡中间策略表现出比极端单目标策略更低的性能变异性。为提高可解释性,引入基于SHAP的分析以研究奖励参数敏感性与动作级决策机制。总体而言,该框架为具有冲突空气质量目标的建筑智能室内环境控制提供了可复用的方法论,而定量帕累托前沿与校准控制策略应解释为特定于监测办公室,并在部署至其他空间前需重新校准。未来工作将集中于将暖通空调能耗纳入奖励函数,在新占用空间进行实证验证,并将框架扩展至协调多区域建筑控制系统。