基于深度强化学习方法的变流量制冷系统故障诊断

《ENERGY AND BUILDINGS》：Fault diagnosis of variable refrigerant flow system based on the deep reinforcement learning method

　　曹瑞琪|陈焕新|刘村|邢璐中国华中科技大学能源与动力工程学院制冷与低温工程系，武汉430074摘要变流量空调系统在现代商业和住宅建筑中得到广泛应用。这类系统的故障会显著降低能效，并增加运维成本。鉴于变流量空调系统的故障检测标注数据匮乏，且传统方法在各种故障条件下的准确性不足，本文首次将深度强化学习应用于该系统的故障诊断。通过实验系统模拟了四种常见故障：室内机积尘、室外机积尘、制冷剂充注过量以及制冷剂充注不足。研究选取了13个关键特征变量，并收集了8种运行条件下的数据用于模型训练与测试。对比了基于价值的DQN算法与基于策略的PPO算法，结果表明在收敛速度和诊断稳定性方面DQN表现更优。通过优化网络深度、训练迭代次数和学习率这三个超参数，最终确定最优模型配置为5层或6层隐藏层，学习率范围在5×10^-5到10^-3之间。优化后的DQN模型展现出优异的诊断性能：故障诊断准确率、几何平均准确率、误报率和漏报率分别达到98.46%、98.19%、0.94%和0.85%。与传统方法如SVM、ANN、DT和K均值聚类相比，以及与近期研究成果相比，所提出的DQN模型性能更为出色。引言建筑行业占全球能源消耗量的39%以上[1]。在建筑物中，暖通空调系统是主要的能源消耗者之一，其能耗占比超过50%[3]。尤其是在中国，随着人们对建筑舒适度要求的提高，空调系统占居民用电总量的30%以上[4]。研究表明，采用自动故障检测与诊断技术可实现早期故障识别，从而将因暖通空调系统故障造成的能源浪费降低到15%以下[5]。随着对建筑能效和智能化要求的提升，变流量空调系统因其出色的能效、设计灵活性以及智能控制和集中管理功能，被广泛应用于现代商业和住宅建筑中[6]。然而，变流量空调系统本身结构复杂，容易出现各种故障，如制冷剂充注异常和换热器积尘等[7]，这些故障会显著降低系统性能，导致能耗增加、舒适度下降以及设备磨损加速，进而影响建筑的总体能效和运营成本[8][9]。因此，开展变流量空调系统的故障诊断研究对于确保建筑能源系统的高效、稳定运行至关重要。在暖通空调系统的故障检测方法中，通常可分为三类：基于模型的方法、基于知识的方法和数据驱动的方法[10]。在这三类方法中，62%的文献采用数据驱动模型，因为数据驱动方法更适合处理具有大规模特征的现代工程系统[5]。此外，数据驱动方法在解决空调系统中的传感器故障、阀门故障、制冷剂充注不足/过量以及冷凝器/蒸发器积尘等问题时表现出显著效果[11]。因此，本文采用数据驱动方法对变流量空调系统的故障进行诊断。数据驱动方法的准确性主要取决于所使用的算法类型[10]。目前，数据驱动方法的算法工具主要分为三类[12]：监督学习、无监督学习和强化学习。表1总结了这三种机器学习范式在故障诊断中的应用情况。监督学习在故障检测领域应用最为广泛，它通过使用带标签的数据集训练模型，从而实现准确的故障类型分类。在变流量空调系统的故障检测中，常用的传统监督学习方法包括DT[13]、SVM[14]、ANN[15]、RF等。此外，一些研究通过整合多种传统机器学习模型提升了诊断性能。例如，张某[16]构建了一个由五种基础模型组成的集成模型：SVM、RF、GBM、BPNN和MLR，该模型在诊断变流量空调系统中的制冷剂充注故障时，诊断准确率达到了98.38%。Tun等人[17]则结合了RF和SVM分类器用于空调处理单元的故障检测，该模型不仅诊断准确率为98%，还能在训练数据样本较少的情况下适应实际应用场景。传统机器学习模型训练速度快且具有较好的可解释性，但它们难以处理大规模和高维度的数据，处理复杂任务的能力较弱[18]。随着暖通空调系统日益复杂，其产生的数据在规模、维度和时间特性方面都有了显著增长，这对故障诊断模型的表示能力和泛化能力提出了更高要求。为克服传统方法的局限性，深度学习因其强大的自动特征提取能力和学习复杂模式的能力，受到了广泛关注，并被应用于暖通空调故障诊断领域。周等人[19]开发了一种用于变流量空调系统多故障诊断的CNN模型，每种故障类型的诊断准确率均超过97.5%。田等人[20]则开发了一种经过遗传算法优化的LSTM模型用于冷水机组故障诊断，显著提升了对复杂混合故障类型的诊断精度。韩等人[21]提出了一种基于注意力-BiLSTM并结合集成特征集的故障诊断策略，该模型不仅整体诊断准确率为97.5%，还通过其注意力机制具备了良好的可解释性。张某等人[22]研究了KAN算法及其卷积神经网络变体Conv-KAN在诊断变流量空调系统制冷剂充注故障中的应用，其诊断准确率分别为99.24%和99.02%。在拥有充足、均衡且完全标注的训练数据的情况下，上述方法能够实现极高的故障诊断准确率，并明确识别出故障类型。然而，在实际的建筑运维场景中，要获取涵盖所有故障模式、严重程度以及不同运行条件的全面标注数据既昂贵又困难。这一限制促使研究人员积极寻求各种优化和改进策略。为解决数据稀缺和不平衡问题，研究人员常常采用合成少数类过采样技术（SMOTE）。Shakerian等人[23]应用SMOTE算法增加了故障数据的比例，实验表明，经过SMOTE处理的数据集使预测模型的准确率提升了约20%。吴等人[24]利用SMOTE增强了不平衡数据集中的少数类样本，进而构建了M1DCNN-SVM模型，该模型对冷水机组的诊断准确率为98.45%。此外，程某[25]和华某[26]开发了一种基于Transformer的自监督学习模型，用于在标注数据有限的情况下进行暖通空调故障诊断，大幅降低了对应标注数据的依赖程度。邓等人[27]提出了一种基于自适应融合图卷积网络并结合未标注数据增强技术的可解释性故障诊断方法，该方法能够有效整合来自未标注数据和标注数据的相关图，使模型充分利用未标注数据中的隐含关系。尽管研究人员可以通过多种技术手段，在标注样本数量极少的情况下开展暖通空调故障诊断实验，但这些方法仍在一定程度上依赖于初始的标注数据。如果在数据极为匮乏的环境中构建初始模型，那么从未标注数据生成的标签质量可能会很差，从而导致模型性能下降[25]。为了从根本上摆脱对标注数据的依赖，无监督学习方法被引入到暖通空调故障检测领域。与监督学习不同，无监督学习不依赖标注数据，而是通过揭示系统运行数据中的内在结构、分布或模式来实现异常检测与识别[28]。基于统计和线性模型的研究主要采用PCA和聚类方法。胡等人[29]利用自适应PCA技术对冷水机组的传感器故障进行诊断。李等人[30]则将PCA与小波变换相结合，用于检测空调处理单元的故障。Milad[31]开发了一种基于PCA的无监督自动故障检测方法，该方法能够利用原始的未标注数据实现故障检测与诊断，且其在各类轻型商业建筑中的适用性已得到验证。罗等人[32]采用k均值算法，利用簇中心数据确定无故障冷水机组传感器读数数据集的特征簇中心值，从而设定故障检测阈值。这些方法通过识别数据分布中的偏差来检测异常，但其诊断结果较为模糊，且在建模非线性动态方面的能力有限。为更好地刻画复杂系统的正常行为模式，李等人[33]提出了PCA-R-SVDD方法，以解决PCA和SVDD方法对冷凝器积尘和制冷剂泄漏问题敏感度较低的问题。该方法利用PCA对残差数据建模，并在残差子空间内构建SVDD模型，至少能检测出最轻微故障级别50%的故障数据。程等人[34]采用在未标注数据上训练的深度自编码器模型对冷水机组系统进行特征描述，成功实现了对七种常见冷水机组故障的诊断与隔离。Gupta等人[35]则采用SHAP方法分析了基于自编码器的模型在冷水机组故障检测中的可解释性。近年来，GAN模型和自监督学习等技术进一步推动了无监督故障检测的发展。刘等人[9]在无监督迁移学习框架下采用了DANN算法进行变流量空调系统故障诊断，该无监督迁移学习模型的准确率、误报率和漏报率分别为89.71%、5.24%和7.74%。杜等人[36]利用GAN生成暖通空调故障的样本数据，为诊断方法提供了更丰富的故障特征。严等人[37]使用GAN生成空调处理单元的故障样本，从而构建了完整的故障检测框架。Park等人[38]则采用基于Koopman算子的线性模型来近似暖通空调系统的动态行为。所提出的Koopman VAE模型仅基于正常数据训练，却能够以可解释的方式检测并诊断暖通空调系统中的故障。无监督学习可以弥补数据标签不足这一实际问题，但在精确的故障检测应用方面存在局限性。它的输出通常仅停留在异常检测层面，无法明确指示具体的故障类型，且难以区分那些会导致类似系统异常的不同故障，从而导致诊断精度下降。此外，模型性能对异常检测阈值十分敏感，这在不同的运行条件下会给系统的稳定性带来挑战。因此，无监督学习更适合用于异常检测和预警，而对于那些需要高精度和明确分类的复杂系统故障检测任务，其能力仍然不足。强化学习作为一种以与环境交互为核心的机器学习算法，为解决上述问题提供了一种新思路。通过与系统（环境）的交互，智能体无需预先标注的故障数据，即可自主学习最优策略[39]。深度强化学习结合了深度学习的特征提取能力，使其能够从原始数据中自主发现故障模式，适应系统的动态变化，并通过持续交互不断提升性能。近年来，深度强化学习已被应用于多个领域的各类故障检测任务中。钱等人[40]提出了两种基于CNN和GRU的深度强化学习模型，用于核电站旋转机械的故障检测。研究结果表明，无论是在初始样本量较小的情况下，还是在样本数量更少的场景中，深度强化学习的表现都优于传统的深度学习模型和经典机器学习模型。李某[41]将深度强化学习算法应用于电力网络故障识别研究，证明该方法在整体效率以及处理稀疏数据集方面均优于监督学习。Saied等人[42]则采用深度强化学习中的DQN和PPO架构，用于无人机执行器的故障检测，这两种模型均展现出极高的故障诊断能力，诊断准确率约为99%。魏等人[43]则构建了一种基于SinNet卷积和多尺度时间压缩可解释残差网络的深度强化学习模型，用于在强噪声环境下对齿轮箱进行故障检测，其诊断准确率超过了98.5%。此外，由于深度强化学习在处理复杂的动态决策问题方面具有优势，它在建筑能源管理领域也得到了广泛应用。在建筑能源控制领域，郭等人[44]提出了一种基于深度强化学习的方法，用于中央空调系统，以优化办公建筑中的能源消耗、热舒适度和室内空气质量。研究结果表明，经过良好训练的深度强化学习模型能够在建筑暖通空调控制中实现多种优化目标的平衡。Kurte等人[45]发现，基于深度强化学习的暖通空调控制模型在相同建筑模型上预训练后，具备适应不同家庭环境与舒适度要求的潜力。Zou等人[46]利用长短期记忆网络来估算暖通空调系统的运行参数值，从而构建出适合深度强化学习训练的环境。这种结合长短期记忆网络与深度强化学习的方法，使得空气处理单元在三个月内平均能将能耗降低27%-30%，同时仍保持良好的热舒适度。此外，该方法还可应用于任何拥有历史传感器数据的暖通空调系统。Li等人[47]在深度强化学习框架中引入了热延迟模型（TDE-Net），以此考虑暖通空调系统的热滞后效应及物理限制。改进后的模型在维持热舒适度、减少温度波动以及降低能耗方面均优于传统的深度强化学习方法。Liu[48]将深度强化学习应用于暖通空调系统的能耗预测研究，结果表明所提出的DDPG模型相比常见的监督学习模型具有更出色的预测性能。尽管深度强化学习在暖通空调控制优化及其他相关领域展现出巨大潜力，但据我们所知，其在解决空调系统故障诊断问题上的应用仍较少被探索。因此，为填补这一研究空白，本文提出了一种基于深度强化学习的VRF系统故障诊断模型，并研究了不同类型算法在该系统故障诊断中的应用潜力。本文的主要贡献如下：这是首次将深度强化学习应用于VRF系统的故障诊断，为该领域提供了新的研究方法。文中构建了两种模型，即基于价值的DQN模型和基于策略的PPO模型，对比了这两种模型的故障诊断性能，并分析了关键参数对DQN模型的影响。经过优化的DQN模型与现有文献中的方法相比，其在VRF系统故障诊断方面表现出更强的优势。

强化学习
强化学习的核心在于智能体通过与环境交互来学习最优策略。强化学习问题通常被建模为马尔可夫决策过程[49]。马尔可夫决策过程由五元组（S, A, P, R, γ）定义，其中S表示状态空间，A代表动作空间，P是状态转移概率函数，R为奖励函数，γ为折扣因子。该过程的公式如下所示：
P(st+1|s0,a0,?st,at)=P(st+1|st,at)

实验用的VRF系统
图2展示了实验用VRF系统的结构示意图。该系统由五个独立温度控制的室内机组和一个室外机组组成。五个室内机组的额定制冷容量分别为2.2千瓦、2.8千瓦、2.8千瓦、3.6千瓦和7.1千瓦，对应的室外机组容量为16千瓦。该VRF系统使用R104A制冷剂，标准充注量为6.3千克。其制冷运行时的环境温度范围在10摄氏度到46摄氏度之间。

结果与讨论
本节首先分析了DQN和PPO这两种强化学习算法在VRF系统中的适用性。由于DQN在故障诊断方面表现更佳，因此接下来重点研究DQN的超参数优化过程。随后，我们将所提出的深度强化学习方法与现有文献中的模型进行系统比较。最后，对本研究的结果进行总结分析。

结论
本研究提出了一种基于深度强化学习的故障诊断模型，可用于诊断VRF系统室内机组和室外机组的四种常见故障，包括室内机组积污、室外机组积污、制冷剂充注过量以及制冷剂充注不足。文中分别构建了基于价值的DQN模型和基于策略的PPO模型，并对比了这两种模型的诊断性能，结果表明性能更好的模型为DQN模型。

CRediT作者贡献说明
曹瑞琪：写作——审阅与编辑、写作——初稿撰写、可视化、方法论、研究实施。陈焕新：资源协调、资金筹集。刘存：写作——审阅与编辑、指导监督、方法论。邢璐：无。

利益冲突声明
作者声明不存在任何可能影响本文研究结果的已知财务利益或个人关系。

致谢
作者衷心感谢国家自然科学基金委员会的支持（项目编号51876070）。