《Energies》：Data Preprocessing Techniques for Machine Learning Towards Improving Building Energy Performance: A Systematic Review
Weixian Mu,
Riccardo Cardelli and
Simone Ferrari
提升建筑能源性能已成为一个基本目标，尤其是在建筑能源管理系统（BEMSs）越来越依赖高质量数据和可靠预测模型的情况下。尽管机器学习（ML）模型已被广泛应用于建筑能源预测、优化和管理，但它们在实践中的可靠性往往受到数据预处理的限制，而非算法选择。现有研究通常强调算法开发，而对预处理实践的系统性研究有限，导致方法学误解和ML驱动的建筑能源管理鲁棒性降低。作为一项新贡献，研究人员对2020年至2025年期间发表的73篇关于预处理实践的科学文章进行了系统综述。为此，研究人员组织了一个三步数据预处理工作流程，包括数据分析、数据准备和特征工程。综合分析了研究中所采用预处理技术的优势、局限性和常见误解，重点强调了它们对预测精度、可解释性和模型鲁棒性的影响。因此，本综述将数据预处理阶段重新定义为一种决策过程，其中数据分析和能源改进任务约束并指导后续数据准备和特征工程步骤，以解决建筑能源性能提升任务。
1. 引言
根据国际能源署的报告《能源效率2024》，2023年建筑领域的能源需求超过120艾焦（EJ），占全球最终能源消耗的28%。2010年至2023年间，该需求年均增长约0.9%。建筑不仅占据能源消耗的较大份额，还具有巨大的节能潜力。适当的节能措施可平均降低建筑能耗约20%。因此，提升建筑能源性能已成为重要的研究焦点。
近年来，机器学习（ML）已在建筑能源管理、建筑能源预测、故障检测与诊断等领域通过综述文章得到广泛研究。这些近期研究详细总结了先前工作，同时指出ML的实际应用仍然有限。一个可能的原因在于数据质量，而数据质量可通过数据预处理得以改善。ML研究人员日益达成共识：数据质量和预处理并非辅助步骤，而是成功ML模型的基本组成部分。然而，在建筑能源领域，与复杂的优化和ML算法的大量研究相比，关于数据预处理的深入研究仍然有限，这凸显了数据预处理研究及相关文献综述的重要性。
图1展示了建筑能源领域的一般ML工作流程。ML流水线可划分为四个阶段：数据收集、数据预处理、模型训练和模型部署。数据预处理作为实际测量与ML算法之间的关键桥梁。特征和目标值通过建筑中的传感器收集或由工程师标注，并在数据预处理过程中转化为标准化数据集。根据任务和数据的具体形式，需要采用不同的预处理技术。数据类型可分为：时间、等级、分类/状态、一般数据、无效数据。
近年来，随着对数据预处理的关注度提升，建筑能源领域的一些综述研究开始讨论作为ML工作流程一部分的预处理。例如，Wang, Z.综述了ML在建筑能源全周期中的实际应用，并讨论了数据预处理步骤作为未来方向。Zhang, L.等从传感器层面到数据层面讨论了ML在建筑负荷预测中的应用，包括数据准备和特征工程。Sun, Y.等总结了建筑能耗预测中的完整ML流程，包括数据预处理和算法应用。Hou和Evins基于神经网络ML算法总结了包括数据预处理的工作流程。Zhang, Y.等提出了一个包含数据预处理的技术框架，有效集成了先进ML算法、语言模型和建筑能源模拟模型。Liu, H.等总结了ML的影响参数和时间尺度，发现数据准备技术能有效解决建筑能源预测中常见的时间尺度问题。Chen, Y.等不仅总结了最新先进算法，还从理论角度解释了算法、特征工程和聚类。一些研究人员聚焦于特征工程：Chen, G.等引入了四种高效特征提取技术；Dai, X.等总结了不同建筑运行条件下最合适的特征和目标；Wang, Z.等对建筑能耗预测中的特征工程进行了系统综述，概述了研究现状和局限性。
总体而言，ML在建筑能源领域的研究通常经历了三个阶段：算法应用、框架开发和数据预处理。然而，大多数以算法为中心的综述文章仅将预处理技术视为未来工作方向，而以框架为中心的综述则将其视为次要或支持性组件。对于那些聚焦于数据预处理的综述文章，整个阶段被遗漏，仅提及特定技术。因此，在现有关于利用ML改善建筑能源性能的文献综述中，缺乏对所有数据预处理技术的总结，本研究填补了这一研究空白，成为该领域的新贡献。本综述由三个研究问题指导：（RQ1）在基于ML的建筑能源性能改进研究中，应用了哪些数据预处理技术，如何将其系统性地分类为工作流程？（RQ2）关于这些技术在不同任务和数据类型下的比较优势和局限性，存在哪些证据？（RQ3）当前实践中哪些方面存在空白、误解或未被充分探索的技术？经过筛选和合格性检查，最终纳入73篇文章。实质性贡献包括：提出了统一的数据预处理工作流程，将数据预处理阶段结构化为三个步骤；系统性地比较了所有步骤的技术，并强调了文献中的共识和不一致之处；通过比较不同工作，提供了关于某些数据预处理技术的纠正性指导，并识别了未被充分探索的技术。本文其余部分组织如下：第2节详述方法学，第3节分析数据预处理的三层：数据分析、数据准备和特征工程，第4节讨论关键发现，第5节提出未来研究建议。
2. 方法学
本综述首先利用Scopus和Web of Science数据库（2015–2025年10月）进行了系统性文献检索，检索词涵盖“Machine Learning”、“Energy”、“Building”、“Preprocessing”等关键词。图2展示了基于该检索词从数据库中检索到的期刊和综述文章的年度发表趋势。相关研究始于2017年，2021年起发表量显著增加，因此本综述主要关注2020年至2025年10月期间的研究。通过PRISMA方法处理识别到的文章，最终纳入73项研究（63篇期刊文章，10篇综述文章）。纳入标准包括：聚焦建筑能源研究、明确描述ML建模前数据预处理技术、同行评审的期刊文章和综述文章。排除标准包括：城市尺度或电网级研究、缺乏数据预处理步骤描述、会议论文、学位论文和技术报告等。表1按数据集、建筑类型和ML任务组织了选定的期刊文章。图4展示了研究按数据类型、建筑类型、预测目标和ML任务的分布情况。
为表征所选研究中采用的预处理技术，提出了一个基于工作流程的框架，将技术按其在ML流水线中的功能位置进行分类。数据预处理可分为三个主要步骤：数据分析（探索性数据分析（EDA）、聚类、时间统计检验）、数据准备（异常值检测、缺失值插补、数据变换、数据采样）、特征工程（特征提取和特征选择）。图5展示了所提出的数据预处理工作流程，每个步骤包含若干方法，进一步细分为具体技术。
3. 预处理技术
3.1 数据分析
数据分析是ML流水线中一个被低估的组件。实际建筑数据通常复杂、不完整且随时间变化，需要EDA以获得更好的范围。聚类算法可揭示不同建筑工况下的隐藏模式。在建筑能源时间序列回归任务中，时间统计检验对于评估数据平稳性至关重要。
3.1.1 探索性数据分析（EDA）
EDA是从数据集中推断信息以使ML模型以最高效方式工作的工作。EDA分为三个渐进阶段：数据剖析、用于结构洞察的数据可视化、统计关系分析。研究发现，研究人员的EDA可大致分为三个层次：第一层为最基本的文字介绍（有时附带简单可视化）；第二层有更详细的统计分析和其它可视化；第三层最接近EDA的完整逻辑和流程。不足20%的研究者引入了“EDA”作为技术名称，表明研究者应更加重视系统化的数据分析过程。
3.1.2 聚类
聚类分析已应用于建筑能源研究以识别能源性能模式。在基于ML的建筑能源应用中，聚类可作为数据预处理技术，将数据分割为具有相似运行特征的组。根据收集的研究，聚类算法可分为：层次型（凝聚）、分区型（K-means）、密度型（DBSCAN、Mean Shift、SNN）、概率型（模糊C-means）、自定义型（基于验证损失的动态聚类）。Klemp, S.等对商业建筑数据比较了K-means、凝聚、DBSCAN、Mean Shift和SNN，发现Box-Cox变换后DBSCAN在指标上表现最佳但将许多样本归类为噪声，整体组合性能最好的是SNN算法，Mean Shift最差。Jeevakarunya和Manikandan应用K-means将时间数据分割为更广泛的类别。Tang, L.等提出了基于验证损失的动态聚类以实现隐私保护的建筑能耗预测。聚类研究通常在办公或商业建筑中进行，K-means或DBSCAN等算法提供更大灵活性，但需仔细调整超参数；而基于时间的聚类简单易解释，但在节假日或意外事件中可能失效。
3.1.3 时间统计检验
对于时间序列回归任务，时间统计检验是必需的。KPSS和ADF检验是两种经典算法，用于检验时间序列平稳性。如果检验结果显示序列平稳，可直接使用ARIMA、LSTM等ML算法建模；若非平稳，则需进行对数变换或差分等处理。虽然超过30项时间序列回归任务，但仅有少数文章报道了时间统计检验。Chou等结合KPSS和ADF将时间序列分类为平稳、趋势平稳、差分平稳或非平稳，并据此确定适当的预处理策略。
3.2 数据准备
本节介绍一系列不改变特征数量和含义的数据准备技术。有效的数据准备不仅影响训练阶段的ML模型精度，还影响模型在实际建筑能源改进中的鲁棒性和可靠性。
3.2.1 异常值检测
异常值可能干扰后续处理，应首先检测和处理。四分位距（IQR）结合箱线图常用于特征上的异常值检测。其它算法包括局部离群因子（LOF）、广义极端学生化偏差（GESD）以及基于规则的检测。在某些情况下，保留具有物理意义的异常值是合理的。IQR是最常用的方法，但需要更多关于建筑能源数据检测算法的比较分析。
3.2.2 缺失值插补
时间序列回归任务要求数据连续。缺失值插补技术主要分为统计插补和基于ML模型的插补。对于时间数据，前向/后向填充法是合理的；插值为周围值的平均值也常用。Bu?urache和Stancu比较了线性插值和三次样条插值，结果显示三次样条更好。Hussain, A.总结了LSTM在建筑电力负荷预测中应对不同缺失率的各种插补方法，发现统计插补中均值、中位数和多重链式方程插补（MICE）优于零值插补和单一均值插补；ML插补中Gradient Boost最佳；Gradient Boost与MICE的混合插补性能远优于其它算法。不同插补技术有不同适用场景：固定值插补适用于干扰和缺失少的数据；基于数据的插补适用于时间连续性强的特征；插值更适用于具有周期或平滑物理信号的天气信息。
3.2.3 数据变换
数据变换旨在重塑和缩放建筑数据集以适合ML算法，包括调整尺度与分布、平滑波动、去除噪声。数据分解通常应用于目标而非特征。
数据缩放：常用最小-最大归一化和Z-score标准化。约50%的文章未提及数据缩放。最小-最大归一化对极端值敏感，需先进行异常值检测。Yang和Sung比较了多种缩放技术，发现最小-最大归一化在大多数情况下表现最佳。
非线性变换：Box-Cox和Yeo-Johnson变换用于改善数据分布偏斜问题。Klemp, S.等对窗墙比数据应用Box-Cox变换以处理右偏模式。非线性变换和偏斜检测的使用仍然不足。
数据平滑：用于处理目标变量中的噪声和干扰。简单移动平均（SMA）、指数移动平均（EMA）、Savitzky-Golay（S-G）滤波器和卡尔曼滤波器被使用。Es-sakali, N.等比较了SMA、S-G滤波器和卡尔曼滤波器，在四种ML算法下卡尔曼滤波器表现良好，SMA在大多数情况下表现较差。
数据分解：季节性-趋势分解（STL）将输入时间序列分解为趋势、季节和残差分量的加性组合；小波变换（WT）适用于非平稳时间序列；经验模态分解（EMD）将含噪信号分解为本征模态函数，但存在模态混叠问题，集成经验模态分解（EEMD）可部分解决。Jin, N.等比较了奇异谱分析（SSA）、WT、EMD和变分模态分解（VMD），发现SSA结合LSTM表现最优。没有100%确定的分解最佳技术，STL可解释性最高，SSA表现较稳定。
3.2.4 数据采样
建筑能源系统中数据常高度不平衡。拉丁超立方采样（LHS）用于高效覆盖多维参数空间以生成训练数据集。合成少数类过采样技术（SMOTE）用于解决数据不平衡问题，但可能更耗时且易过拟合。数据不平衡问题常见但处理方式不一致。
3.3 特征工程
特征工程分为特征提取和特征选择。特征提取构建新特征，特征选择仅从原始特征中挑选特征。
3.3.1 特征提取
特征编码：用于将时间变量和离散状态转换为ML任务兼容的数值表示。观察到三种编码技术：独热编码、标签编码、正弦/余弦编码。在回归型时间序列预测中，正弦-余弦编码常用于小时或周变量，可保持周期性。标签编码可能在时间变量中引入虚假的序数关系。对于树基算法，标签编码通常可接受。对于特征中只有少数类别的情况，使用独热编码。
时间滞后特征：天气或人类活动等特征具有延迟效应，需提取时间滞后特征。评估时间滞后的方式有基于经验或基于分析两种。自相关分析、曲线图等方法用于确定合理的滞后设置。
基于物理的特征：建筑数据通常具有明确物理意义，专家知识可用于创建基于物理的特征以支持ML模型。例如，设计新特征以考虑居民活动的不确定性，或利用天气关系计算不舒适指数，或构建交叉特征依赖关系。
降维：主成分分析（PCA）和自动编码器是常用技术。PCA进行线性变换，自动编码器通过编码器和解码器提取低维特征。
3.3.2 特征选择
过滤选择：基于特征与目标之间的相关性指标，如皮尔逊系数、斯皮尔曼系数、互信息最大化（MIM）、最小冗余最大相关性（mRMR）、对称不确定性系数等。过滤选择常用于检测冗余特征和识别特征重要性。
嵌入式选择：在ML模型训练过程中选择特征，最常用的是SelectKBest，它基于ML模型提供的评估指标选择前k个最重要的特征。随机森林（RF）可与SelectKBest结合使用。弹性网络（Elastic Net）也被用作嵌入式选择。
包装选择：使用一个或多个ML算法模型在测试数据集上的性能作为指标。递归特征消除（RFE）反复构建模型并移除最不重要的特征。Boruta特征选择（BFS）通过随机复制原始特征集进行特征选择。包装选择考虑了特征的组合效应，但训练成本高。
基于知识的选择：研究者利用专家知识直接选择具有物理意义的特征，常与过滤选择结合使用以弥补其可解释性不足。
4. 结果与讨论
表4汇总了识别出的数据预处理技术。从表中可推断，数据分析中的EDA、数据准备中的数据缩放、特征工程中的编码和过滤选择已广泛使用；时间统计检验、非线性变换和基于知识的特征选择探索较少。交叉维度分析表明，数据源显著影响数据准备步骤，数据集主要驱动数据准备，数据变换与回归任务紧密相关，时间特征工程几乎仅在小时或亚小时时间步长下激活。
5. 结论
本综述针对三个研究问题得出结论：（RQ1）提出了三步数据预处理工作流程，EDA、数据缩放、异常值检测、特征编码和过滤特征选择最常用，但EDA常缺乏清晰的结构化框架。（RQ2）不同技术的优缺点：数据分析中，EDA水平差异大，基于模型的聚类检测模式但难解释，基于时间的聚类易解释但难以详细分类；数据准备中，IQR最常用，插补技术取决于缺失率，缩放以最小-最大归一化为主，卡尔曼滤波稳定但计算复杂，分解性能不一；特征工程中，正弦/余弦编码保持周期性，标签编码适用于有序特征，基于物理的特征提升性能，PCA常用但难解释，自动编码器渐获应用。（RQ3）不足20%的研究报告了时间平稳性检验，多数研究未明确报告数据缩放或异常值检测过程，最小-最大缩放有时被错误地认为可处理异常值，时间特征有时被编码为序数整数引入虚假关系。未来研究应建立标准化的预处理流水线，明确证明预处理决策依据，并在共享数据集上开展更多比较研究。本综述存在两个主要局限性：仅关注需求侧，且所综述研究涉及不同数据集、ML任务和建筑类型，因此仅提供一般性方法学指导而非基于定量证据的最优解。
