《Engineering Applications of Artificial Intelligence》:Deep learning architectures for autonomous feature selection in residential energy modelling
编辑推荐:
建筑运行数据量的持续增长为数据驱动的能效评估提供了大量机遇。尽管监督学习模型已被广泛应用,其效能却常受限于人工特征工程。从高维噪声数据集中提取显著特征仍是制约模型可扩展性、泛化性与可解释性的关键瓶颈。研究人员针对该缺口,系统评估了三种深度学习架构——TabNe
建筑运行数据量的持续增长为数据驱动的能效评估提供了大量机遇。尽管监督学习模型已被广泛应用,其效能却常受限于人工特征工程。从高维噪声数据集中提取显著特征仍是制约模型可扩展性、泛化性与可解释性的关键瓶颈。研究人员针对该缺口,系统评估了三种深度学习架构——TabNet、深度特征选择(Deep Feature Selection, DFS)神经网络,以及结合置换重要性(permutation importance)的传统人工神经网络(Artificial Neural Network, ANN)——以实现从住宅建筑数据中自动选择特征。所有模型均展现出稳健的预测性能及自主排序影响特征的能力。具体而言,TabNet模型验证准确率达94.36%,DFS与ANN架构总体准确率分别为93%与94%。此外,三种方法均收敛于碳排放(总量与单位建筑面积)及当前能耗作为能耗性能的主要决定因素。本研究贡献了一个可扩展框架,用于开发透明且稳健的模型,助力建筑能耗的大规模优化。
研究背景方面,发达国家建筑能耗持续上升,住宅与商业建筑约占全球能源使用量的32%,建筑运行阶段占建筑全生命周期能耗的80%–90%。数据驱动的建筑能效管理虽潜力巨大,但既有监督学习模型(如人工神经网络、支持向量回归、集成方法)常受困于人工特征工程,而传统特征选择方法(如递归特征消除、Boruta)在处理高维、非结构化或动态演化数据时需大量人工参与且难以刻画复杂非线性关系。现有研究多聚焦单一模型预测精度提升,缺乏对深度学习架构如何自主提取与排序建筑特征的系统比较。为此,研究人员以英国住宅建筑数据集(原始168383条记录、92个特征,经筛选住宅类型、剔除缺失率超50%特征、中位数填补数值缺失、1.5×IQR去离群后得69200栋房屋,目标为EPC能效等级A–F类)为对象,系统比较TabNet、DFS神经网络与带置换重要性的ANN三种架构的自主特征选择能力。该研究发表于《Engineering Applications of Artificial Intelligence》,意义在于为建筑能效建模提供可扩展、透明、稳健的特征选择框架,桥接先进人工智能与实用建筑科学。
关键技术方法上,研究人员采用三套深度学习架构:TabNet利用顺序注意力机制中Attentive Transformer施加稀疏掩码动态选特征,Feature Transformer学隐含表示;DFS神经网络在首层稠密层施L1正则化将无关特征权值压零实现嵌入式为特征选择,后续经隐藏层与softmax输出;ANN则训练后对各特征逐列置换,以精度下降幅度度量置换重要性。三模型共享批处理与早停策略,在同源训练/验证/测试划分(测试集n=13840)上比对,并以McNemar检验校准确差。
研究结果部分,第2节TabNet中,架构经多决策步迭代,Attentive Transformer以稀疏注意力选关键特征,提供局部与全局特征重要性,无需预处理,在跨截面与时间序列数据上优于多数传统选择法。第3节DFS神经网络中,L1惩罚层直接产生稀疏特征表示,训练后从选层权值提取特征重要度,分类用softmax。第4节ANNs with permutation importance中,数值特征过稠密层、类别特征过嵌入层后拼接,经隐藏层至softmax;训练后单特征置换重算精度,降速即重要性。第5节超参调优空间列明TabNet的Feature Dim、Attention Dim、Decision Steps、γ松弛、λsparse,DFS的Selection Units与L1系数,ANN的隐藏层数、首层单元数、Dropout率、Permutation Repeats等。第6节实验结果显示,TabNet验证准确率94.36%,DFS总体93%,ANN总体94%;三模型一致将总碳排放、单位面积碳排放与当前能耗列为首要决定因子,且McNemar检验表明Top-1差异未达显著水平。
讨论与结论翻译部分,研究人员指出:建筑运行数据高维噪声下,将特征选择嵌入深度学习训练过程(而非后置过滤)可同时兼顾预测力与可解释性;TabNet提供逐步注意力可视化的全局/局部重要性,DFS以L1硬稀疏直接隔离特征,ANN置换重要性给出与模型结构解耦的事后排序,三者结论趋同验证了碳排放与现能耗的核心地位。该工作贡献了一个可扩展框架,使领域专家能依据数据特性择法,推动大规模建筑能耗优化中的透明稳健建模。