《Energy and Buildings》:Transfer learning techniques on temporal fusion transformers for short-term building load forecasting under limited data conditions
编辑推荐:
能源系统的持续演进正在将传统电网转向智能电网,其中先进的计量基础设施和智能电表提供详细的建筑级数据。然而,许多建筑(住宅或其他类型)的特点在于历史负荷数据稀缺,这限制了参与能源管理方案所必需的短期负荷预测模型的准确性。迁移学习(Transfer Learnin
能源系统的持续演进正在将传统电网转向智能电网,其中先进的计量基础设施和智能电表提供详细的建筑级数据。然而,许多建筑(住宅或其他类型)的特点在于历史负荷数据稀缺,这限制了参与能源管理方案所必需的短期负荷预测模型的准确性。迁移学习(Transfer Learning, TL)提供了一种有吸引力的方法,通过使预训练模型适应数据稀缺环境,有效利用从数据富集领域获得的知识。本研究探索了一个系统性的实验框架,包含四个已建立的基线模型以及最先进的时间融合变换器(Temporal Fusion Transformer, TFT)。每个模型在一个“源”建筑(数据富集)上进行预训练,随后迁移到具有不同领域相似度的目标(数据贫乏)建筑,模拟数据稀缺场景。为了实现有效的知识迁移,研究人员对每个基线模型测试了三种到五种基于参数的迁移学习技术,包括全微调和部分层适配,同时对TFT应用了总计三种新颖的细粒度知识迁移方法,针对其变量选择、循环和注意力组件。在包含来自三个不同地理位置的大学宿舍建筑的真实世界数据集上的实验结果表明,TL持续提升了所有目标域的预测准确性,在严重数据稀缺条件下观察到最大收益,其中表现最佳的TL配置与基础模型相比,均方根误差(Root Mean Squared Error, RMSE)降低了10-20%。即使在领域差距较大或历史记录较长的设置中,TL仍在所有指标上为所有模型带来稳定改进,而TFT显著实现了约20%的RMSE降低和41%的R2分数(R2 Score)提升。此外,它超越了最强的TL基线,在R2分数上额外提升了高达22%,并在所有域中实现了RMSE和平均绝对误差(Mean Absolute Error, MAE)的一致降低。这些发现突显了TL在缓解数据稀缺方面的有效性以及TFT在提取时间与上下文模式方面的稳健性,证实了其在跨域和有限数据负荷预测中的价值。
**论文解读:基于迁移学习与时间融合变换器的短期建筑负荷预测研究**
**研究背景、问题与动机**
随着城市化进程加速,超过90%的人为碳排放产生于城市,传统电网正向智能电网转型,智能电表提供了详细的建筑级数据,为需求侧灵活性管理创造了机会。短期负荷预测(Short-Term Load Forecasting, STLF)作为提升能源效率、优化需求响应(Demand Response, DR)计划及支持可再生能源整合的关键工具,其准确性至关重要。然而,许多建筑(住宅或非住宅)面临历史负荷数据稀缺问题,限制了深度学习(Deep Learning, DL)模型(如循环神经网络RNN、长短期记忆网络LSTM等)的训练效果,因为这些模型依赖大量高质量历史数据。迁移学习(Transfer Learning, TL)通过将数据富集领域预训练模型适配到数据稀缺目标域,为缓解这一挑战提供了有效途径。现有研究虽已探索TL在建筑负荷预测中的应用,但针对时间融合变换器(Temporal Fusion Transformer, TFT)这一先进架构的细粒度迁移策略尚不充分,且多局限于统一气候条件。本研究旨在系统评估多种TL技术(包括TFT新型细粒度方法)在不同数据稀缺程度和跨域相似性下的表现,填补现有空白。
**研究人员开展的研究与结论**
研究人员采用Building Data Genome 2数据集中的三座大学宿舍建筑(分别位于伦敦、佛罗里达和新泽西),模拟数据稀缺场景:将一座数据丰富的建筑作为源域,另两座作为目标域(其中目标域1有12个月和6个月两种变体,目标域2仅有12个月)。他们对四种基线模型(堆叠RNN、堆叠CNN、堆叠LSTM、混合CNN-LSTM)及TFT模型应用多种基于参数的TL技术(包括全微调、部分层适配及针对TFT的三种新型细粒度方法),并在源域预训练后迁移至目标域。结果表明,TL在所有目标域均提升了预测精度,尤其在严重数据稀缺(目标域1的6个月变体)下收益最大,最佳TL配置使RMSE降低10-20%。TFT在目标域1(12个月变体)中通过微调LSTM层(TL3)达到最优,RMSE降低约18%,R
2分数提升约18%;在目标域1(6个月变体)中,TFT-TL3仍保持最优,RMSE仅增加19.2%,R
2分数下降7.2%;在更挑战的目标域2中,TFT-TL3实现RMSE降低20%、R
2分数提升41%,并超越所有基线。这些发现证明了TL在缓解数据稀缺方面的有效性,以及TFT在提取时间和上下文模式方面的稳健性。论文发表在《Energy and Buildings》。
**主要关键技术方法**
研究人员构建了系统性实验框架,主要包括:1)模型构建:采用堆叠RNN、堆叠CNN、堆叠LSTM、混合CNN-LSTM及TFT五种架构;2)基于参数的迁移学习方法:对基线模型测试三种至五种TL技术(全微调、部分层适配、层替换再微调等),对TFT应用六种TL技术(包括全微调、微调变量选择网络、微调LSTM层、微调注意力层、以及基于文献的两种策略FT2和FT1);3)数据处理:使用Building Data Genome 2数据集(公开数据集,含1636栋建筑,来源为北美和欧洲19个地点),筛选三座宿舍建筑,在数据预处理中使用滞后插补、面积归一化、独热编码及[0,1]缩放;4)训练策略:序列长度48小时,80/20训练测试分割,Adam优化器,早停法,50个epoch,超参数优化通过Optuna库进行50次试验;5)评估指标:RMSE、MAE、MAPE、R
2分数,并采用配对t检验验证显著性。
**研究结果**
**4.3.1 源域**
通过预训练评估,堆叠LSTM和堆叠RNN在RMSE和MAE上表现最优,TFT在MAPE和R
2分数上最佳,堆叠CNN和混合CNN-LSTM因卷积层压缩信息或池化导致性能受限。
**4.3.2 目标域1(12个月变体)**
TFT微调LSTM层(TL3)取得最低RMSE、MAE、MAPE和最高R
2分数(72.969),注意力分析显示其对24小时滞后等有意义时间步的注意力增强,目标变量解释力提升约30%。混合模型和堆叠LSTM在全微调(TL1)下表现次优,RMSE分别降低约18%和14%。CNN在部分卷积层适配(TL2)下R
2提升42%,但整体未达领先水平。RNN在TL3下小幅改善,但仍是性能最弱架构。
**4.3.3 目标域1(6个月变体)**
数据缩减至6个月后,TFT-TL3仍为最优,RMSE仅增加19.2%(至5.40),R
2分数下降7.2%。注意力分析显示其聚焦近期和日周期性时间步,目标变量成为主导解释特征。堆叠LSTM最佳策略从TL1转为TL3,RMSE上升5.5%,R
2下降26.8%,但仍为循环模型中第二佳。CNN和RNN因归纳偏置对短期数据适应较好,RMSE上升约9%和16%,但MAPE上升约9%和22%,整体竞争力下降。
**4.3.4 目标域2**
在域差异更大的目标域2中,TFT-TL3仍最优,RMSE降低20%,R
2提升41%。注意力分析显示其选择性关注48小时和24小时滞后,目标变量主导表示。混合模型TL1次优,RMSE降低14%,R
2提升98%。CNN的TL2使R
2提升36%,但整体有限。堆叠LSTM出现负迁移,RNN仅在RMSE、MAE、MAPE上微弱改善,R
2分数下降。仅TFT和混合模型的改进具有统计显著性。
**总结与讨论**
讨论部分指出,TL在所有实验中一致提升STLF精度,但在严重数据稀缺下收益最大(6个月变体)。TFT的TL3策略(微调LSTM层、冻结变量选择和注意力层)在各域表现最优,归因于LSTM层捕获建筑特定局部依赖性,而高层组件提供稳定跨域模式。堆叠LSTM和RNN在域差异大时出现负迁移,因其纯循环结构过度依赖源域统计特性且缺乏注意力过滤机制。研究结论强调TL在缓解数据稀缺中的有效性以及TFT在提取时间与上下文模式中的稳健性,证实了其用于跨域和有限数据负荷预测的价值。局限性包括仅使用三座宿舍建筑及仅探索基于参数的TL策略,未来工作应扩展建筑类型、集成多类别TL方法及多源迁移设置。