一种视觉增强的多模态框架，用于精确的建筑能耗负荷预测

《BUILDING AND ENVIRONMENT》：A vision-enhanced multimodal framework for accurate building energy load forecasting

　　- 历史能耗数据被转换为GAF、RP、MTF和频谱图视图。- 分析了不同视觉能耗编码策略如何影响性能。- 视觉方法在两个数据集的四个骨干网络上持续降低预测误差。- 基于DINOv2增强的PatchTST相比原始PatchTST，将UCI的RMSE降低了3.67%。- 最佳编码方式取决于数据集：UCI上为RP/MTF，多样化BDG-2上为GAF/MultiView。## 引言建筑物占全球能源消耗的32%和CO?排放的34% [1]。准确的建筑能耗预测在需求响应、运行调度和低碳能源管理中发挥着重要作用 [2]。预测质量直接影响建筑运营者规划能源使用、降低峰值需求和在不同建筑类型中应用数据驱动控制策略的有效性 [3]。随着建筑数据集的不断扩展和数字能源平台的广泛应用，在各种实际建筑运营中，对准确和鲁棒的预测模型的需求日益增长 [4], [5]。传统的统计方法、机器学习和深度学习方法已用于建筑能耗预测 [6], [7], [8]。尽管传统模型仍具有实用价值，但它们往往难以应对实际建筑负荷数据的非线性、时变性和上下文依赖性。相比之下，数据驱动方法可以直接从历史观测中学习复杂的时序行为。最近的研究表明，基于树的方法仍然是强有力的基线，而序列模型如LSTM、TCN、Transformer、PatchTST和基于Mamba的架构在捕捉非线性行为和长程时序依赖方面更为有效 [9], [10], [11], [12], [13], [14]。与此同时，跨建筑迁移学习和基础模型适配作为在数据有限和异构运行条件下进行预测的可行解决方案，正受到越来越多的关注 [2], [4], [15], [16]。尽管取得了这些进展，大多数现有预测框架仍将输入主要视为一维负荷序列的时序数据 [17]。这种表示方法简单但朴素，无法充分揭示建筑能耗数据中包含的结构信息。实际建筑负荷曲线受到日常作息、每周重复性和运行条件变化的影响 [18]。当这些模式仅被表示为标量序列时，一些重要关系可能仍然难以被预测模型捕捉。最近，时序图像编码为表示相同历史信息提供了另一种方式。视觉方法（如复归图、马尔可夫转移场和格拉姆角场）可以通过更直观的视觉信息揭示复归性、相关性和转移行为 [19], [20], [21], [22]。最近的研究表明，这类表示方法可以改善特征提取和预测性能 [23], [24]。然而，时序图像编码在建筑能耗预测中的探索仍然有限 [23]。存在一些研究空白：二维视觉建筑能耗表示能否作为一维数值时序建筑能耗预测表示的互补模态；如何通过多模态融合机制和预训练模型有效整合互补的一维时序和二维视觉表示；哪种图像表示最有效；其价值是否取决于不同的时序骨干网络。还需要对多种图像编码、时序骨干网络和异构建筑数据集进行系统的实证评估。最近的预训练视觉模型 [25], [26], [27] 在广泛的任务中展现出了强大的可迁移性，表明它们可能为特定建筑能耗预测提供有用的通用先验知识，而无需大量建筑专属数据集。这促使我们以多模态视角1来审视建筑能耗预测，即模型从原始负荷序列和对应的图像表示中联合学习。受此视角启发，本文提出了一种视觉增强的多模态建筑级负荷预测框架，并在UCI电力数据集和建筑数据基因组计划2（BDG-2）数据集上进行了评估。我们进一步系统地考察了视觉和数值时序表示融合在多种图像编码、时序骨干网络和异构建筑数据集上是否仍然有益。主要贡献如下：- 我们提出了一种视觉增强的多模态建筑能耗预测框架，将历史负荷转换为图像表示作为互补模态，其中时序特征通过交叉注意力机制选择性地查询预训练DINOv2派生的视觉token，随后通过门控融合进行预测。- 我们在两个数据集上对五种图像编码策略（GAF、RP、MTF、频谱图和MultiView）和四种时序骨干网络（PatchTST、Transformer、MambaFormer和TCN）进行了评估，提供了实用有效的图像编码选择指南。- 我们建立了一个系统的实证基准，涵盖两个数据集（UCI Electricity和BDG-2）上的七个机器学习模型和五个深度学习架构，其中基于PatchTST的多模态方法在UCI Electricity上取得了最优整体RMSE为79.17kWh（相比PatchTST提升3.67%，相比最佳传统基线提升19.85%），且BDG-2上所有四个骨干网络均得到一致改善（RMSE降低2.8%–4.6%）。- 实验表明，最有效的编码并非通用，而是取决于数据集的异构性，例如RP/MTF在同质UCI建筑上最为可靠，而MultiView在多样化的BDG-2数据集上更为鲁棒。- 多变量敏感性分析表明，即使包含外生天气和日历特征，视觉编码仍然有益。本文各节组织如下。第2节回顾相关文献。第3节介绍数据集、时序图像编码方法和所提框架。第4节详细分析实验结果。第5节讨论主要发现及其实际意义，第6节为结论。## 章节摘要### 相关工作相关现有研究可分为三个领域：数据驱动的建筑能耗预测、用于预测的时序到图像表示方法，以及结合互补信息源的融合方法。表1概述了2021年至2026年间发布的关于建筑能耗预测、迁移学习、时序成像和融合方法的现有研究，同时指出了这些研究相对于本文工作的局限性。### 方法论本节描述了数据集、预测任务、基准模型、时序图像编码过程以及所提出的视觉增强预测框架。### 实验与结果本节展示了在UCI Electricity和BDG-2数据集上的实验结果。我们首先呈现UCI Electricity数据集上的主要基准结果，随后进行消融实验，考察不同图像编码在各时序骨干网络上的影响。接着，我们分析各建筑的性能以展示预测难度如何随不同负荷规模的建筑而变化。最后，我们报告BDG-2数据集上的额外结果，以评估主要发现是否具有一致性。### 主要发现总结尽管深度学习在建筑能耗预测中的应用日益增长，大多数现有框架仍将输入视为一维负荷序列，并未显式利用历史建筑负荷数据中嵌入的复归性、周期性和状态转移等视觉模式 [9], [17]。最近关于时序分析视觉视角的综述强调了时序到图像转换和预训练视觉骨干网络在多个领域中的潜力。### 结论本研究提出了一种视觉增强的多模态框架，将历史能耗窗口转换为图像表示（GAF、RP、MTF、频谱图和MultiView），并通过交叉注意力融合将视觉特征与时序骨干网络相结合。在UCI Electricity和BDG-2数据集上的实验表明，该框架在所有四种骨干架构上一致降低了误差，在BDG-2上提升2.8%–4.6%，在UCI Electricity上提升3.67%和9.54%（PatchTST + 本方法：79.17）。### CRediT作者贡献声明**Kailai Sun（孙开来）：** 写作–审稿与编辑，写作–初稿撰写，可视化，验证，软件，方法学，调查研究，形式化分析，概念构思。**Baoshen Guo（郭宝森）：** 写作–审稿与编辑，可视化，验证，方法学。**Can Rong（荣侃）：** 写作–审稿与编辑，验证，方法学。**Alok Prakash：** 写作–审稿与编辑，验证，调查研究，形式化分析。**Shenhao Wang（王神浩）：** 写作–审稿与编辑，验证，资源，项目管理。### 生成式AI与AI辅助技术在写作过程中的声明作者声明，人工智能（AI）工具，具体为Claude（Anthropic），仅用于协助稿件文本的语言润色和语法检查。所有智力内容、数据分析、解释和结论均由作者构思、撰写和验证。### 利益冲突声明作者声明不存在可能影响本研究的竞争性经济利益或个人关系。### 致谢本研究由新加坡总理办公室国家研究基金会（NRF）的卓越研究与技术创新校区（CREATE）计划资助。Mens, Manus, and Machina（M3S）是新加坡麻省理工联盟研究与技术中心（SMART）的中心跨学科研究组（IRG）。Kailai Sun | Baoshen Guo | Can Rong | Alok Prakash | Shenhao Wang | Jinhua Zhao