基于大型语言模型强化的语音多模态融合技术在建筑能耗预测中的应用

《Engineering Applications of Artificial Intelligence》：Large language model-enhanced multimodal fusion for building energy consumption forecasting

　　摘要：快速的城市化进程不断加剧建筑能源需求，因此，为智能能源管理系统以及基于数据的建筑环境决策支持提供可靠的长期预测至关重要。然而，许多单一模态的预测模型忽视了多模态元数据（如天气、建筑属性、运营状况等），这限制了它们捕捉跨领域需求驱动因素的能力。我们提出了RECAP这一多模态融合框架，该框架利用大型语言模型将时间序列信号与文本元数据相结合，用于建筑能源预测。RECAP采用了两阶段交叉注意力对齐机制，以连接时间特征与语义上下文，同时还设计了路由机制来简化大型语言模型的词汇空间，从而提升效率并增强领域相关性。该框架在保留原有单一模态模型架构的基础上，通过无缝融入对齐后的上下文信息来实现功能扩展。在某座公开数据的超低能耗办公楼的实验中，RECAP在长期预测场景下的表现始终优于现有最先进方法，其均方误差比最佳基准模型降低了7%。尽管目前仅在单栋建筑上进行了验证，但该框架的模块化设计表明，通过迁移学习方法以及未来更广泛的验证，它有望适用于不同类型的建筑。此外，分解后的终端使用预测结果可为需求侧管理、设备调度、热储存优化以及人工智能驱动的建筑能源运营提供有力支持。

引言：作为最大的能源消耗行业之一，建筑领域在中国碳排放中占据了重要地位，2000年的碳排放量为6.7亿吨，到2020年上升至21.6亿吨，占全国总排放量的21.7%（Huo等人，2021）。随着城市化进程的加速，与建筑相关的碳排放预计还将进一步上升，这对实现国家碳中和目标带来了巨大挑战（Huo等人，2023）。全球范围内也观察到了类似的趋势（Wu等人，2023）。因此，准确且长期的建筑能源消耗预测对于有效的能源规划、需求响应、建筑运营以及碳减排工作而言至关重要。建筑能源消耗受到多种相互关联因素的影响（Yoshino等人，2017），包括室外环境、室内环境、建筑结构、建筑设备、运维情况以及使用者行为等。要实现精准预测，就必须深入理解这些因素。其中，室外环境（如天气状况）会直接影响供暖、照明和空调系统的能源需求（Fikru和Gautier，2015）。此外，极端温度条件还会增加对机械通风系统的依赖。在寒冷气候地区，建筑结构对能源消耗的影响尤为显著（Feng等人，2016），据估计，公共建筑每年约50%的空调能耗源于建筑围护结构的热量损失。另外，建筑的几何形状和空间布局也会通过影响太阳辐射和空气流动来改变空调能耗，这一现象在大型商业设施中尤为明显。尽管这些因素的重要性早已为人所知，但要准确模拟它们之间的综合效应依然十分困难。建筑设计、环境条件以及人们使用空间方式之间的复杂相互作用，导致了能源消耗模式的高度变异性和不可预测性。虽然基于物理原理的模型能够提供详细且准确的建筑能源消耗变化模拟，但它们往往过于复杂，需要详尽的建筑参数和专家知识才能运用（Bhavsar等人，2023）。为此，由于对领域专业知识的依赖程度较低，数据驱动的方法逐渐受到关注。然而，这类模型大多缺乏捕捉环境输入与能源消耗之间复杂、非线性且可能非平稳关系的机制（Duan等人，2022）。近年来，Transformer模型（Vaswani等人，2017）及其变体在单变量和多变量时间序列预测任务中展现了出色的性能（Zhou等人，2021），这是因为它们能够模拟长距离、非平稳的时间依赖关系。不过，其中一些单一模态模型由于缺乏针对单个建筑的大规模数据集，存在性能瓶颈，这容易导致过拟合，进而限制其在实际应用中的泛化能力。此外，仅依赖单一模态数据（如能源消耗时间序列数据），可能无法全面反映系统的内在动态，从而限制模型捕捉能源消耗复杂驱动因素的能力。在天气状况迅速变化或发生极端事件时，这一问题尤为突出，这会进一步制约模型提升预测性能的能力。为解决这一问题，就需要开发能够有效整合多模态数据的机器学习方法，以提高建筑能源消耗预测的准确性和稳健性。通过将时间序列数据与天气、语义注释以及专家知识等元数据相结合（见图1），模型就能更全面地了解能源消耗的驱动因素。值得注意的是，这些补充信息很多都以自然语言形式存在，而传统模型往往难以有效处理这类数据。相比之下，经过大量语料训练的大型语言模型在语言理解、语义推理以及泛化能力方面表现出色，非常适合用于处理自然语言形式的元数据。这些能力对于那些希望借助人工智能获得决策支持、以实现需求侧灵活性、低碳运营以及在极端天气条件下保持运营稳定性的建筑运营者和能源管理者来说，具有重要的实用价值。在本文中，我们提出了一种将多模态元数据整合到单一模态时间序列预测模型中的新框架，名为RECAP。该框架建立在我们的SPAformer基础架构之上（Wang等人，2025），通过定制的交叉注意力机制，将多模态元数据的时间对齐表示融入模型，从而提升时间序列能源消耗预测的准确性。该框架还引入了一种结构化的提示词生成方法，通过全面的统计分析以及领域专家知识，构建语义丰富的元数据表示。一种新颖的两阶段交叉注意力机制则能够在不引发特征纠缠的情况下，弥合时间序列数据与文本表示之间的巨大模态差异。为提高计算效率，我们还设计了一种路由机制，能够从大型语言模型复杂的原型空间中自适应地选择与建筑相关的源信息，从而实现词汇领域的简化，降低计算复杂度。这种混合架构在保留原有单一模态预测模型结构的同时，将对齐后的多模态上下文融入预测过程。我们利用某座超低能耗办公楼的公开数据集来评估该方法在长期建筑能源预测方面的有效性，同时验证整合多模态元数据所带来的优势。本文的其余部分结构如下：第2节回顾了建筑能源消耗预测的相关研究，并探讨了将大型语言模型应用于时间序列预测的最新进展；第3节正式定义了能源预测任务，介绍了所提出的RECAP框架，并详细阐述了其核心组成部分；第4节描述了数据集、实验设置以及评估结果；第5节分析了该框架的意义，说明了各个核心组件是如何解决建筑能源预测中多模态元数据对齐所面临的关键问题的；最后，第6节对全文进行总结，并指出未来的研究方向。