基于文本嵌入多编码器Transformer的短期住宅负荷预测新方法

本研究针对天气因素导致的住宅用电短期预测难题，创新性地利用CLIP和BERT等大语言模型对气象信息进行文本嵌入编码。结果表明，该方法相比传统SLSTM模型显著降低RMSE和MAE指标，CLIP模型单次3分钟预测推理时间仅需0.75毫秒，为智能电网优化提供了新技术路径。

　　

随着大语言模型（LLMs）领域的显著进展，GPT、LLAMA和Mistral等模型展现出对现实世界概念的强大理解能力，这得益于其训练数据集中包含的多样化真实世界信息。本研究提出利用LLMs的信息编码能力来解决电力预测这一现实问题。住宅建筑的用电模式显著受到气象条件影响，特别是供暖和制冷需求导致的日常波动性，这对短期预测精度构成挑战。

最新的大语言模型实践表明，其通过先进的编码机制能够捕捉更广泛的上下文信息。本文探索了一种创新方法，通过预定义的描述文本格式对气象信息进行编码，并运用LLMs提取文本嵌入（embeddings），最终提升预测精度。具体采用CLIP和BERT两种大语言模型，实证结果表明该方法相比传统SLSTM模型能显著降低均方根误差（RMSE）和平均绝对误差（MAE），其中CLIP模型实现每3分钟预测仅0.75毫秒的平均推理时间。