基于自适应分解与门控注意力网络的时间序列预测分段预测方法

《Big Data Research》：Segment Prediction with Adaptive Decomposition and Gate-Guided Attention Network for Time Series Forecasting

　　

摘要

基于RNN和Transformer的方法在处理长期依赖关系和计算效率方面存在各自挑战。复杂的 数据结构、循环单元中固有的信息衰减、注意力机制的高计算复杂度，以及逐点迭代导致的误差累积，都是这些方法在时间序列预测中表现受限的原因。为解决这些问题，本文提出了一种混合预测架构，即SegGANet，它整合了自适应时间序列分解、门控注意力网络和分段预测机制。自适应时间序列分解能够提取时间序列中的趋势、季节性特征和残差成分，从而减少各成分之间的相互干扰。门控注意力网络结合了门控循环单元、自注意力机制和多头注意力机制，可以有效捕捉长期依赖关系，提升整体预测精度。分段预测机制则用分段迭代替代逐点迭代，显著提高了预测效率。在多个公开基准数据集上的实验表明，SegGANet的性能显著优于传统的基于RNN和Transformer的方法，具有更高的准确率和效率。

引言

时间序列数据在众多研究和实际领域中被广泛生成。时间序列预测[1]是一个重要的研究领域，具有广泛的现实应用，如能源消耗预测[2]、天气预报[3]、交通流量预测[4]、金融市场分析[5]以及工业控制[6]。随着数据量的增加和数据本身复杂性的提升，传统的统计方法[7]在处理高维度、非线性及长时间序列数据时遇到了诸多限制。近年来，深度学习方法[8]在时间序列预测领域取得了巨大进展，其在建模长序列[9]和捕捉复杂非线性模式方面展现出强大能力。

许多时间序列预测方法依赖于对过去观测值的线性表示。然而，现实世界中的时间序列往往存在复杂的非线性关系，这使得这些方法难以捕捉到其中的潜在模式。为克服这一局限，大量研究探索了不同的深度学习技术，尤其是循环神经网络（RNN）[10]和长短期记忆网络（LSTM）[11]，它们通过有效捕捉时间依赖关系提升了预测精度。尽管这些方法在预测性能上取得了显著改进，但在处理不同时间序列数据元素之间的复杂变化时仍面临诸多挑战。因此，人们提出了许多结合时间序列分解技术的深度学习模型[12]。时间序列分解方法通常将时间序列分解为趋势、季节性和残差成分[13]，从而可以分别对这些成分进行建模和优化。这种分解方式不仅有助于模型更好地捕捉时间序列中的潜在模式，还能有效降低模型对噪声的敏感度[14]。不过，这些分解方法可能会导致信息损失以及较高的计算成本。

此外，基于注意力机制的时间序列预测模型[15]也被越来越多地用于时间序列数据建模。自注意力机制能够有效捕捉长时间依赖关系[16]，并建模不同时间步之间的相关性[17]，在处理长序列方面，其性能优于传统的RNN和LSTM网络[18]。基于Transformer的时间序列预测模型[19]已成为该领域的重点研究方向，它们凭借高效的计算能力和捕捉长距离时间依赖关系的强大能力而备受关注。然而，基于注意力的预测模型仍面临若干挑战。当前研究中的关键问题包括如何高效捕捉复杂的時間模式、在长序列预测中保持计算效率，以及提升模型的泛化能力和可解释性[20]。克服这些限制对于提高时间序列数据预测模型的预测精度和可靠性至关重要。

基于以上分析，本文提出了一种结合自适应分解和门控注意力网络的分段预测方法，旨在提升预测性能和效率。首先，通过所提出的自适应时间序列分解模块，将时间序列分段并分解为趋势、季节性和残差成分。接着，构建门控注意力网络以捕捉远距离的时间依赖关系，减少不同成分之间的相互干扰。最后，通过分段预测机制得到预测值。本文的主要贡献如下：

1. 提出了一种自适应时间序列分解方法，通过低通滤波和滑动平均将原始序列分解为趋势、季节性和残差成分，从而处理复杂的 数据结构。这不仅减少了特征之间的相互干扰，简化了学习目标，还提升了分解效率。

2. 构建了门控注意力网络，用以缓解循环单元中的信息衰减问题，并捕捉长距离依赖关系。该网络将GRU与多头自注意力机制相结合，能够同时筛选关键状态信息并建模全局关联，通过有效建模局部时间变化和长距离依赖关系，提升了预测精度。

3. 设计了一种分段预测策略，旨在解决逐点迭代带来的计算效率低和误差累积问题。该策略通过用分段迭代替代逐点迭代，减少了递归步骤的数量，从而显著提高了预测效率。

4. 在多个公开数据集上进行的实证评估表明，所提出的方法性能优于现有的先进方法，具备更出色的预测性能。

章节节选

时间序列预测

传统的时间序列预测方法，如ARIMA[21]和指数平滑法[22]，在建模线性时间序列方面效果较好，当数据呈现平稳趋势或明显周期性时表现优异。然而，随着数据复杂性的增加，这些传统方法在建模复杂的非线性结构时面临局限，导致预测性能不佳。因此，基于深度学习的神经网络架构，尤其是那些基于RNN的架构，逐渐受到了重视

模型架构

为深入挖掘时间序列中复杂且隐藏的模式，本文提出了一种创新的时间序列预测框架——SegGANet，它整合了自适应时间序列分解、门控注意力网络和分段预测机制。首先，所提出的自适应时间序列分解模块可将时间序列分解为趋势、季节性和残差成分。与固定的分解策略不同，该方法能够动态适应

数据集

为评估所提模型的有效性，本文选择了九个常用的时间序列数据集。这些数据集涵盖了多种时间序列预测任务，包括电力需求预测、交通流量预测和天气预报。电力变压器数据集：该数据集记录了不同时期的电力消耗情况，具有明显的季节性和趋势特征。电力数据集：该数据集包含区域电力消耗数据

结论

本文提出了一种混合预测架构，旨在捕捉时间序列数据中的动态和隐藏模式，该架构整合了自适应时间序列分解、门控注意力网络和分段预测机制。自适应时间序列分解能够提取时间序列中的趋势、季节性特征和残差成分，从而减少各成分之间的相互干扰。门控注意力网络则结合了门控循环单元、自注意力机制和多头

CRediT作者贡献声明

王薇娜：写作——审阅与编辑、监督、方法论、资金获取、概念构思。刘志刚：写作——初稿撰写、可视化、软件使用、方法论、数据整理。

利益冲突声明

作者声明，他们不存在任何可能影响本文研究工作的已知利益冲突或个人关系。

Weina Wang|Zhihang Liu

吉林化工学院信息与控制工程学院，中国吉林市132022