《Neurocomputing》：MPGTimer: A long-context multi-scale patch and graph-enhanced transformer for time series forecasting
编辑推荐：
Xinyi Duan|Xing Wu|Ying Zhou|Guangpu Jiang|Kang Tu|Zhiye Xu|Pengcheng Wu|Xixi Liu|Jianbiao Dai上海大学计算机工程与科学学院，中国上海200444摘要时间序列预测旨在通过历史观测数据构建时
Xinyi Duan|Xing Wu|Ying Zhou|Guangpu Jiang|Kang Tu|Zhiye Xu|Pengcheng Wu|Xixi Liu|Jianbiao Dai
上海大学计算机工程与科学学院，中国上海200444
摘要
时间序列预测旨在通过历史观测数据构建时间动态模型，从而预测未来趋势。随着现实世界数据规模的不断增长，有效利用长上下文信息变得越来越重要。然而，长上下文往往具有层次化的时间结构，且变量间的依赖关系时变且不均匀，难以在统一框架内进行建模。因此，现有方法的性能往往受到限制。为应对这些挑战，我们提出了MPGTimer，这是一种专为长上下文预测设计的多元长序列建模框架。MPGTimer引入了多尺度补丁积分器（MPI），用于提取不同时间分辨率下的局部片段，并将它们整合为统一的表示形式。在此基础上，该模型还加入了图增强交互注意力（GIA）机制，以捕捉扁平化补丁内的变量间及变量内部的依赖关系。此外，还使用了位置嵌入来强化时间因果关系和变量等价性。另外，一个图结构化的交互层被用来自适应地学习变量节点之间的相关权重，从而更有效地建模复杂的变量关系。在多个真实世界数据集上的广泛实验表明，MPGTimer在预测精度上相比现有最先进方法平均提升了3.13%。
引言
多元时间序列预测（MTSF）致力于通过多个变量的历史观测数据来预测其未来趋势。它已成为现代数据分析的核心组成部分，在商业[5]、[9]、[28]以及工业[4]等领域发挥着至关重要的作用。随着数据量的持续增长，时间序列越来越表现出长距离依赖性，这使得长上下文建模成为一个重要的研究方向。然而，先前的研究表明，仅仅增加基于Transformer的模型的回溯长度并不能持续提升预测性能[23]、[39]。其中一个关键原因是，随着观测数量的增加，序列内的依赖结构变得更加复杂，而现有架构在处理长上下文建模时的可扩展性仍然有限。此外，尽管这类交互在长上下文环境下对预测精度的提升起着至关重要的作用[32]、[36]，但大多数现有方法仍难以同时捕捉多尺度时间模式和变量间的复杂交互。
早期的深度学习方法，如循环神经网络（RNNs）[38]，包括LSTM[7]和GRU[3]，通过引入记忆机制来提升序列建模能力。不过，它们仍然存在梯度消失的问题，且在长时间跨度上的训练效率较低。最近，Transformer架构[29]被广泛用于时间序列预测，代表性的模型有Informer[41]和Autoformer[34]。这些方法通常将每个时间步视为独立的标记，这有助于有效建模短期依赖关系，但难以稳定捕捉长期时间趋势。为了更好地建模变量维度上的长期依赖关系，iTransformer[17]提出了一种维度反转的表示方式，即从时间步标记转向变量级标记。虽然这种设计提升了长期时间依赖关系的建模能力，但它不可避免地削弱了对局部时间模式的表征，同时也限制了变量内部及变量间交互的建模。
如图1所示，为了解决上述问题并提升长上下文环境下的多元时间序列建模能力，我们提出了MPGTimer。该模型利用多尺度补丁嵌入来捕捉短期局部模式和长期趋势信息。此外，还引入了图增强型补丁交互注意力机制，用以建模变量间的动态依赖关系，从而提升长多元序列的预测性能和泛化能力。
本文的贡献如下：
我们提出了MPGTimer，这是一种专为长上下文时间序列预测设计的基于Transformer的框架。它通过共同构建多尺度输入表示并建模时变依赖关系，提升了长上下文表示的能力。
我们提出了多尺度补丁积分器（MPI）和图增强交互注意力（GIA）机制。MPI用于构建多尺度补丁嵌入，而GIA则通过结构化掩码和偏置项来建模补丁间的交互，并借助带可学习软权重的图增强注意力机制来捕捉多元依赖关系。
在七个公开可用的数据集上的广泛实验表明，MPGTimer在长上下文预测场景中建立了新的最先进基准，平均准确率提升了3.13%。
章节节选
相关工作
近年来，得益于深度学习的进步，时间序列预测取得了快速发展。在早期，由于计算资源有限，预测方法主要依赖于传统的统计模型。典型的例子包括自回归移动平均（ARMA）系列[2]，这类模型在短期预测中表现良好，但在非平稳性和多元性等复杂场景下的建模能力较为有限。
MPGTimer
问题定义。 MPGTimer的任务是长上下文多元时间序列预测。与以往研究中常用的标准预测设置不同，MPGTimer侧重于在更长的上下文条件下进行预测。相较于常规预测任务，长上下文多元预测的难度要大得多。具体而言，模型必须同时捕捉局部时间窗口内的短期动态，以及提取结构化的时间信息。
实验
为了全面评估MPGTimer的预测性能，我们在多种基准数据集上进行了大量实验。与传统的长期预测设置不同，我们的评估重点在于长上下文预测。具体来说，我们在固定预测范围的同时，将回溯长度扩展到周级和月级上下文。
数据集。 为了在多种真实世界场景下评估MPGTimer的性能，我们在七个公开可用的多元时间序列数据集上进行了实验。
结论与未来工作
本文介绍了一种用于长上下文多元时间序列预测的新框架——MPGTimer。MPGTimer首先引入了多尺度补丁积分器（MPI），用于提取不同时间分辨率下的局部片段，从而实现局部模式和全局趋势的联合建模。在此基础上，该模型还设计了图增强交互注意力（GIA）机制，能够在统一的注意力框架内同时捕捉时间依赖关系和变量间依赖关系。
CRediT作者贡献声明
Xinyi Duan：撰写——审阅与编辑，撰写——初稿，可视化，验证，方法论，研究，形式分析，概念构思。Xing Wu：撰写——审阅与编辑，指导，资源提供。Ying Zhou：撰写——审阅与编辑，研究。Guangpu Jiang：指导，项目管理。Kang Tu：指导，项目管理。Zhiye Xu：指导，资源提供。Pengcheng Wu：指导，资源提供。Xixi Liu：指导，资源提供。Jianbiao Dai：
关于写作过程中生成式AI和AI辅助技术的声明
在准备本手稿期间，作者使用了生成式人工智能工具ChatGPT（OpenAI，GPT-5.2）进行语言编辑和语法检查。所有内容均由作者亲自审核并确认，他们对最终手稿负全责。
利益冲突声明
作者声明，他们不存在任何可能影响本文所汇报工作的已知财务利益或个人关系。
致谢
本研究得到了高质量发展专项计划（DZBM2024-31-0022）的支持。
Xinyi Duan是上海大学计算机工程与科学学院的研究生。她的当前研究兴趣包括时间序列预测、人工智能和深度学习。
