周期性锚定掩码注意力用于长期时间序列预测

《Neurocomputing》：Periodicity anchored masked attention for long-term time series forecasting

　　

• •
  PAMA将任务驱动的时间先验编码到注意力连接中。
• •
  局部、膨胀和周期性链接捕获互补的依赖关系。
• •
  组件消融评估局部、膨胀和周期性时间先验。
• •
  实验在长期预测基准上评估PAMA。

引言

时间序列预测在广泛的实际应用中发挥着关键作用，包括气象学[1]、[2]，电力[3]以及交通[4]。近年来，基于Transformer的架构[5]、[6]、[7]、[8]、[9]凭借其建模复杂时间依赖关系的能力，在长期预测任务中展现了强大的性能[5]、[6]。然而，标准自注意力的设计并不总是与时序数据的结构特征相适应。

虽然全局自注意力提供了全局时间访问，但它将所有历史位置视为潜在的依赖关系。稠密注意力可能会引入冗余交互[10]并产生分散的注意力分布。更重要的是，它没有显式编码常见的时间结构，如短期连续性、不同时间滞后范围的依赖关系以及周期性模式，而这些是现实世界时序数据的基本特征。图1总结了这些局限性，并促使构建结构化的时间连接。

一种自然的替代方案是将注意力限制在局部邻域内。虽然局部注意力能有效地捕获短期动态，但它无法建模长程趋势、周期性行为以及远端但重要的时间事件[11]、[12]。这一局限性表明，无论是完全稠密的注意力还是纯局部注意力都不足以满足时间序列预测的需求。

这些观察结果表明，有效的时序注意力机制应该有选择地关注反映内在时间模式的结构化历史位置子集。特别是，时间序列中的相关依赖关系通常源于三个方面：近期观测、不同时间滞后范围的历史上下文以及周期性对齐的时间戳[8]、[13]、[14]。

受此启发，我们提出了PAMA，一种由时间先验引导的结构化注意力机制。PAMA不是关注所有历史位置或依赖通用的稀疏模式，而是通过组合三个互补组件为每个查询显式构建因果可见集：用于短期依赖的局部窗口、用于跨多个时间滞后范围依赖关系的指数膨胀位置，以及与预定义周期对齐的周期性锚点以捕获重复模式。与并非专门针对时间结构设计的一般稀疏注意力机制[15]不同，PAMA保留了与时序数据底层结构一致的时间有意义的依赖关系。

PAMA被设计为一个时序建模模块，其集成位置遵循骨干网络的令牌语义。它在PatchTST[16]中屏蔽现有的补丁级自注意力，替换DeformableTST[17]中的阶段性可变形注意力算子，并限制在TimeBridge[18]的集成注意力层内的时间自注意力中。这些适配器保留了剩余的骨干网络特有的表示和预测路径，但在当前实现中它们都评估稠密的注意力分数矩阵。

这些骨干网络特定的适配器用于在不同令牌语义下实例化和评估相同的可见集先验；它们不被视为独立的方法论贡献。PAMA的技术贡献在于统一因果连接先验的设计以及其组件作用的分析。

在基准数据集上的大量实验表明，PAMA通常能提升预测性能，特别是在需要建模短期到长期依赖和周期性依赖的长预测范围中。这些结果表明，将结构化的时间先验纳入注意力设计为时序建模提供了有前景的方向。本文的主要贡献总结如下：

• •
  我们提出了PAMA，一种结构化时序注意力机制，通过显式组合局部窗口、膨胀的历史链接和周期性锚点来捕获时序中的短期依赖、跨多个时间滞后范围的依赖关系和周期性重复。
• •
  我们在不同的预测骨干网络和基准数据集上进行了大量实验，以表征结构化时间连接在何时是有益的。组件消融进一步分析了局部、膨胀和周期性链接的不同且互补的作用。
• •
  我们通过比较周期选择策略、评估周期误指定的鲁棒性，以及研究自适应多周期扩展，系统地探讨了周期性锚点应如何指定。

骨干网络特定的适配器是评估实例化，而非独立的贡献。

章节摘要

基于Transformer的时间序列预测

由于Transformer[19]架构具备建模复杂时间依赖关系的能力，它们已成为时间序列预测中的主导范式。早期的预测模型，如时间融合Transformer[20]和Informer[5]，采用注意力机制来捕获时间序列中的长程交互。虽然这些模型实现了灵活的依赖关系建模，但标准自注意力引入了关于序列长度的二次复杂度，且可能与...

问题设定

给定历史多变量时间序列$$，其中$$、$$和$$分别表示批大小、输入时间步长度和变量数，长期预测的目标是在长度为$$的范围内预测未来值$$。

我们区分原始变量维度$$与隐藏/模型维度$$。本文中，$$表示令牌嵌入的维度，且等于模型参数$$。PAMA作用于隐藏令牌序列$$，其中$$为有效数量

实验

为了评估PAMA在不同应用领域和采样频率上的有效性，我们使用广泛采用的真实世界基准数据集在长期多变量预测上进行了实验。

讨论

实验结果表明，结构化时间连接的价值取决于PAMA先验与数据以及骨干网络所用表示的匹配程度。在Electricity和Traffic数据集上的收益最为一致，而在ETTm2上的改进较小或偶尔为负。此外，MSE的降低并不总是与MAE的降低同时发生。这些差异表明，PAMA在...时可能特别有效地抑制大的预测误差。

结论

我们提出了PAMA，一种结合局部窗口、指数膨胀的历史链接和周期性锚点的结构化时序注意力机制。这些互补的连接使每个查询能够在一个可见集内保持短期连续性、访问跨多个时间滞后范围的依赖关系，并检索相位对齐的历史观测。PAMA根据骨干网络的令牌语义进行实例化：它修改了PatchTST中现有的补丁注意力，替换了可变形...

CRediT 作者贡献声明

Haoyu Wang：撰写 – 原始草稿、验证、软件、方法论、调查、形式分析、数据整理、概念化。Guoying Wang：撰写 – 审阅与编辑、可视化、监督、资源、项目管理、调查、形式分析、数据整理、概念化。Peiyu Tian：可视化、数据整理。Nannan Feng：可视化、数据整理。Lufeng Mo：监督、调查、资助获取、形式分析。Xiaomei Yi：调查...

利益冲突声明

作者声明他们没有已知的竞争性经济利益或个人关系可能会影响本文所报告的工作。

致谢

本研究得到了中央引导地方科技发展专项资金（项目编号：2025ZY01088）的资助。

Haoyu Wang是浙江农林大学数学与计算机学院电子信息专业的硕士研究生。他于2024年获得SIAS大学学士学位。他的主要研究方向包括时间序列预测和用于时间数据分析的基础模型。

Haoyu Wang|Guoying Wang|Peiyu Tian|Nannan Feng|Lufeng Mo|Xiaomei Yi|Peng Wu