Probingformer:通过预训练和探测来建模跨维度依赖关系,以实现长期时间序列预测

《Neural Networks》:Probingformer: Modeling Cross-Dimension Dependencies via Pretraining–Probing for Long-Term Time Series Forecasting

【字体: 大 中 小 】 时间:2026年05月03日 来源:Neural Networks 6.3

编辑推荐:

  周北进|肖江文|王彦武|卢天浩华中科技大学人工智能与自动化学院,武汉,430074,中国摘要多变量时间序列预测(MTSF)的最新进展主要得益于监督学习和预训练-微调范式,而预训练-探索范式由于实证结果较弱而受到的关注较少。在这项工作中,我们重新审视了预训练-探索作为一种将表示学习

  
周北进|肖江文|王彦武|卢天浩
华中科技大学人工智能与自动化学院,武汉,430074,中国

摘要

多变量时间序列预测(MTSF)的最新进展主要得益于监督学习和预训练-微调范式,而预训练-探索范式由于实证结果较弱而受到的关注较少。在这项工作中,我们重新审视了预训练-探索作为一种将表示学习与预测分离的原则性方法,这有助于减轻对通道依赖方法中常见虚假相关性的过拟合。基于此,我们提出了Probingformer框架,该框架专门设计用于提高MTSF性能,重点明确捕捉变量相关性。该框架利用预训练来学习丰富的时间和变量交互作用,通过轻量级的探索步骤实现预测。为了进一步加强结构建模,我们引入了跨时间依赖模块(TDM)和跨维度依赖模块(DDM),分别负责捕捉序列内模式和变量间相关性。在十个具有不同相关结构的数据集上的广泛实验表明,Probingformer取得了最先进的性能。进一步分析显示,作为一种通道依赖方法,它能够准确捕捉变量间相关性,同时有效减轻过拟合。

引言

多变量时间序列预测(MTSF)是一项基础任务,具有广泛的应用,包括能源消耗预测和交通流量预测等(Chen等人,2023年;Cirstea等人,2022年;Du等人,2020年;Liang等人,2024年;Sezer等人,2020年;Shih等人,2019年;Wu等人,2023年;Yin等人,2021年)。其目标是预测多个相关变量随时间变化的未来值。在MTSF中,变量通常表现出复杂的依赖性,包括跨时间依赖性(单个变量内的时间关系)和跨维度依赖性(不同变量之间的关系),这对准确预测提出了重大挑战(Zhang和Yan,2023年)。
为了解决时间序列预测中多变量依赖性的复杂性,现有方法通常被分为通道独立(CI)方法和通道依赖(CD)方法(Nie等人,2023年)。CI方法单独对每个变量进行建模,专注于捕捉跨时间依赖性,同时忽略了跨维度依赖性,这限制了它们的容量,但在噪声环境或变量相关性较弱的数据集中提高了鲁棒性(Qiu等人,2024a)。相比之下,CD方法联合对所有变量进行建模,以学习跨时间和跨维度依赖性,从而具有更高的容量,但鲁棒性较低(Han等人,2024年)。在许多现实世界的非平稳时间序列中,由于数据模式的变化很常见,鲁棒性比模型容量更为关键,以实现可靠的预测性能(Liu等人,2022年)。这一观察强调了提高CD方法鲁棒性的必要性,以便充分发挥其在MTSF中的建模潜力。
为了解决这个问题,我们认为提高CD方法的鲁棒性需要将特征提取与预测特定优化分离。基于监督学习和预训练-微调范式的现有方法主导了MTSF的最新进展(Chen等人,2024c;Wan等人,2025年)。然而,这些范式将表示学习与预测特定优化紧密耦合,这往往导致过拟合和在分布变化下的泛化能力差(Lee等人,2024年)。另一种方法是预训练-探索范式,它将表示学习与预测特定优化分开。尽管在结构上具有优势,但由于在标准基准测试中实证结果一直较弱,这种范式在MTSF中受到的关注有限(Dong等人,2024年;Nozawa和Sato,2022年)。我们认为这种性能差距并不反映预训练-探索框架本身的根本局限性。相反,这是由于大多数自监督学习目标都是为了在一系列下游任务中受益而设计的。因此,直接评估预训练表示的探索阶段几乎没有得到足够的关注,也没有针对其需求制定有效的预训练策略。特别是,很少有研究关注设计专门采用预训练-探索范式来提取跨维度相关性的框架,而这些相关性对于CD模型的成功至关重要。
基于这一见解,我们提出了Probingformer框架,该框架专门设计用于通过明确捕捉跨维度相关性来提高预测性能。其核心是重新审视预训练-探索范式,作为一种将特征提取与预测分离的原则性策略,从而减轻对通道依赖(CD)方法中常见虚假相关性的过拟合。与之前依赖微调进行下游任务的方法不同,Probingformer在预训练期间提取变量相关性,并通过轻量级的探索步骤进行预测。为此,我们引入了两个专用模块:跨时间依赖模块(TDM),用于建模序列内模式并提供补丁级平移不变性;以及跨维度依赖模块(DDM),用于捕捉静态和动态的变量间相关性。这些模块在预训练-探索工作流程中协同工作,以实现良好的多变量表示。值得注意的是,在具有多样相关结构的数据集上,图1显示我们的模型始终优于代表性的CI方法PatchTST和CD方法iTransformer(Liu等人,2024b;Nie等人,2023年;Zhang和Yan,2023年)。我们的贡献总结如下:
  • •
    我们提出了Probingformer,这是一个通过预训练-探索范式明确捕捉变量相关性的新颖框架,旨在通过将表示学习与预测分离来提高MTSF性能。
  • •
    我们引入了两个互补模块:TDM用于捕捉序列内模式并提供补丁级平移不变性,DDM用于建模动态和静态的变量间相关性。
  • •
    Probingformer在十个具有多样相关结构的数据集上取得了最先进的性能,分析显示它明确捕捉了可解释的变量相关性。

章节摘录

MTSF中的监督学习

监督深度学习仍然是MTSF中的主要范式,研究人员不断改进架构以更好地捕捉时间动态并缓解分布变化(Fan等人,2023年;Li等人,2024年)。为了解决复杂的时间模式,最近的研究工作强调了周期性和频域建模。例如,PDF提出了一个周期性解耦框架,以明确分离和建模复杂的周期性模式(Dai等人,2024年)。

Probingformer

如前所述,为了完全将特征提取与预测分离并学习鲁棒的表示,我们提出了一个针对有效MTSF的新型预训练-探索框架。图2展示了我们框架的预训练架构。我们首先介绍核心模块,然后介绍了它们在预训练和探索阶段的前向过程。

数据集

我们在10个流行的数据集上证明了所提方法的有效性,包括ETT系列(4个子集)、天气、交通、电力、太阳能、PEMS04和PEMS08。天气数据集包含21个气象变量,包括湿度和空气温度,来自德国各地的多个站点(Wu等人,2021年)。交通数据集收集了旧金山湾区高速公路沿线部署的众多传感器采集的道路占用率(Wu等人,2021年)。

结论

我们重新审视了预训练-探索范式,它提供了一种将表示学习与预测分离的原则性方法,以解决MTSF中CD方法的过拟合问题。我们提出了Probingformer,这是一个通过预训练和轻量级探索步骤捕捉变量相关性来提高MTSF性能的新框架。TDM和DDM增强了模型捕捉序列内模式和变量间依赖性的能力。广泛的实验表明,Probingformer

CRediT作者贡献声明

周北进:撰写——原始草案、可视化、软件、方法论、数据管理、概念化。肖江文:撰写——审阅与编辑、方法论。王彦武:撰写——审阅与编辑、资金获取。卢天浩:调查、概念化。

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系可能影响本文所述的工作。

致谢

本工作得到了中国国家自然科学基金(项目编号62233006)的支持。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号