《Expert Systems with Applications》:Pre-training spatio-Temporal masked graph neural networks for traffic forecasting
编辑推荐:
时空预训练模型(PSTM)通过频率域解码和时空注意力机制优化长序列处理,在降低50%参数量的同时提升45%计算效率,实验验证其优于传统图神经网络和Transformer模型。
Jiaming Deng | Tao Xu | Zhilong Zhao | Yingying Zhao
国家空间基准实验室,河南大学地理科学与工程学院,郑州,450046,中国
摘要
交通预测对智能交通系统(ITS)至关重要,然而现有方法难以有效建模长期时空模式。处理长期历史数据(几天或几周)会带来高昂的计算成本,而修改任何模块通常需要重新训练整个模型。为了解决这些问题,我们提出了预训练时空掩码网络(PSTM)。在预训练阶段,PSTM处理长输入序列,在编码器中进行数据掩码处理以捕获时间特征。然后解码器重建频域特征,强调周期性模式。这种方法通过频域线性插值减少了训练时间和参数开销。编码器结合时间和图注意力层来捕获交通网络中的依赖关系并建模动态关系。在微调过程中,PSTM将长期预训练的特征与下游模型的短期特征融合,提高短期预测准确性。在PEMS数据集上的实验结果表明,与基于GNN和Transformer的基线方法相比,PSTM降低了MAE、RMSE和MAPE,参数数量减少了50%,计算速度提高了45%。使用预训练的长期特征进行微调可以提高模型准确性。代码可在以下链接获取:
https://github.com/djm209/PSTM
引言
交通预测是智能交通系统(ITS)的重要组成部分,在多个应用中发挥着基础性作用,包括交通基础设施设计、交通流优化和路线引导系统。准确的交通预测有助于管理员调整交通基础设施(Xie等人,2020年);优化运输资源分配(Xu、Xu、Hu和Li,2017年),缓解道路拥堵(Chen、Song、Yamada和Shibasaki,2016年),支持路线推荐系统(Goh、Lee、Park和Choi,2012年),以及预测旅行时间(Xu、Li和Claramunt,2018年)。从历史交通数据中提取时空特征有助于识别交通流动态的固有周期性和非周期性交互机制。这种分析范式有助于深入理解交通流的动态特性,从而提高对未来交通状态的预测准确性。
时空图神经网络(STGNN)因其提高预测性能的能力而受到广泛关注。早期的工作,如STGCN(Yu、Yin和Zhu,2018年)和ASTGN(Guo、Lin、Feng、Song和Wan,2019年),首次将图神经网络(GNN)(Kipf和Welling,2016年)与时间建模相结合,以捕获序列间的依赖关系和时间模式。然而,基于先验知识的依赖图可能会引入错误或偏见(Wu、Pan、Long、Jiang和Zhang,2019年)。后续研究通过采用注意力机制动态推断空间关系(Wu等人,2020年)和扩散机制建模时间周期性,发展出了更先进的模型,如STPGNN(Kong、Guo和Liu,2024年)、FourierGNN(Liu、Tian、Li和Tian,2025年)、GDGCN(Xu等人,2023年)和GMAN(Zheng、Fan、Wang和Qi,2020年),这些模型在多变量时间序列预测方面达到了最先进的水平。尽管在许多应用中预测能力有所提升,但STGNN的复杂性不断增加,导致计算成本上升。它们的计算复杂性与输入序列长度成线性关系(Liu等人,2021年),这对大规模数据集或长期历史交通记录构成了挑战。大多数基于GCN的模型使用12个历史时间步长(大约一小时)进行12步预测,这限制了它们建模长期依赖关系的能力。
随着城市交通系统变得越来越复杂,并受到众多因素的影响,导致非平稳交通流,一个显著的挑战是多变量时间序列中存在的复杂时间模式,例如周期性。如图1(a)所示,道路网络中传感器节点之间的交通序列明显表现出时间周期性。此外,由于变量之间的内在依赖性,不同的时间序列可能会影响彼此的演变动态。值得注意的是,我们观察到来自不同传感器的两个时间序列可能表现出相似的模式。另外,虽然图1(a)中两个传感器节点在日常模式上相似,但当检查图1(b)中黑色方框内的较短时间窗口内的流动模式时,它们的交通模式却有显著差异。这突显了长期依赖性在预测任务准确性和效率中的关键作用。图1(c)显示了输入长度增加时预测准确性和效率之间的关系,表明计算复杂性随着输入序列长度的增加而增加(Zhou等人,2021年)。此外,现实世界的交通数据经常受到意外中断和缺失值的影响。例如,在工作日早晨高峰时段,主要城市干道上的短暂事件可能导致五分钟的严重拥堵,突然扭曲交通状况。在另一种情况下,传感器故障可能导致15分钟时间段内的数据完全丢失。这些异常情况严重破坏了数据的完整性,极大地降低了预测准确性。
一些方法,如Pyraformer(Liu等人,2021年)、Crossformer(Zhang和Yan,2023年)、Informer(Zhou等人,2021年)、Autoformer(Wu、Xu和Long,2021年)和iTransformer(Liu等人,2023年),结合了长期交通数据。这些端到端的交通流预测方法简单且适应性强,能够直接从原始数据中高效学习高级特征表示。它们特别适用于小规模数据集和实时预测场景。然而,它们在泛化能力和可解释性方面的局限性限制了其在应对数据分布变化、异常情况和复杂交通模式时的表现。此外,该框架内的深度模型通常需要大量的训练时间和计算资源(Chen、Ma、Li、Wang和Li,2023b)。
最近,在自然语言处理(NLP)领域,为了处理词或句子特征提取中的长距离依赖性,人们设计了预训练策略(Erhan、Courville、Bengio和Vincent,2010年;Hendrycks、Lee和Mazeika,2019年;Dong等人,2019年;Guu、Lee、Tung、Pasupat和Chang,2020年;Nie、Nguyen、Sinthong和Kalagnanam,2022年),这些策略受到了广泛关注。预训练和微调范式通过利用从大规模数据集中获得的通用先验知识,提高了数据效率和模型泛化能力。这种方法使模型能够在数据稀缺或噪声较大的情况下快速收敛并表现出色,仅需少量标记数据即可适应。基本的预训练范式涉及顺序处理输入数据,同时策略性地掩码特定部分,从而要求模型重建被遮挡的组件或预测序列中的后续元素。通过迭代重建任务,模型从长期序列中学习内在模式。基于此基础,提出了几种基于预训练的框架和大型语言模型,如STEP(Shao、Zhang、Wang和Xu,2022年)、PreSTNet(Fang、Ji、Xiang和Hua,2024年)和UbranGPT(Li等人,2024年),它们采用预训练和微调结构将长期特征趋势整合到短期特征中,取得了优异的性能。然而,如图1(c)所示,随着模型架构复杂性的增加,训练阶段的计算成本显著上升。特别是处理更复杂的网络时,训练效率呈指数级下降(Liang等人,2023年)。此外,大多数现有的预训练模型对空间特征的关注不足。
在上述方法中可以识别出以下问题:(1)传统的STGNN难以利用长期上下文,导致从短期数据中得出的依赖图不可靠。虽然两个序列在短时间窗口内可能看起来不同(图1(b)),但它们的长期趋势可能非常接近(图1(a))。仅依赖近期历史会妨碍对未来不同状态的预测。(2)建模长序列数据会导致显著的计算负担。如图1(c)所示,虽然长期历史事件序列有助于减轻短期波动的噪声,但将这些扩展序列输入STGNN或Transformer模型会导致显著的计算开销。尽管一些预训练模型可以处理长期数据,但在预训练阶段使用掩码策略和多层Transformer来学习特征和重建序列会导致性能问题加剧,尤其是在处理复杂网络时。(3)交通数据本质上包含时间动态和观测节点之间的空间相关性,这是当前大多数预训练模型未能充分捕捉的关键维度。
为了解决这些挑战,我们提出了一种新颖的
预训练时空掩码图神经网络(PSTM),它在预训练阶段结合了补丁嵌入和位置编码,将长序列分割成富含上下文信息和相对位置表示的补丁级特征。通过使用监督掩码重建任务,它有效地从大量历史时间序列数据中提取时间模式,从而解决了初始挑战。将时间序列信号转换为频域可以通过直接从频谱图中识别主导频率来实现有针对性的噪声抑制。重建任务被构建为一个频域插值问题,有效处理缺失值,同时保持历史和预测时期之间的语义一致性。这种方法还通过减少训练时间和参数复杂性显著提高了计算效率,从而解决了第二个挑战。此外,我们还提出了时空Transformer(STFormer)。该模块通过结合注意力机制和时间富集的嵌入表示动态捕获底层节点的相似性,从而解决了第三个挑战。值得注意的是,PSTM被设计为一个灵活的框架,可以无缝集成到各种STGNN架构中,显著减少了参数数量和训练时间,同时提高了整体性能。总结来说,主要贡献如下:
•所提出的预训练和微调框架使各种下游预测模型能够有效整合长期和短期时空特征,从而显著提升性能。
•所提出的频域片段级自动编码器具有更高的准确性,预训练时间减少了80%,模型参数减少了40%,体现了其卓越的效率。
•在真实世界数据集上的实验验证了所提模型的有效性和泛化能力。
章节片段
基于GNN的交通预测
早期的预测方法(例如,Kalman滤波器(Okutani和Stephanedes,1984年)和ARIMA(Van Der Voort、Dougherty和Watson,1996年)及其变体(Ding、Duan、Zhang、Wu和Yu,2017年;Guo、Huang和Williams,2014年)主要适用于观测节点有限的网络。这些方法往往忽略了不同节点之间的空间相关性,导致在具有广泛节点分布的真实交通系统中的性能不佳(El Faouzi、Leung等,
初步介绍和问题定义
在本节中,我们介绍了与讨论相关的基本概念,包括图表示基础、GCN、GAT、Transformer模型、快速傅里叶变换(FFT)以及与复杂频域相关的先验知识。随后,我们正式定义了交通流预测问题。
方法论
如图2所示,PSTM框架通过两个不同的阶段运行:(1)预训练以捕获长期时间依赖性,(2)微调以整合长期和短期模式,从而优化下游任务的性能。
在预训练阶段,我们引入了一个用于时间序列的掩码编码-解码框架,包括一个基于注意力的STFormer编码器和一个频域解码器。编码器处理长期历史序列
数据集
为了全面评估所提出的PSTM模型,我们在两个真实世界的交通流基准数据集PEMS03和PEMS04上进行了广泛实验。这两个数据集来源于加州性能测量系统(PEMS)(Chen、Petty、Skabardonis和Jia,2001年),包含了来自不同交通区域的交通数据,提供了多样化的空间和时间模式。原始数据以5分钟的时间间隔进行细粒度记录
结论
在本文中,我们提出了一种基于PSTM架构的交通流预测模型。该模型结合了一个用于长期特征提取的骨干网络和一个短期预测模块,采用预训练策略来增强其捕获交通数据中长期时间模式的能力。在PEMS03和PEMS04数据集上的实验结果验证了模型的有效性。预训练的骨干网络还展示了良好的迁移能力
CRediT作者贡献声明
Jiaming Deng:资源提供、初稿撰写。
Tao Xu:概念化、监督、资金获取、审阅和编辑。
Zhilong Zhao:可视化、监督。
Yingying Zhao:软件开发、验证。
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。