《Expert Systems with Applications》:Traffic Forecasting with Adaptive Spatio-Temporal Masked Pretraining
编辑推荐:
基于时空依赖的适应性掩码自编码器在交通预测中的应用
Jing Ma|Xiaobo Ma|Chen Chen|Jize Xiao|Zilong Xie|Chunya Liu
西安交通大学计算机科学与技术学院,中国西安
摘要
城市交通系统的复杂时空依赖性对准确预测提出了持续性的挑战。遮蔽预训练,特别是使用自动编码器(MAE),已成为从长期交通数据中学习鲁棒表示的强大范式。然而,这些方法的有效性往往受到简单随机遮蔽的限制,这种遮蔽方法未能考虑到交通模式的独特结构特性。为了解决这个问题,我们提出了自适应时空遮蔽自动编码器(AST-MAE)用于带有遮蔽预训练的交通预测。AST-MAE不是随机遮蔽输入,而是自适应地识别并遮蔽在空间和时间维度上信息较少的token。它使用专门的辅助网络来预测每个输入的上下文重要性,利用图神经网络来辨别空间相关性,并通过时间注意力来捕捉序列模式。通过选择性地遮蔽冗余或可预测的数据,我们的预训练迫使编码器学习对关键时空动态的更复杂理解。使用我们预训练的表示初始化的模型在下游预测任务中表现出更好的性能。在四个真实世界数据集上的广泛实验验证了我们的自适应预训练与AST-MAE显著优于现有的基线方法,证明了其在提高交通预测准确性方面的能力。
引言
交通预测在城市规划、智能交通系统和交通管理中发挥着至关重要的作用(Jin等人,2023年)。准确预测交通流量可以显著减少拥堵、提高旅行效率并增强道路安全(Fang等人,2026年)。然而,交通系统本质上是复杂的,其时空依赖性复杂,给预测模型带来了重大挑战。交通的动态性质受到时间、星期几、特殊事件和天气条件等因素的影响,这使得准确捕捉潜在模式和预测未来状态变得困难(Liu等人,2023年)。深度学习在交通预测方面取得了显著进展,遮蔽预训练成为从大规模历史数据中学习的特别有效的方法(Shao, Zhang, Wang, & Xu,2022b;Zhao等人,2026年)。基于遮蔽自动编码器(MAE)的方法通过重建随机遮蔽的输入部分来学习鲁棒表示,捕捉对下游预测任务有益的潜在时空模式(Gao等人,2024年)。
尽管遮蔽预训练在利用长期历史信息方面取得了成功,但现有方法中采用的常规随机遮蔽策略存在显著局限性。它未能考虑交通数据中的时空依赖性,不考虑数据点的相对重要性或相关性而平等对待所有数据点。为了展示时空依赖性在MAE中的重要性,我们展示了交通序列的历史部分与未来部分之间的相关性以及不同交通序列之间的时间相关性。如图1所示,交通系统中的不同空间位置和时间段具有不同的语义重要性。例如,主要交叉口的交通状况或在高峰时段的交通状况对于准确预测交通流量来说远比较不繁忙的区域或非高峰时段更为关键。这些图表清楚地表明,某些空间序列和时间段对未来预测有着不成比例的更大影响。依靠随机遮蔽忽略这些关键差异可能导致特征提取不佳和预测准确性降低。这突显了需要一种基于重要性优先考虑重要时空组件的自适应方法,而不是使用随机遮蔽策略,以提高模型性能和预测可靠性。
为了克服随机遮蔽的局限性,我们引入了一种自适应的时空遮蔽预训练策略。我们的方法体现在自适应时空遮蔽自动编码器(AST-MAE)中,这是一个旨在通过智能选择要遮蔽的信息来从数据中学习的框架。核心原则是识别并遮蔽在上下文中不太重要的输入,从而迫使模型将其学习能力集中在更关键的时空模式上。这是通过一组辅助网络来实现的,这些网络估计每个输入token的重要性。为了捕捉空间依赖性,使用图神经网络(GNN)来模拟道路网络中的相关性。同时,时间注意力机制识别时间轴上的显著模式。根据这些网络得出的重要性分数,我们制定了一个遮蔽分布。然后遮蔽那些被认为冗余或可预测的token,因为它们的遮蔽对重建误差的影响最小。一个关键挑战是从这个学习到的分布中进行采样是一个不可微分的过程。我们通过提出一种新颖的自适应采样损失来解决这个问题,该损失允许通过策略梯度方法对辅助网络进行端到端的优化。通过这种具有语义意识的遮蔽来指导预训练过程,AST-MAE学习了对交通动态更加细致和鲁棒的表示。这最终为下游预测模型提供了更好的初始化,从而显著提高了预测准确性。
在五个真实世界的交通数据集上进行了广泛的实验,以评估所提出的AST-MAE的有效性。结果表明,AST-MAE在预测准确性方面优于现有的交通预测方法,突显了自适应遮蔽策略在提高MAE用于交通预测任务的能力方面的优越性。
本工作的主要贡献如下:
•我们提出了自适应时空遮蔽自动编码器(AST-MAE),这是一种新的端到端自适应遮蔽预训练范式,用于为交通预测推导出具有时空语义的长期表示。
•自适应遮蔽预训练使用带有图神经网络(GNN)和时间注意力的辅助网络,根据自适应采样损失估计的分布来采样空间和时间维度上的信息丰富的输入。
•在四个真实世界的交通数据集上的广泛实验表明,我们的AST-MAE在预测准确性方面优于现有方法,突显了自适应遮蔽策略在增强MAE用于交通预测的表示能力方面的有效性。
第2节提供了交通预测和遮蔽自动编码器的文献综述。第3节定义了交通预测。第4节详细描述了我们的AST-MAE。第5节展示了实验结果和分析。第6节是结论部分。
部分摘录
交通预测
交通预测是一个活跃的研究领域,方法从传统的统计方法发展到先进的深度学习技术。长期以来一直使用统计方法,如自回归积分移动平均(ARIMA)(Yu & Zhang,2004年)。ARIMA模型依赖于对历史交通时间序列数据的分析,通过数学方程识别趋势和季节性等模式。然而,当处理复杂情况时,它们的有效性受到限制,
交通图
交通数据通常是通过安装在道路上的传感器收集的。因此,这些传感器可以被建模为图中的节点,道路作为节点之间的连接。考虑一个交通图 ,包含 N 个节点,可以数学表示为 。在这种表示中,V 表示 N 个传感器的集合, 表示连接节点(即传感器)的道路链接集合, 表示交通图的邻接矩阵。此外,
方法论
本节介绍了本工作的技术贡献。如图2所示,我们首先详细阐述了使用AST-MAE进行长期遮蔽预训练的交通预测框架。其次,我们描述了使用自适应时空遮蔽自动编码器推导长期交通表示的方法。最后,我们介绍了一种基于辅助网络的自适应遮蔽策略,旨在学习全面的长期表示。
实验
在本节中,进行了全面的实验来回答五个研究问题,并通过详细分析探讨了我们AST-MAE的有效性。研究问题如下:
•RQ1: 我们的AST-MAE在交通预测任务中的表现是否优于基线方法?
•RQ2: AST-MAE的提出的组件是否对模型性能有积极影响?
•RQ3: 超参数如何影响AST-MAE的预测性能?
•RQ4: AST-MAE在自适应情况下是否保持效率?
结论
在本文中,我们提出了自适应时空
遮蔽自动编码器(AST-MAE),这是一种新颖的遮蔽预训练框架,用于交通预测,它解决了传统随机遮蔽策略在遮蔽自动编码器(MAE)中的局限性。通过结合基于图神经网络(GNN)和时间注意力机制的RL启发式自适应遮蔽策略,AST-MAE有效地揭示了长期交通数据中的关键时空token。该模型整合了这些
CRediT作者贡献声明
Jing Ma:写作 – 审阅与编辑,撰写原始草稿,验证,方法论,调查,形式分析,数据整理,概念化。Xiaobo Ma:写作 – 审阅与编辑,监督,方法论。Chen Chen:项目管理,概念化。Jize Xiao:形式分析,数据整理。Zilong Xie:调查,概念化。Chunya Liu:验证,概念化。
利益冲突声明
作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。