MSESTA：用于长期交通预测的多尺度演化时空注意力模型

《Neural Networks》：MSESTA: Multi-Scale Evolving Spatial-Temporal Attention for Long-Term Traffic prediction

　　淮金然|张浩毅

摘要：准确的长期交通预测对于智能交通系统的规划与调度至关重要。以往的研究已充分探讨了1小时内的短期交通预测，成功捕捉了交通数据的固有空间拓扑结构与时间规律。然而当预测时间范围延长时，计算效率以及模拟长期时空动态的能力便成为亟待解决的挑战。本文提出一种多尺度演化时空注意力网络（MSESTA），通过跨尺度演化机制与全局时空模式的显式建模，提升模型学习长期时空依赖性的能力并改善效率。具体而言，首先将交通数据划分为不同块大小的多尺度序列，以揭示其潜在的多尺度表征；然后在每个尺度上设计一种线性复杂度的演化时空注意力机制，该机制包含总结、聚合与广播三个阶段——其中“总结”阶段连接相邻尺度，后两个阶段则负责全局时空信息的聚合与传播。此外，我们还提出了一种全局空间信息聚合策略，以有效整合先前的空间知识。在四个真实世界交通数据集上的大量长期预测实验表明，MSESTA在预测精度与计算效率方面均取得了显著提升。我们的代码即将公开。

引言：随着车辆和出行人数的不断增加，日益沉重的交通负荷给智能交通系统带来了巨大挑战。作为智能交通系统的核心组成部分，交通预测在准确反映复杂的时空动态方面发挥着关键作用，为保障出行安全及优化道路管理提供了重要价值。目前大多数交通预测研究主要聚焦于短期预测任务，通常采用小于1小时的预测时间范围，这类预测主要用于支持即时决策。相比之下，长期交通预测（即预测时间超过1小时）能为出行者及交通管理者提供足够的前瞻性，从而实现主动的出行规划与交通资源管理。不过，长期交通预测比短期预测困难得多。郭等人（2023）的最新研究表明，随着预测时间范围的延长，预测误差会迅速累积，导致长期场景下的性能大幅下降。图1(a)通过实验证明了这一现象——在多个代表性模型中，预测误差会随着预测时间范围的增加而持续上升。此外，使用更长的输入输出序列来建模长距离时空依赖性会显著提高计算复杂度，如图1(b)所示，这给基于注意力机制和循环结构的模型带来了严重的效率与可扩展性难题。现有方法大多是为短期预测场景设计的，此类场景以局部时间连续性和有限的空间交互为主。但在长期预测中，这些假设不再适用，因为交通动态表现出更强的非平稳性、多尺度时间模式以及不断变化的空间相关性。因此，为短期精度优化的模型往往难以在较长的预测时间内保持稳健性与稳定性。近期，李等人（2023）、尹等人（2021）以及周等人（2021）开始探索预测时间超过1小时的长期交通预测方法，旨在弥补短期模型的不足，提供更具参考价值的长期交通信息。这类长期信息有助于交通管理者及个人出行者更好地优化交通控制策略与出行规划决策。正是这些挑战与新兴需求促使我们设计出一种高效且实用的长期交通预测框架。

近期，郭等人（2023）提出的用于高效长期交通预测的自监督时空瓶颈注意力网络（SSTBAN）通过在其注意力机制中引入空间与时间参考点，将计算复杂度从二次方降低到线性，从而解决了这一问题。尽管该方法提升了计算效率与预测性能，但仍存在若干挑战：1）簇点的多尺度特性：SSTBAN预先定义了固定数量的空间与时间参考点（也称为簇中心点）。然而，交通动态具有尺度依赖性的时空复杂性，自然需要在每个尺度上使用不同数量的簇点才能具备足够的表征能力。如图2所示，通过逐步扩大时间窗口，原始的点级交通序列可转化为多尺度的块级序列，从而有效捕捉小、中、大尺度的时空特征。从时间维度来看，小尺度序列呈现简单的模式（上升、下降、波动），而大尺度序列则呈现更复杂的模式（升降、升降波动）。因此，大尺度序列需要更多的时间参考点来学习复杂的時間模式。从空间维度来看，在任意给定时间步，大尺度序列中的交通趋势能帮助模型更准确地识别特定区域特征（如学校、商场、公园）。随着尺度的增大，会逐步增加更多的空间簇点，以便捕捉并区分所有节点间的空间模式。2）簇点的演化机制：不同尺度上的簇点并非独立存在。从小尺度序列到大尺度序列的演变过程，实际上反映了越来越精确的空间（或时间）模式。因此，设计一种高效的簇点演化机制至关重要。

为应对上述挑战，我们提出了用于长期交通流预测任务的多尺度演化时空注意力网络（MSESTA）。首先，MSESTA采用多尺度框架，旨在探索时间序列数据在不同时间尺度上展现的多样特征模式。其次，我们设计了相邻尺度序列之间的演化注意力机制，该机制包含三个阶段：（1）总结小尺度簇中心的空间（时间）模式；（2）聚合全局空间（时间）信息；（3）广播全局空间（时间）信息。通过有效的多尺度演化机制，MSESTA实现了高效且准确的长期交通预测性能。本文的主要贡献可总结如下：1）我们提出了一种用于交通预测任务的多尺度演化时空注意力模型。该模型不仅能探索多尺度下的多样时空模式，还能在保持效率与精度的同时，将注意力机制无缝扩展到更长的预测时间范围。2）我们设计了一种包含总结、聚合与广播三个关键阶段的演化时空注意力机制。通过为相邻尺度上的簇点应用演化机制，有限的时空语义信息可作为先验知识融入下一尺度上的簇中心。3）在四个真实世界交通数据集上的大量实验表明，MSESTA在2至7小时的较长预测范围内始终能实现更为稳定的长期预测，且误差累积速度明显慢于其他代表性基准模型。此外，在训练数据比例较低（60%、40%和20%）条件下的鲁棒性评估也显示，MSESTA在数据匮乏环境下仍具有出色的泛化能力与稳定性。这些结果表明，MSESTA的优势在于其在长期交通预测中的稳健性与可靠性，而非单纯的性能提升。

本文的其余结构如下：第二节回顾了交通预测模型的发展历程，并对基于注意力的时空预测方法进行了全面综述。第三节阐述了交通预测问题并介绍了相关基础知识。第四节详细介绍了所提出的MSESTA框架。第五节通过大量实验验证了该方法的有效性，包括长期预测与鲁棒性分析。最后，第六节总结了本文内容，并探讨了未来研究的潜在方向。

片段摘录：

交通数据预测：交通预测是智能交通系统中的基础任务，旨在基于历史观测数据准确预测未来的交通状况。过去几十年来，人们为提升预测精度与效率付出了巨大努力，由此产生了从传统统计方法到现代深度学习方法的多种模型。

交通信号矩阵：我们将交通网络表示为G=(V,E)，其中V是网络中的传感器集合，|V|=|N|表示传感器数量，E则表示传感器之间的物理连接关系。时间t时交通网络的观测信号矩阵表示为：Xt=[x1,t,x2,t,…,xN,t]∈RN×C，其中xi,t∈RC表示时间t时第i个节点的观测信号。在本文中，我们专注于交通流预测，因此C=1。

问题陈述：给定交通网络G以及历史观测信号矩阵……

概述：图3展示了所提出的多尺度演化时空注意力模型（MSESTA），该模型由三个主要部分组成：（1）块嵌入模块通过将交通数据划分为局部块并将其映射为高维表示，旨在捕捉多尺度时空模式，提升模型表现不同尺度动态的能力；（2）演化时空注意力机制，包含总结、聚合与广播三个阶段……

数据集：我们在四个真实世界的交通数据集上进行了大量实验，分别是PEMS03、PEMS04、PEMS07和PEMS08，详见表1。这些数据集由加利福尼亚性能测量系统（PEMS）收集，时间粒度为5分钟。为与以往研究保持一致，数据按6:2:2的比例划分为训练集、验证集和测试集。此外，我们还使用Z分数对数据进行标准化处理。

基准方法：为验证所提模型的有效性，我们将其与现有基准方法进行了比较。

结论：本文提出了一种用于长期交通流预测的多尺度演化时空注意力网络（MSESTA）。该网络基于多尺度架构，首先将交通数据划分为长度不同的块序列。对于每个尺度，我们都设计了一种线性复杂度的演化时空注意力机制，以实现跨尺度信息交互与全局时空依赖性建模。随后，将提取的多尺度特征融合起来，生成……

CRediT作者贡献声明：淮金然：写作——审阅与编辑、写作——初稿撰写、可视化、验证、监督。张浩毅：资源获取、方法设计、研究实施、形式化分析、概念构思。

利益冲突声明：作者声明不存在任何可能影响本文工作的已知财务利益或个人关系。

致谢：我们衷心感谢西安交通大学利物浦大学对这项研究的支持。