具有注意力机制的动态图卷积循环网络用于交通流量预测

《Engineering Applications of Artificial Intelligence》：Dynamic graph convolutional recurrent network with attention mechanism for traffic flow forecasting

针对静态图无法捕捉动态空间关系及忽略异常信号的问题，本文提出动态图卷积循环神经网络结合注意力机制（AMDGCRN），通过动态图生成、残差分解和时空注意力融合，有效提升交通流量预测精度，实验验证优于现有方法。

　　

吴卓军|刘晓军|张晓玲

中国山东石油化工技术研究院

摘要

准确的交通流量预测是智能交通系统中的关键技术，对于规划未来的出行方式、提高城市交通效率以及支持交通管理决策至关重要。目前主流的图卷积网络通常依赖于先验知识，使用预定义的邻接矩阵来模拟道路网络中的空间依赖关系。然而，使用预定义或自适应邻接矩阵对空间相关性的静态表示无法捕捉道路段之间随时间变化的动态关系，从而限制了交通流量预测的准确性。为了解决这个问题，我们提出了具有注意力机制的动态图卷积循环网络（Dynamic Graph Convolutional Recurrent Network with Attention Mechanism）用于交通流量预测。该方法结合了动态图卷积循环网络和基于循环神经网络的动态图生成模型，通过随时间变化的交通信号构建动态图，同时捕捉空间和时间特征。此外，所提出的模型能够区分异常信号和正常交通信号，并采用数据驱动的方法对异常信号进行建模，进一步提高预测性能。最后，我们集成了一种时空注意力模块，以有效捕捉长距离、多方面的时空模式。该模型的实现基于人工智能技术。在四个真实数据集上的实验结果表明，本文提出的模型在预测性能方面显著优于现有的最先进方法。

引言

近年来，深度学习技术对智能交通系统的发展做出了重大贡献。无论是轨迹预测（Zamboni等人，2022年）、自动驾驶目标识别（Boukerche和Hou，2021年）、基于强化学习的铁路列车调度（Jiang等人，2019年）、交通信号控制（Wu等人，2021年），还是利用大数据分析进行出行需求建模（Xue等人，2016年），深度学习在这些领域的应用都取得了显著进展。

时空神经网络由于能够捕捉时空依赖性，已成为这些应用的关键支持。因此，它们被广泛用于交通需求预测（Roy等人，2021年）以及交通速度和流量预测（Bai等人，2020年；Li等人，2017年；Wu等人，2019年）等任务中。在早期对这些任务进行建模时，交通状态通常被划分为大小相等的网格，卷积神经网络（CNN）（Yao等人，2019年）用于学习不同网格之间的空间依赖性，而循环神经网络（RNN）（Li等人，2021年）用于捕捉时间依赖性。后续研究揭示，大多数交通指标与交通网络中的特定点密切相关，即观测到的交通速度和流量仅属于特定的道路段（Guo等人，2019年）。进一步的研究还确定了固定点，例如公交车站的乘客需求或地铁站的检票点。因此，使用图结构来建模交通系统中的关系更为合理，最近的研究逐渐将重点转向了时空图建模。

时空建模方法同时利用空间和时间维度来描述数据，其出色的性能吸引了越来越多的关注。由于它们具有显著的多功能性，时空图建模方法已被广泛应用于各种时间序列预测问题中，包括交通预测。已经提出了许多交通预测模型。例如，DCRNN（Li等人，2017年）结合了扩散卷积和基于GRU的编码器-解码器架构来捕捉交通流传播的方向性。STSGCN（Song等人，2020年）引入了局部时空图来表示时间和空间方向上的信息传递，使用图卷积网络模块和残差连接来建模时空异质性。然而，这些模型忽略了预定义图无法完全反映现实世界交通关系的事实。尽管Graph WaveNet（Wu等人，2019年）和MTGNN（Wu等人，2020年）通过结合自适应图学习改进了它们的方法，但分离的时空组件未能捕捉到同步的相关性。GMAN模型（Zheng等人，2020a）在长期预测方面显示出有希望的结果，但在短期预测方面表现不佳。STG-NCDE（Choi等人，2022年）和DSTAGNN（Lan等人，2022年）取得了良好的预测性能，但计算成本和系统开销较大。这些工作从多个角度显著提高了性能。然而，我们观察到它们并没有紧密集成以解决综合特征及其相关性问题，方法性能与复杂性之间的平衡也有限。尽管取得了显著进展，但仍有几个问题尚未得到充分讨论。

第一个挑战在于如何在不依赖先验知识的情况下动态捕捉道路之间的空间依赖性。早期研究经常使用先验信息（如道路距离或兴趣点的相似性）来构建表示空间相关性的图结构。在这方面值得注意的工作包括DCRNN（Li等人，2017年）和STGCN（Yu等人，2017年），它们根据道路段之间的距离计算节点相似性，从而构建表示预定义图结构的邻接矩阵。然而，这种基于先验知识的邻接矩阵与预测任务没有直接关系；它们的有效性完全取决于先验知识和构建方法的合理性，这限制了邻接矩阵的表现力。像Graph WaveNet（Wu等人，2019年）和CCRNN（Ye等人，2021年）这样的方法通过使用自适应邻接矩阵在提取空间特征方面取得了一些成功，但它们仍然需要预定义的图结构来达到最佳性能。AGCRN（Bai等人，2020年）和MTGNN（Wu等人，2020年）进一步改进了自适应邻接矩阵，无需使用预定义矩阵即可达到与有先验知识时的性能相当的效果。然而，无论是预定义的还是自适应的矩阵权重都是静态的。然而，交通条件是动态过程，它们的空间关系不断变化。交通网络随时间表现出复杂的变化，预定义的图结构和自适应矩阵都难以准确捕捉这些动态特征。

第二个挑战是区分正常信号和异常信号。大多数交通网络规模庞大、结构复杂且动态变化。交通信号本质上包含代表典型交通流量的正常信号和由未知因素引起的异常信号。当前的预测方法通常将所有交通信号视为等效数据，而不区分正常和异常情况，仅关注建模时空相关性。然而，异常信号与正常信号有根本不同。由于随机因素，它们往往偏离正常模式。例如，高速公路上的日常交通流量通常遵循明确的方向和目的地，呈现稳定的轨迹。然而，在异常情况下，如交通事故，车辆可能会改变目的地，导致轨迹和模式与正常信号明显不同。深入探索这些异常模式及其对交通条件的影响有助于提高后续交通预测的质量。

为了解决这些问题，我们提出了具有注意力机制的动态图卷积循环网络（AMDGCRN）用于交通预测。首先，我们引入了一个动态图生成模块，在没有先验知识的情况下动态建模空间依赖性。在这个模块中，将交通信号对应的时间信息与空间嵌入结合起来生成时空嵌入。随后，将动态图嵌入与从交通信号中提取的动态信号结合起来生成动态图。这种方法充分考虑了交通信号的周期性和动态性，使生成的动态图能够捕捉节点之间最准确的相关性。其次，采用残差分解机制来区分正常信号和异常信号。通过减去原始信号和反向预测的信号，可以隔离异常信号。最后，使用多注意力融合从多尺度时空角度捕捉复杂的交通模式。最终预测是通过汇总每个模块的预测结果得到的。

主要贡献总结如下。

• 1.
  我们提出了一种新颖的交通流量预测模型AMDGCRN，该模型在没有任何先验知识的情况下生成动态图结构以提取空间特征。它还能区分正常和异常交通信号，分别对它们进行建模，以全面分析交通条件与时间点之间的关系。
• 2.
  开发了一种新颖的动态图生成方法。该方法基于时间信息生成时空嵌入，并将其与从交通数据中提取的动态信号结合起来创建动态图。这使得在没有先验知识的情况下生成动态图结构以提取空间特征成为可能。
• 3.
  我们整合了时间注意力和空间注意力机制，以提高模型识别空间视角变化和长期时间依赖性的能力。这减少了复杂场景中的预测误差，并增强了模型的鲁棒性。
• 4.
  在四个真实世界数据集上的广泛实验结果表明，AMDGCRN的预测性能优于基线方法。

部分片段

交通流量预测

在智能交通系统领域，交通预测引起了广泛的研究关注。交通预测可以被视为一种时空预测任务，它利用从道路传感器收集的实时数据来预测交通状况。这项技术对于构建智慧城市交通系统至关重要。在早期的交通预测研究中，传统的统计方法，如自回归积分移动平均（ARIMA）模型（

交通网络

交通道路网络可以定义为一个加权有向图$G=\left(V,\epsilon ,A\right)$，其中道路段表示为节点，道路段节点处的交通流量关系或相关性由边表示。在这种情况下，$V=\left|N\right|$表示道路段节点的集合，$\epsilon$表示边的集合，$A\in R^{N\times N}$是邻接矩阵，其元素表示边的权重，这些权重可以从链接或段之间的距离中得出

方法论

本节提供了AMDGCRN架构的全面描述，如图1所示。其中，AMDGCRN主要包括时空嵌入生成器（STEG）、动态图卷积循环网络（DGCRN）、回溯、多头时间注意力和预测（DGCRU）。在本文中，STEG用于综合考虑不同时间点道路网络内的动态空间依赖性

数据集

为了评估AMDGCRN的性能，使用六个真实世界数据集进行了系列大规模实验：PeMS03、PeMS04、PeMS07和PeMS08。这些数据集由加州交通部（Caltrans）的性能测量系统（PeMS）每30秒收集一次的传感器数据组成。它们已在许多先前的研究中得到广泛使用。有关数据集的更多详细信息，请参见表1。

实验设置和超参数

所有数据集都被划分为

结论

本文提出了一种具有注意力机制的动态图卷积循环网络（AMDGCRN）用于交通流量预测。通过整合动态图生成、时空循环框架、残差分解和基于注意力的融合，该模型有效捕捉了不断变化的交通依赖性，在PeMS04和PeMS08上相对于Z-GCNETs将MAE和RMSE分别提高了6.10%、3.67%和8.12%、4.70%。除了学术意义之外

CRediT作者贡献声明

吴卓军：撰写——原始草稿。刘晓军：资源提供。张晓玲：概念化。

利益冲突声明

作者声明他们没有可能影响本文报告工作的竞争性财务利益或个人关系。