具有局部聚合功能的层次化时空变换器在交通需求预测中的应用

《Engineering Science and Technology, an International Journal》：Hierarchical spatial-temporal transformer with local aggregation for traffic demand prediction

短时和长时交通需求预测中，提出基于分层时空Transformer的HSTLAformer模型，通过时空多头注意力机制捕捉全局依赖，结合局部聚合模块和时空嵌入处理局部相似性，并采用多尺度特征提取增强性能。实验在纽约和芝加哥三组大规模数据集上验证优于现有方法。

　　交通需求预测是智能交通系统中一个至关重要的组成部分，对于交通管理决策的支持和解决各类交通问题具有基础性作用。随着城市化进程的加快，交通数据的规模和复杂性不断增长，使得交通需求预测成为研究者关注的重点领域。准确的预测不仅有助于交通管理部门优化资源配置，还能为个体出行者和网约车平台提供有效的决策依据。例如，个体出行者可以基于预测结果优化自己的出行路线，而网约车平台则能够更高效地调配车辆，以平衡供需关系。因此，提升交通需求预测的准确性对于实现更安全、更高效的智能交通系统具有重要意义。

在当前的研究中，深度学习方法因其灵活性和可扩展性被广泛应用于交通需求预测。这些方法能够处理高维数据，并捕捉交通需求数据中的复杂模式。然而，尽管深度学习在交通预测中取得了显著进展，现有的模型在同时捕捉交通数据的全局时空依赖关系和局部相似性方面仍存在局限。这导致了模型在预测精度和适应性上的不足。因此，如何在交通需求预测中有效结合全局和局部的时空特征，成为当前研究的重要挑战。

为了克服这些挑战，本文提出了一种具有局部聚合功能的层次化时空Transformer模型（Hierarchical Spatial-Temporal Transformer with Local Aggregation, HSTLAformer），用于交通需求预测。该模型通过分离时空依赖关系为时间依赖和空间依赖，分别利用时间多头注意力（Temporal Multi-head Attention, Temporal MHA）和空间多头注意力（Spatial Multi-head Attention, Spatial MHA）来建模。此外，该模型还引入了层次化编码器-解码器架构，以利用多尺度信息，从而进一步提升其在交通需求预测任务中的性能。为了验证模型的有效性，本文在三个大规模的真实世界交通数据集上进行了全面的实验和消融研究，结果表明该方法在短期和长期交通需求预测任务中均表现出色，并优于现有的预测方法。

本文的结构如下。首先，在第二部分中，我们将回顾相关研究，介绍当前交通需求预测领域的研究进展。第三部分将详细描述所提出的HSTLAformer模型，包括其结构设计和关键技术。第四部分将展示在三个真实世界数据集上的实验结果，通过与现有方法的对比，验证该模型的优越性。最后，在第五部分中，我们将总结本研究的结论，并指出未来的研究方向。

在交通需求预测的研究中，传统的统计方法如历史平均（HA）、自回归移动平均（ARMA）及其变种曾被广泛应用。这些方法计算简单，具有良好的可解释性，但在处理复杂的交通模式时存在一定的局限性。例如，HA方法依赖于过去数据的平均值来预测未来的需求，而ARMA方法则通过建立时间序列的统计模型来预测未来的变化。然而，这些方法在面对非线性关系和高维数据时，往往难以提供准确的预测结果。

随着机器学习技术的发展，传统的机器学习方法如随机森林回归（RFR）、支持向量回归（SVR）和梯度提升决策树（GBDT）也被用于交通需求预测。相比统计方法，这些机器学习方法在学习非线性关系方面表现出更强的能力，尤其是在处理高维数据时。然而，它们仍然难以有效捕捉交通数据中的时空依赖关系，尤其是在处理大规模数据时，计算复杂度较高，且难以适应交通需求的动态变化。

近年来，随着深度学习技术的快速发展，越来越多的研究者开始探索其在交通需求预测中的应用。深度学习方法能够通过端到端的学习机制，从交通数据中提取丰富的特征，并建立复杂的预测模型。其中，基于Transformer的模型因其强大的全局建模能力和注意力机制的优势，成为研究的热点。这些模型能够有效捕捉交通数据中的长距离依赖关系，同时通过多头注意力机制处理局部特征。然而，现有的基于Transformer的模型在处理交通数据的局部时空依赖关系时仍存在一定的不足，尤其是在计算效率和模型复杂度方面。

为了弥补这些不足，本文提出了一种具有局部聚合功能的层次化时空Transformer模型（HSTLAformer）。该模型通过分离时空依赖关系为时间依赖和空间依赖，分别利用时间多头注意力和空间多头注意力来建模。此外，该模型还引入了层次化编码器-解码器架构，以利用多尺度信息。通过这种方式，HSTLAformer能够在交通需求预测中同时捕捉全局和局部的时空特征，从而提升预测的准确性和适应性。

在模型设计方面，HSTLAformer首先将输入的交通需求数据映射到一个三维向量数组中，以捕捉数据中的局部语义信息。这种嵌入方法不仅能够帮助编码器学习时间依赖关系，还能够保持交通需求数据的原生时空关系。接下来，模型利用时间多头注意力模块来学习时间依赖关系，同时使用空间多头注意力模块结合局部聚合机制来建模空间依赖关系。这种设计使得模型能够在处理交通数据时，既考虑时间序列的长期依赖，又关注局部区域的相似性。

此外，为了进一步提升模型的性能，HSTLAformer在编码阶段引入了渐进式段合并技术，以生成多尺度的特征表示。在解码阶段，模型构建了多个并行的解码器，分别对不同尺度的特征表示进行解码，从而生成最终的预测结果。这种层次化架构使得模型能够适应不同尺度的交通需求变化，提高预测的灵活性和准确性。

为了验证HSTLAformer的有效性，本文在三个大规模的真实世界交通数据集上进行了实验。这些数据集包括纽约市的自行车出行数据（NYC Bike）、纽约市的出租车出行数据（NYC Taxi）以及芝加哥的出租车出行数据（CHI Taxi）。实验结果表明，HSTLAformer在短期和长期交通需求预测任务中均表现出色，并优于现有的预测方法。这说明该模型在处理交通数据的时空依赖关系方面具有显著优势，能够为智能交通系统提供更准确的预测支持。

在实验过程中，我们采用了多种评估指标，包括均方误差（MSE）、平均绝对误差（MAE）和平均绝对百分比误差（MAPE）。这些指标能够全面衡量模型的预测性能。实验结果表明，HSTLAformer在所有评估指标上均优于其他方法，尤其是在处理长期预测任务时，其性能优势更加明显。这说明该模型不仅能够捕捉交通数据的全局依赖关系，还能够有效处理局部特征，从而提升整体预测的准确性。

在消融实验中，我们进一步验证了模型各个组件对预测性能的影响。结果表明，时间多头注意力模块和空间多头注意力模块的结合，以及局部聚合机制的引入，对模型的性能有显著提升。此外，层次化编码器-解码器架构的采用，使得模型能够更好地适应不同尺度的交通需求变化，从而提高预测的灵活性和鲁棒性。

总的来说，本文提出的HSTLAformer模型在交通需求预测任务中表现出色，能够有效捕捉交通数据的全局和局部时空依赖关系。通过引入层次化架构和局部聚合机制，该模型不仅提升了预测的准确性，还提高了计算效率和适应性。实验结果表明，HSTLAformer在三个大规模真实世界数据集上的表现优于现有方法，验证了其在交通需求预测中的有效性。未来的研究可以进一步探索该模型在其他交通预测任务中的应用，以及如何优化其在不同场景下的性能。