韦弗：用于交通网络预测的时空注意力函数的克罗内克积近似方法

《TRANSPORTATION RESEARCH PART C-EMERGING TECHNOLOGIES》：Weaver: Kronecker product approximations of spatiotemporal attention for traffic network forecasting

　　克里斯托弗·H·张|加里·A·戴维斯|崔成镇•通过克罗内克图注意力实现同步时空学习。•借助基本张量运算实现可行的时空注意力机制。•克罗内克结构使得在大型网络上的训练更为可行。•多头克罗内克积求和提升了模型的表示能力。•在高速公路和城市道路网络上的预测精度处于行业领先水平。

引言
短期交通预测是智能交通系统中的核心问题，它为缓解拥堵、路线引导以及信号控制等应用提供支持。具体而言，由N个传感器构成的道路传感器网络会生成一个多元时间序列{xt}t=1T，其中每个xt∈RN×1记录了时间t时某个特定节点的交通状态参数（如流量、速度或占用率）的数值；尽管每个传感器可获取多个变量，但预测任务通常被设计为单变量形式，即一次只分析一个变量。该任务会利用长度为P的历史数据窗口{xt?P+1,…,xt}，来预测未来Q时间范围内的数值{yt+1,…,yt+Q}，其中yt∈RN×1。在智能交通系统应用中，P和Q通常为60分钟左右（Choi等人，2025年；Li等人，2018年；Yu等人，2018年），因为超过这个时间范围后预测的可靠性会显著下降（Wang和Sun，2023年）。此外，出行行为受到诸多因素的影响，既有时间、天气、季节周期等全局性因素，也有基础设施设计、土地使用情况以及服务中断等局部因素（Kumar和Levinson，1995年；Pulugurtha和Koilada，2021年；Zhang等人，2017年）。这些需求促使人们寻求能够同时兼顾预测精度、稳定性以及实际应用性的模型架构。

传统的短期交通预测方法主要运用统计学和机器学习技术来捕捉局部的时间模式。卡尔曼滤波技术可以实现动态的实时预测（Okutani和Stephanedes，1984年）。基于k最近邻的非参数回归方法通过利用序列间的相似性，其性能可与一些较为简单的时间序列预测模型相媲美（Davis和Nihan，1991年；Smith和Demetsky，1996年）；季节性ARIMA模型则可用于捕捉周期性趋势（Akhtar等人，2021年；Kumar和Vanajakshi，2015年）；而马尔可夫链则用于描述离散交通状态之间的转换规律（Davis等人，1995年；Yu等人，2003年）。尽管这些传统模型具有较好的可解释性，但它们往往存在一些限制性假设，这些假设限制了它们捕捉传感器网络中复杂的、非线性的、依赖于网络结构的交通动态的能力（Vlahogianni等人，2014年）。因此，人们越来越需要这样的模型架构：它能将各个点的观测数据整合成一个连贯的网络级模型，从而挖掘出不同位置与时间动态之间的潜在关联，进而提升预测的准确性。

为了解决这一缺陷，基于图的学习方法应运而生，它通过将道路网络的拓扑结构视为由N个传感器位置（节点）通过道路段（边）连接而成的图，从而有效捕捉非线性、非欧几里得的空间依赖关系。在这一理念的基础上，深度学习领域的图神经网络方法在交通网络的短期时空预测中得到了广泛应用，这类方法会将道路拓扑结构或节点间的邻近关系编码为一个N×N的邻接矩阵。此外，即便没有完美的拓扑结构先验，基于数据的图神经网络也能展现出强大的预测能力，这使得它们能够适用于各种不同的交通数据集。为了对这种空间图进行推理，这些架构通常会利用图卷积操作（Kipf和Welling，2017年；Zhang等人，2019年），或者更一般地，利用消息传递操作（Gilmer等人，2017年），在这种操作中，节点会通过邻接矩阵赋予权重的边来交换信息。通常，时间状态的传播则是通过原本为序列数据设计的独立架构来实现的，比如循环神经网络或时间卷积网络（Jin等人，2023年）。

现有方法的不足
在早期的研究中，用于交通预测的图神经网络模型由于采用静态的邻接矩阵来编码空间依赖关系，因此难以适应不断变化的交通网络状况以及节点间动态的关系（Afandizadeh等人，2024年；Jin等人，2023年；Li等人，2018年；Yu等人，2018年；Zhao等人，2020年）。后来的一些研究，比如Graph WaveNet（Wu等人，2019年），通过引入能够学习数据驱动型连接的自适应邻接机制，在一定程度上缓解了这一限制，但这些机制在训练完成后仍然是静态的。近期，Transformer风格的多头注意力机制以及图注意力网络被引入，以便通过动态捕捉并应用在不同空间和时间维度上与状态相关的关系，进一步提升模型的适应性（Aouedi等人，2025年；Carianni和Gemma，2025年）。

尽管有了这些进展，现有的大多数方法仍然依靠一些经验性的策略来构建时空融合机制，比如Jin等人（2023年）和Mao等人（2025年）所总结的那些方法，它们只是简单地将空间模块和时间模块堆叠或交错在一起，却无法为最终的联合结构提供合理的理论依据。虽然从实践效果来看这些经验性融合方法确实有效，但它们存在三个实际弊端：首先，由于缺乏理论支撑，架构的选择主要取决于实验性能，这就很难系统地对比或改进不同的设计方案；其次，时空邻接结构仍然隐藏在学到的表示结果之中，往往需要反复在空间轴和时间轴之间进行混合处理，同时也难以清晰地理解信息是如何在空间和时间维度上共同传播的；第三，由于没有明确的时空图表示形式，也就无法从图论的角度对这种联合结构进行分析。

在另一种思路中，时间扩展网络通过将时空对视为不同的节点，并用时空边将它们连接起来，从而构建出明确的时空图（Ford和Fulkerson，1958年）。在运筹学领域，时间扩展网络被广泛应用于公共交通调度、交通路线规划以及动态网络流问题中（Ho等人，2014年；K?hler等人，2002年；Liu等人，2023b年；Silver和de Weck，2007年；Yook和Heaslip，2015年），而且图的扩展过程遵循特定领域的规则。在这些应用场景中，由于时间扩展网络的规模会随着时空节点数量的增加而呈二次方增长，因此人们通常会采用有选择性的图剪枝和扩展技术来解决这个问题——而这些技术并不适合端到端的数据驱动式训练，因为在那种训练方式中，图结构会被密集地学习出来，以便捕捉数据集中所有可能的交互模式。例如，如果使用多头注意力来学习时间扩展网络的邻接关系（Vaswani等人，2017年），那么在使用H个独立的图操作单元的情况下，就会生成一个规模为O(H·P2N2)的时空注意力图，其中N代表空间节点的数量，P代表时间节点的数量。在用于交通预测的深度学习框架中，有一些所谓的同步式框架（Jin等人，2023年），比如STSGCN（Song等人，2020年），它们会在时间扩展网络上应用联合时空建模方法，但这类方法将时间上的邻接关系限制在相邻时间步长中相同的节点之间（R3N×3N）；S2TAT（Wang等人，2022年）则在原有基础上加入了注意力机制。不过需要指出的是，目前的这些方法仍然属于经验性设计。

综上所述，我们发现当前深度图基时空交通预测领域存在以下不足：现有的框架要么依赖于通过经验性融合方法构建的隐式时空表示，要么要付出极高的计算成本才能构建出明确的时空图。据我们所知，目前还没有任何框架能够同时满足以下三个条件：第一，能够生成明确的时空邻接图表示；第二，拥有图论层面的理论支撑；第三，具备在大规模数据上仍能高效运行的能力。

解决方案
在这项工作中，为了解决上述问题，我们的策略首先是寻找一种图操作单元，它能从分解后的空间子图和时间子图中构建出在数学上逻辑自洽的时空图，随后再利用这种图的结构特性来提升模型的表示能力和计算效率。这样一来，我们的时空学习框架就有了图论和线性代数作为理论基础，其架构组成部分和计算特性也都能够由此自然衍生出来。

为此，我们提出使用克罗内克图乘积来构建时间扩展网络的时空图，这是一种图操作单元，它可以通过将配对的空间子图和时间子图组合起来，系统地构建出时空图——我们将这种基于克罗内克图乘积的时空图称为克罗内克时间扩展网络。从理论上来说，对应的时空邻接矩阵就是由空间子图的邻接矩阵和时间子图的邻接矩阵通过克罗内克乘法运算得到的。但实际上，要想将时空数据完全分解为空间矩阵和时间矩阵，就要求满足严格的克罗内克乘法可分离性条件，而这一条件对于现实中复杂的交通网络中的时空交互关系来说过于苛刻。

不过，关于克罗内克乘积近似方法的现有研究表明，通过引入克罗内克乘积求和操作，就可以放宽克罗内克乘法可分离性的要求，因为通过对配对的克罗内克因子进行求和，就可以足够捕捉到数据中的各种变异特征，从而解释复杂的数据集（Hero和Rajaratnam，2015年；Van Loan和Pitsianis，1993年）。事实上，根据克罗内克乘法展开式的完备性原理（Van Loan和Pitsianis，1993年），Hero和Rajaratnam（2015年）证明，任何时空协方差都包含一定程度的克罗内克结构。同样，我们还发现，在多头注意力的整合步骤中，自然就可以应用加权克罗内克乘积求和操作，这一操作能够提升模型的表示能力。综合来看，这就为基于配对的空间子图和时间子图以及多头注意力来实现数据驱动的时空图学习提供了可能，同时这种方式也允许我们灵活地引入有用的先验信息（Chen等人，2022a年；Mialon等人，2021年）。

不过，如果在克罗内克时间扩展网络图上直接进行时空消息传递操作，由于其仍然需要构建完整的PN×PN规模的克罗内克时间扩展网络邻接矩阵，因此会在计算上变得极为复杂。幸运的是，由于采用了分解型的克罗内克表示方法，我们可以通过引入克罗内克矩阵-向量乘法运算来解决这个问题，这种运算方式无需构建完整的时空邻接矩阵，就能够实现高效的时空消息传递操作。

基于这一思路，我们设计了Weaver这一时空预测架构（见图1），它通过注意力机制来学习配对的空间子图和时间子图，进而可以明确地构建出秩为H的时空邻接矩阵。为了直观展示克罗内克乘积求和操作的表达能力，Weaver架构采用了单次遍历的时空图模块，并结合多头注意力机制，而不需要通过多层堆叠的方式来实现功能。这种方法同时满足了我们之前提出的三个要求：明确的时空邻接结构、基于图论的理论支撑，以及可扩展的计算能力。

我们总结这项工作的主要贡献如下：
1. 我们提出了基于克罗内克图乘积的时空图表示方法，作为一种替代传统经验性或直接式时空图学习方法的方案，可用于基于注意力的交通预测。该方法通过2D并行克罗内克矩阵-向量乘法运算，能够在时空图上实现高效的时空消息传递操作，而这种运算可以利用矩阵乘法和张量模式重排技术，在GPU上实现并行处理。
2. 我们发现，多头注意力机制中的头部整合过程实际上就相当于实现了加权克罗内克乘积求和操作，这样就不需要进行架构上的修改，就能让模型自动适应克罗内克乘法可分离性要求的放宽。而且，通过调整头部的数量，还可以根据网络复杂度和硬件条件来灵活调节模型的表示能力。
3. 我们提出了Tanimoto值注意力机制，这是一种带符号的注意力机制，它使用Tanimoto系数而非标准差相关系数来描述交通网络中负向的边关系。我们验证了这种注意力机制具有稳定的优化特性，不会出现虚假的局部最优解，其全局最大值为1.0，全局最小值为-1/3。此外，我们还在Weaver架构中对比了这种注意力机制与标准差相关系数以及余弦相似度在PemsBay [2017]数据集上的表现，进一步验证了它的表示能力和训练稳定性。
4. 我们将这一框架实现了为Weaver架构（见第4节），这是一种用于短期时空交通预测的架构，它还配备了用于处理带符号边关系的模块，以及用于处理单变量时空输入的特征提取模块。我们在METR-LA和PemsBay [2017]（Li等人，2018年）、PemsBay [2022]（Choi等人，2025年）以及city-traffic-M/1396N（Velikonivtsev等人，2025a年）这几个数据集上，将Weaver架构与现有的时空预测基准模型进行了对比测试，同时还对克罗内克注意力机制、带符号边表示方法以及特征提取方法进行了针对性的消融实验和可视化分析。

我们实现的Weaver架构成功展示了所提出的短期时空交通预测框架，该框架在多头克罗内克注意力机制中采用了2D并行克罗内克矩阵-向量乘法运算，以此在时空图上有效地扩散交通节点的相关信息。

从整体结构上看，Weaver架构主要由三个核心部分组成（相关模块的信息见表1）：
2U=F_X→U(X):RP×N×C→RP×N×E，
Z=F_G→Z(U)+U:RP×N×E→RP×N×E，
Y^=F_Z→Y(Z):RP×N×E→RQ×N×C，
其中，(i) FX→U(·)函数负责将输入的张量X映射到模型的潜空间E中；(ii) FG→Z(·)函数通过基于图的信息传播机制来编码节点之间的关联关系，其中的注意力模块则充当潜空间图生成器，能够生成反映交通网络状态依赖关系的表示结果；(iii) FZ→Y(·)函数则作为状态转换函数，通过运用模型学到的网络动态规律来预测系统的未来发展轨迹。在这里，P表示历史数据窗口的长度，Q则表示预测的时间范围。

为了方便参考，本文中使用的各类符号说明汇总在附录A中；相关的克罗内克乘法运算规则汇总在附录C中；关于多头注意力机制及其在具有结构先验的图学习中的应用，我们在第F.3节中有详细的阐述。

文献综述
用于短期交通预测的深度学习方法，在空间表示和时间表示的构建方式以及二者之间的融合策略方面存在着很大差异，而这种时空融合策略上的区别，一直是该领域面临的核心设计难题。在近期关于用于时空预测的图神经网络的综述中（Jin等人，2023年），提出了多种不同的方法，这些综述按照架构的融合策略对它们进行了分类。为了明确我们方法的定位，本节将首先阐述问题陈述与解决方案。

总体问题陈述：给定一个包含N个空间上相互独立的节点的交通网络，这些节点代表P个观测时间步长内的交通检测器，目标是预测所有节点在未来Q个时间步长内的状况：Y^=F^(X)，其中X∈RP×N×C表示具有特征维度C（通常C=1）的观测到的交通状态，Y^∈RQ×N×C则表示预测结果，而F^(·)则是需要指定并学习的预测模型。在本研究中，我们将F^(·)建模为一种消息传递神经网络（MPNN，见附录F），该网络可直接处理数据。

方法论：本节将概述Weaver架构（见图9）及其三个主要模块：(A/B)输入处理与特征提取，(C)克罗内克注意力机制，以及(C)状态转换机制。关于本研究中Weaver的具体实现方式，请参见第5节；神经网络相关组件则见附录A.4。

模型规格：本节详细介绍了图9中所展示的Weaver模型各组件的实现细节，包括节点状态字典、克罗内克注意力模块以及状态转换模块。为便于理解，我们建议读者参考Entmax（Peters等人，2019年）、RMSNorm（Zhang和Sennrich，2019年）以及Dropout（Srivastava等人，2014年）等相关算法的实现细节。

实验与结果：本节将把所提出的Weaver模型与当前用于短期时空交通预测的基于图的深度学习基准模型进行对比测试。为量化模型的稳健性，我们报告了在不同网络规模、数据缺失率以及运行环境下的多次训练试验中测试指标的95%误差范围。为评估模型的实际应用价值，我们还分析了其训练时间、参数数量以及资源利用效率。第6.1节将详细介绍相关内容。

消融实验：本节针对第3节中描述的Weaver模块进行了消融实验，实验采用表5中规定的Weaver–Default(T)参数设置。共进行了两种类型的消融实验：(i)在参数消融实验（第7.1节）中，我们在不改变模块结构的情况下，评估了参数调整对模型性能的影响；而(ii)模块消融实验（第7.2节）则通过修改各个模块来研究它们对Weaver整体预测性能的贡献。

模型可视化：本节详细介绍了针对Weaver的时空克罗内克注意力机制（第3.1节）以及节点状态字典（第3.3节）的可视化实验结果。为提升可读性和可视化效果，我们训练了一个简化版的Weaver-Default(T)模型（H=3, E=129；测试指标详见表B.15），并选择了PemsBay [2017]网络中的四个节点，这些节点与参考节点之间存在不同的相关性特征（正相关、滞后、负相关或无关联）。

结论：我们提出了Weaver这一时空预测架构，它通过三种机制解决了交通网络建模中的可扩展性和可解释性难题：(i)克罗内克注意力机制，该机制通过将空间和时间因子图的克罗内克积形式化地表达出联合时空注意力，作为一种替代直接或启发式时空图学习的因子分解方法，多头注意力机制中的头部整合功能则自然实现了加权隐式处理。

致谢：S. Choi的研究得到了韩国政府资助的韩国国家研究基金会（NRF）的支援（项目编号RS 2025-00520858）。

CRediT作者贡献说明：
Christopher H. Cheong：写作——审稿与编辑，写作——初稿撰写，可视化，验证，软件，资源，方法论，研究，形式分析，数据整理，概念设计。
Gary A. Davis：写作——审稿与编辑，监督，项目管理，方法论，资金获取。
Seongjin Choi：写作——审稿与编辑，写作——初稿撰写，验证，监督，资源，项目管理，方法论，概念设计。