基于交叉学习与延迟感知自注意力的交通预测新模型CCDSReFormer

为解决交通预测中时空依赖性和延迟效应建模的难题，研究人员开展了一项名为“交叉学习与延迟感知自注意力网络（CCDSReFormer）”的研究。该研究通过整合空间、时间和延迟感知自注意力机制，显著提升了多步交通预测的准确性。实验在六个真实数据集上验证了模型优越性，为智能交通系统提供了高效解决方案。

　　

随着城市化进程加速，智能交通系统已成为缓解交通拥堵、提升出行效率的关键技术。准确预测交通流量是实现智能交通管理的核心挑战，但传统方法在捕捉复杂的时空依赖关系和延迟效应方面存在明显局限。交通数据具有高度的非线性和动态特性，不同节点间的相互影响不仅存在空间上的邻近效应，还会出现时间上的延迟传播现象。这种复杂的时空交互关系使得传统的时间序列预测方法和简单的图神经网络难以取得理想效果。

为了突破这些技术瓶颈，发表在《Communications in Transportation Research》上的这项研究提出了一种创新的交叉学习与延迟感知自注意力网络（CCDSReFormer）。该模型通过整合多种注意力机制，能够同时捕捉空间、时间和延迟三个维度的依赖关系，为交通预测领域提供了全新的解决方案。

研究团队采用了几个关键技术方法：首先构建了数据嵌入层来处理时空特征；其次设计了增强型整流线性自注意力（EnReLSA）机制，包括空间自注意力（ReSSA）、时间自注意力（ReTSA）和延迟感知自注意力（ReDASA）；最后通过交叉学习双流架构（CCDS）实现多维度信息融合。实验使用了PeMS04、PeMS07、PeMS08三个高速公路数据集和NYCTaxi、CHIBike、T-Drive三个城市网格数据集进行验证。

4.1. 数据嵌入层

研究首先通过全连接层将输入数据转换为高维表示，随后分别计算空间嵌入和时间嵌入。空间嵌入基于图拉普拉斯特征向量，捕捉路网结构信息；时间嵌入则通过周索引和日索引转换，再通过嵌入层生成可训练的时序表示。此外，还引入了时间位置编码来捕获输入序列中的相对时间位置信息。

4.2. 增强型整流线性自注意力工作流程

EnReLSA机制通过改进传统自注意力计算，引入稀疏性和局部特征增强。该机制使用整流线性单元（ReLU）替代Softmax函数，减少计算复杂度，同时加入增强卷积（EnCov）步骤来强化局部特征关注。这种设计既保持了全局感受野，又显著降低了计算开销。

4.3. 整流空间自注意力模块（ReSSA）

ReSSA模块专门用于建模节点间的动态空间依赖性。通过地理掩码矩阵优先考虑预定距离阈值内的节点，有效捕捉地理邻近性。结合整流注意力和层归一化技术，该模块在保持数值稳定性的同时实现了计算效率的提升。

4.4. 整流时间自注意力模块（ReTSA）

ReTSA模块专注于发现交通数据中的动态时间模式，能够建模所有时间片之间的长程时间依赖关系。该模块同样采用EnCov来增强对局部时间特征的关注，确保即使两个不同查询在自注意力下具有相同权重，也能从不同的局部特征中获得差异化输出。

4.5. 整流延迟感知自注意力（ReDASA）

ReDASA模块创新性地将延迟信息整合到键矩阵中，捕捉空间信息传播的时间滞后效应。该模块通过延迟感知自注意力和整流自注意力的结合，能够同时捕获短程和长程空间依赖性，真实反映交通事故影响的传播过程。

4.6. 交叉学习双流学习（CCDS）

CCDS架构采用并行处理流同时处理空间和时间信息，避免了传统顺序处理方式的信息损失。空间到时间路径和时间到空间路径的双向信息流动确保了模型能够捕获更丰富的时空交互特征。理论分析表明，该设计的表示能力包含了两个路径表示能力的并集，显著提升了特征捕获概率。

4.7. 注意力混合器和输出层

最终模型通过多头自注意力块整合三种注意力类型的输出，使用拼接操作和投影矩阵生成最终表示。输出层采用跳跃连接和1×1卷积，直接生成多步预测结果，避免了递归方法带来的累积误差问题。

研究结论表明，CCDSReFormer在六个真实数据集上均取得了最优性能，显著超越了现有基准模型。消融实验验证了各模块的有效性，特别是延迟感知注意力机制和交叉学习架构对性能提升的贡献最为显著。讨论部分指出，该模型不仅为交通预测提供了有效解决方案，其设计的注意力机制和架构思路也可推广到其他时空预测任务中，具有重要的理论和实践意义。

该研究的创新点在于首次将延迟效应显式建模引入交通预测，并通过交叉学习机制实现了时空信息的高效融合。实验证明，模型在长期预测任务中表现尤为突出，这对实际交通管理系统的部署具有重要意义。未来工作可进一步探索模型在更大规模路网和多模态交通数据上的应用潜力。