STIFormer：面向行人轨迹预测的场景-轨迹交互建模

《Neurocomputing》：STIFormer: Scene-trajectory interaction modeling for pedestrian trajectory prediction

　　

•STIFormer：具有场景-轨迹交互能力的Transformer，用于轨迹预测。•TPS：用于场景特征提取的可变形锚点引导采样。•TAFF：在点特征融合时通过时间编码保持序列顺序。•图像平面位置编码解决了世界-图像坐标不匹配的问题。•在ETH/UCY、SDD、PAV上取得SOTA级别的ADE/FDE，且具有符合场景的预测结果。引言在自动驾驶车辆与行人共存的复杂城市环境中，行人轨迹预测已成为一个关键的研究焦点。给定已观测到的人类轨迹，人类轨迹预测的目标是精确预测未观测到的可能的未来轨迹。准确预测行人运动路径有助于智能系统的决策和交通流的优化。行人内在的不确定性和行为复杂性给智能体理解其运动带来了重大挑战。行人可能会突然改变运动方向、调整速度，或者在出乎意料的时候做出间歇性的停顿。另一方面，行人的运动行为通常受到周围环境的影响。人群更倾向于走在人行道上，并会因栏杆、建筑物等障碍物而改变路线。这些特征使得仅依赖历史轨迹的传统轨迹预测方法不足以应对实际应用。因此，一项关键任务就是探索从图像中提取有用的场景特征，以实现符合场景的行人轨迹预测。近年来，Transformer架构在捕捉序列建模中的长期依赖关系方面展现出了令人印象深刻的能力[1]。鉴于LSTM在处理轨迹序列方面的有效性[2]、[3]、[4]，越来越多的研究开始将Transformer应用于行人预测任务[5]、[6]、[7]、[8]、[9]。例如，MID[6]依赖扩散模型，而PPT[9]需要结构良好的分阶段训练。TUTR[8]构建了多模态轨迹预测和社会交互模块，并将其构建为基于Transformer的编码器-解码器架构，有效消除了对后处理的需要。尽管这些轨迹预测模型取得了良好的性能，但它们忽略了场景信息对行人未来运动的影响。随着预测视野的增加，累积误差会显著增长。仅对历史轨迹进行建模而不考虑环境语义约束，将会加剧长期未来预测中的运动不确定性。此外，多模态轨迹生成旨在通过提高预测多样性来覆盖潜在的未来运动，而场景信息对于评估每个预测模式的合理性至关重要。如图1(c)所示，本文提出了一种对Transformer友好的场景-轨迹交互模块，该模块通过自适应的轨迹引导场景特征采样，将场景语义与行人运动动力学耦合起来，从而处理这些问题，而无需对原始模型进行实质性修改。符合场景的轨迹预测方法使用图像处理网络提取场景特征，并将其与轨迹特征融合。现有的轨迹与场景之间的交互方法根据其设计和实现一般可以归纳为两类：基于热力图的交互[10]、[11]、[12]、[13]、[14]和基于嵌入的交互[15]、[16]、[17]、[18]。基于热力图的交互以热力图的形式表示轨迹点，使其能够与场景图像特征图无缝集成。相比之下，基于嵌入的交互直接将场景图像特征整合到轨迹编码中，表现出更强的序列建模能力，并消除了从热力图中提取轨迹的后处理步骤。大多数轨迹数据集主要关注世界坐标系中的行人运动模式[19]、[20]，而图像数据则在像素坐标中操作。作为模型输入和输出的轨迹坐标必须经过复杂的矩阵变换，才能与其在图像空间中的相应位置对齐[11]、[12]。因此，有效地将场景信息整合到轨迹预测中仍然是一个基本的科学挑战。尽管在该方向上已有诸多努力，但现有的场景感知方法，特别是使用基于嵌入的交互的方法，在场景语义与运动动力学之间的耦合机制上存在三个固有缺陷：(1) 空间坐标不匹配。轨迹以世界坐标（米）表示，而场景图像则以像素坐标操作。所需的单应投影会引入对齐误差和回归歧义。模型可能在图像空间中推断出合理的路径，但无法将其准确映射回世界坐标以供下游导航使用。(2) 隐式区域学习低效。在没有显式空间引导的情况下，模型必须从全局特征图中隐式地挖掘相关图像区域，这导致收敛缓慢、特征提取冗余，并且无法关注关键的障碍物或人行道区域。(3) 时空解耦。场景特征是静态的单帧表示，而轨迹是动态的序列数据。一些融合方法忽略了时间顺序，无法捕捉行人在不同时间步中如何受不同场景区域的影响。因此，解决场景-运动耦合问题是生成合理且精确轨迹的最关键一步。为了应对这些挑战，我们提出了一个基于嵌入的场景-轨迹交互(STI)模块，以提高轨迹预测的准确性，如图1所示。STIFormer从输入图像中提取与轨迹相关的语义特征，并显式地建模场景特征与运动模式之间的关系。STI模块动态地将场景嵌入适应于轨迹动力学，并将其整合到轨迹嵌入中。它采用了Transformer解码器架构，其中交叉注意力被替换为一个新颖的轨迹点采样(TPS)模块以生成场景嵌入。TPS模块由两个关键部分组成：点级场景特征采样(PSFS)和时间感知特征融合(TAFF)。首先，PSFS采用中间辅助轨迹序列作为参考点，通过可变形交叉注意力机制[21]在每个轨迹端点附近自适应地采样场景特征。这种设计引导模型关注信息更丰富的局部区域，而不是依赖全局图像特征。随后，TAFF引入时间编码来解决固有的时间顺序信息缺失问题，有效地将轨迹端点特征整合到场景嵌入中。此外，为了解决场景图像和轨迹数据之间的空间不一致性，STI模块通过将辅助轨迹序列投影到图像坐标来生成轨迹位置编码。在PSFS中，我们证明在投影之前在世界空间中计算自适应采样坐标，而不是直接在图像空间中学习坐标偏移，能够更有效地进行符合场景的轨迹细化。STI模块的有效性主要来自：(1) 与行人运动尺度自适应对齐的感受野。与预测像素级偏移的标准可变形注意力不同，我们的方法在变换前预测世界坐标系中的偏移。这种设计使模型的感受野与行人运动的物理尺度对齐。从理论上讲，这确保了模型学会在轨迹周围的物理有意义范围内采样特征。这种物理基础性防止了模型在远离行人路径的地方生成无意义的采样点，并确保所采样的特征与行人的导航决策直接相关。(2) 端到端可微的场景约束学习。STI模块是端到端可微的，这使模型能够直接学习如何根据场景信息和轨迹预测误差来细化最终预测。如果预测的轨迹偏离了可行走区域，损失信号将促使模型调整回归方向或分配更低的分数。为了评估我们的方法，我们将STI集成到一个经典的基于Transformer的轨迹预测模型[8]中，创建了一个场景自适应增强变体。在包括ETH[19]、UCY[20]、Stanford Drone Dataset(SDD)[22]和PAV(MOT15)[23]在内的几个行人数据集上的实验表明，我们的方法在性能上优于最先进的多模态预测方法。此外，全面的消融研究验证了我们STI模块的有效性。论文的主要贡献可以总结如下：•我们提出了一种用于基于Transformer的轨迹预测模型的场景-轨迹交互(STI)模块，该模块通过显式地建模场景信息与运动模式之间的交互来提高预测精度。•我们设计了一种轨迹点采样机制，以高效地提取与轨迹点对齐的自适应位置的场景特征。为了实现有效的点特征融合，我们引入了一种融合轨迹序列中时间编码信息的时间感知特征融合操作。•大量实验表明STIFormer表现出卓越的场景符合性。仅通过在基线模型中添加STI模块，该方法在三个公共数据集上取得了与最先进方法相当的竞争性性能。章节片段单模态预测与多模态预测行人轨迹预测任务可以根据未来轨迹输出的数量分为单模态和多模态。早期轨迹预测工作主要关注对未来的运动进行确定性的单模态预测。该领域的一项关键进展是Social LSTM[24]，它引入了一种新颖的池化模块来考虑场景中智能体之间的交互。Social-Attention[25]利用注意力机制来建模目标智能体如何与其他智能体交互。问题形式化行人轨迹预测旨在根据行人的过去轨迹坐标和场景图像，准确地预测行人未来轨迹的分布。形式上，给定一个包含个行人的长度为的场景序列，在每一时间步中，每个行人的轨迹坐标和图像序列可以表示为。我们的方法对目标行人的过去轨迹及其邻居进行建模，整合图像I的视觉信息，并预测的。数据集我们在三个具有不同特征的数据集上评估了我们的方法，包括ETH[19]、UCY[20]、Stanford Drone Dataset(SDD)[22]和PAV[23]。具体差异如表1所示。ETH/UCY和SDD数据集是行人多模态轨迹预测常用的基准数据集，采用俯视视角捕获。ETH/UCY包含来自5个不同场景的视频，包括ETH、HOTEL、UNIV、ZARA1和ZARA2。我们遵循先前的工作[11]、[45]，采用广泛使用的留一法。结论准确预测行人轨迹对于自动驾驶车辆在复杂城市环境中安全导航至关重要。本文提出了STIFormer，一种新颖的基于Transformer的预测模型，该模型有效地将场景信息与运动动力学整合在一起。场景-轨迹交互(STI)模块通过轨迹感知的场景特征采样和整合，解决了现有基于嵌入的交互方法的关键局限性。所提出的STIFormer模型CRediT作者贡献声明Yuhao Guo：撰写 - 原稿，可视化，软件，方法论。Yifeng Bai：验证，监督，方法论。Bin Cai：验证，监督。Zhiyong Sun：验证，监督。Erkang Cheng：撰写 - 原稿，方法论。Shijin Wang：监督，方法论。Bo Song：资源，方法论，概念构思。利益冲突声明作者声明，他们没有已知的可能影响本文所述工作的相互冲突的财务利益或个人关系。Yuhao Guo于2023年从中国合肥的安徽大学获得计算机科学与技术硕士学位。他目前在中国科学院合肥智能机器研究所攻读计算机应用技术博士学位。他的研究方向包括计算机视觉、自动驾驶和医学图像处理。Yuhao Guo|Yifeng Bai|Bin Cai|Zhiyong Sun|Erkang Cheng|Shijin Wang|Bo Song