混合时序图模型在多智能体多模态轨迹预测中的应用

《Neurocomputing》：Hybrid temporal-graph modeling for multi-agent multimodal trajectory prediction

　　摘要：多智能体轨迹预测对于自动驾驶、移动机器人导航以及智能交通系统而言至关重要。尽管现有方法已取得显著进展，但在保持高计算效率的同时实现精确的多模态轨迹预测方面仍面临挑战。为解决这些问题，本文提出HTG-MMTP，一种用于多智能体多模态轨迹预测的混合时序图框架。具体而言，该框架设计了一种以轨迹为导向的混合时序编码器，首先提取局部短期运动特征，再利用所提出的M-sLSTM模块将这些短期特征聚合起来，用以建模长期运动趋势。为在不增加过多计算开销的情况下提升交互推理能力，文中引入切比雪夫多项式来获取高阶邻域信息。此外，还结合了基于相对位置的门控机制与注意力机制，将包含高阶邻域信息的无向拓扑图转换为有向交互表示。基于这些时序及交互感知表示，一种基于交互条件的多模态拉普拉斯解码器能够在单次前向传播中生成多条概率性的未来轨迹，从而实现高效的多模态不确定性建模。在ETH/UCY和SDD基准数据集上的大量实验表明，HTG-MMTP在保持高效推理的同时，具备出色的预测精度。消融实验进一步验证了混合时序编码器、切比雪夫增强型交互模块以及多模态拉普拉斯解码器的有效性与互补性。

引言：在现实场景中，行人和车辆的行为表现出明显的随机性和多模态特性。智能体不仅会通过相互避让、群体聚集等交互方式影响彼此，其目的地和意图往往也是未知且不断变化的。因此，仅依赖历史运动状态不足以准确推断未来轨迹，尤其是在复杂多变的环境中，这种不确定性更为显著。对于自动驾驶和机器人导航等智能系统而言，准确预测不同环境中行人、车辆及其他智能体的未来运动轨迹，对于其安全可靠地执行任务至关重要。以往的研究表明，轨迹预测需要同时建模时空动态依赖关系以及智能体间的交互作用，包括与其他智能体及周围环境的关系，这样才能捕捉到复杂的行为模式以及多种可能的未来趋势[14]。传统的轨迹预测方法主要依赖于基于物理或统计的模型，这类模型往往对未来运动施加限制性假设，因而难以捕捉复杂动态场景中的行为变化。近年来，随着深度学习的快速发展，众多数据驱动的方法被提出，通过学习历史轨迹和交互模式显著提升了预测精度。例如，基于循环神经网络（RNN）的序列建模方法可用于捕捉时间动态[1]，而图神经网络（GNN）则能有效建模智能体间的空间交互[36]。基于Transformer的方法则进一步利用注意力机制捕捉时空维度上的全局依赖关系，从而提升长期轨迹预测性能[16][34]。近年来，多模态轨迹预测越来越受到研究关注，因为假设单一确定的未来路径往往与现实中智能体行为的随机性不符。多模态预测框架旨在生成多条具有相应概率的合理未来轨迹，从而使模型能够描述行为不确定性及多样的运动意图。现有的多模态策略主要依赖于条件变分自编码器（CVAE）、生成对抗网络（GAN）、混合密度网络（MDN）以及基于采样的生成方法[5][12]，这些方法在捕捉多样化的未来运动模式方面均展现出强大能力。尽管现有方法在多个公开基准测试中表现良好，但在实际应用中仍面临诸多挑战。首先，许多多模态预测框架严重依赖外部场景环境和高精度地图[8]，当此类信息不可用、不完整或过时时，其鲁棒性会大打折扣。其次，复杂的交互建模机制以及计算成本较高的神经网络架构往往会带来较大的推理开销，限制了其在实时决策系统中的应用[41]。此外，准确捕捉长期运动演化、不断变化的社会交互关系以及不确定的行为意图，依然是多模态轨迹预测面临的核心挑战。为解决这些问题，我们提出了HTG-MMTP，一种用于多模态多智能体轨迹预测的新框架。与传统方法仅以单阶段方式建模时序依赖不同，HTG-MMTP采用分层时序编码策略，先对短期运动模式进行编码，再利用这些编码结果捕捉长期时序依赖。由此得到的短程和远程时序特征会被融合在一起，为后续的交互建模提供全面的运动表示。为提升社会交互推理能力，文中采用了基于切比雪夫多项式的图卷积方法来捕获高阶邻域信息，使模型能够利用智能体间更丰富的结构依赖关系。此外，还整合了运动感知门控机制与注意力加权机制，以实现基于几何结构的消息传递，并学习更具区分度的交互表示。最后，多模态解码器会根据时序特征和交互特征来估计未来轨迹的分布，从而在单次前向传播中高效地生成多条合理的未来轨迹。综上，所提出的框架在预测精度与计算效率之间实现了良好的平衡。总体而言，本工作的主要贡献如下：•我们提出了HTG-MMTP，一种统一的多时序图多模态预测框架，用于多智能体轨迹预测。该框架能够协同建模个体时序动态、高阶空间交互、自适应交互优化以及多模态未来不确定性。•我们设计了一种以轨迹为导向的混合时序编码器，该编码器首先提取短期运动变化特征，再利用专门设计的M-sLSTM模块将这些特征聚合起来，用于建模长期运动趋势。这种渐进式的时序建模策略使模型能够同时捕捉局部运动变化和远程运动趋势，为后续的交互建模及多模态解码提供互补的时序表示。•我们引入了一种带有相对位置感知门控与注意力机制的切比雪夫增强型交互模块。切比雪夫传播算法可用于捕获高阶邻域上下文，而门控与注意力机制则可用于评估成对交互消息的重要性，并抑制无关的邻居信息。

相关研究：本节回顾了现有的行人与车辆轨迹预测方法，重点探讨三个关键方面：时序动态建模、智能体间交互建模，以及未来轨迹预测中的不确定性估计。

问题定义：我们将那些需要预测未来轨迹的实体称为智能体。对于每个智能体，已知的轨迹被称为观测轨迹，而在训练过程中，对应的未来轨迹则被视为真实未来轨迹。在多模态轨迹预测中，目标是在给定观测轨迹的前提下，为每个智能体在未来若干时间步内生成一组候选的未来轨迹。其中， 和 分别表示数据集的长度。

数据集与预处理：我们采用ETH/UCY和斯坦福无人机数据集（SDD）作为训练所提模型并评估其性能的基准数据集。具体而言，ETH/UCY数据集包含五个不同的场景（ETH、Hotel、Univ、Zara1和Zara2），其中存储着以2.5赫兹的采样频率收集的数千条真实行人轨迹。对于ETH/UCY数据集，模型会观测8个时间步的信息，然后预测接下来的12个时间步的轨迹。我们采用标准的留一法评估协议来衡量模型的性能。

局限性分析与未来工作：虽然改进后的图交互模块增强了社会交互推理能力，但在交互极为复杂的拥挤场景中，轨迹预测仍然面临挑战。在这样的环境中，改进后的图卷积可能无法充分捕捉邻居的动态重要性以及群体行为模式。未来的工作可以探索动态交互图的构建方法以及更具表现力的不确定性建模策略，以便更好地处理密集的多智能体耦合问题。

作者贡献声明：涂海燕负责文本撰写——审稿与编辑、资源获取与资金筹措；邓华丰负责文本撰写——初稿编写、模型验证、项目管理及方法设计；张晓斌负责研究工作与模型验证；毛宇迪负责形式化分析；吕友负责资金筹措；郑秀娟负责研究工作与项目管理。

利益冲突声明：作者声明不存在任何可能影响本文研究结果的已知财务利益或个人关系。涂海燕（IEEE会员）是四川大学电气工程学院的副教授兼硕士生导师。她于1993年在中国成都的成都科技大学自动化系获得自动化专业学士学位，2000年在四川大学自动化系获得自动化专业硕士学位，之后在四川大学生物材料工程研究中心获得生物医学工程专业博士学位。涂海燕|邓华丰|张晓斌|毛宇迪|吕友|郑秀娟，四川大学电气工程学院，中国四川省成都市610065。