基于扩散调度的随机轨迹预测结合时频分析

《Knowledge-Based Systems》：Diffusion scheduling-based stochastic trajectory prediction with time-frequency analysis

　　

## 摘要

轨迹预测旨在准确生成未来的运动轨迹，在自动驾驶、机器人导航等领域具有重要的应用价值。基于扩散模型的轨迹预测算法作为当前主流方法之一，取得了显著的进展。然而，大多数现有方法难以有效捕捉轨迹时序中的长期和短期依赖关系，且采用固定扩散步数的扩散模型难以适应不同轨迹之间运动复杂性的显著差异。针对上述问题，本文提出了一种基于时间频域分析的扩散步调度随机轨迹预测框架，称为DSTA。DSTA联合引入了多尺度时间频域增强模块（MTEM）和能量熵引导的扩散调度器（EEDS），以建模时序依赖关系和运动复杂性。具体而言，MTEM引入离散小波变换，并采用分解-聚合架构对轨迹进行多尺度时间频域分析。EEDS计算轨迹特征的能量熵，并将其映射为轨迹特定的扩散步数，从而为不同轨迹分配自适应的扩散生成预算。此外，本文设计了步调度扩散模块（SSDM），将MTEM提取的轨迹特征作为先验信息，基于EEDS分配的扩散步数生成未来轨迹。在四个数据集（ETH-UCY、NBA、SDD、NFL）上进行了广泛的对比、可视化、消融和效率实验，充分展示了所提框架的有效性和优越性。

## 引言

轨迹预测旨在根据目标的历史轨迹和环境交互信息预测其未来运动轨迹。它在各种视觉任务中发挥着关键作用。在自动驾驶领域，通过准确预测交通参与者的运动轨迹，为后续的规划和决策提供有效支持[1, 2, 3]。在视频监控系统中，通过预测和分析潜在的异常行为实现早期风险预警[4, 5]。在机器人导航中，促进障碍物规避以确保任务成功执行[6]。

根据预测的未来轨迹的模态，轨迹预测可分为随机轨迹预测和确定性轨迹预测。随机轨迹预测涉及预测多模态未来轨迹（通常为20条以上），而确定性轨迹预测只需预测单条未来轨迹。在真实场景中，由于目标的固有运动复杂性，随机轨迹预测通常被认为更具挑战性且适用范围更广。本文对随机轨迹预测进行了深入探讨。

在各种基于深度学习的轨迹预测算法中，基于生成模型的轨迹预测算法引起了越来越多的关注。当前的基于生成模型的轨迹预测算法可分为三大类：基于变分自编码器（VAE）的轨迹预测算法[7, 8]、基于生成对抗网络（GAN）的轨迹预测算法[9]，以及基于扩散模型的轨迹预测算法[10, 11, 12]。（1）基于VAE的算法将历史信息映射到潜在空间的特征分布中，并将潜在表示解码为未来轨迹。然而，潜在空间的有限维度限制了重建能力，使其难以捕捉轨迹中的详细信息。（2）基于GAN的算法采用生成器产生轨迹，然后由判别器进行评估。然而，这些方法在训练过程中容易出现模式崩塌问题。（3）基于扩散模型的算法将历史信息编码为高维嵌入，然后利用扩散模型迭代生成未来轨迹。一些研究[11, 13]从实验上证明了扩散模型在轨迹预测任务中的优越性，这主要源于基于马尔可夫链的迭代细化机制。该架构不仅确保了生成轨迹的物理合理性和时间连贯性，还通过其优化过程隐式地避免了模式崩塌问题。

基于扩散模型的轨迹预测算法的经典框架[12, 14]如图1(a)所示。该框架的基本过程如下：将历史轨迹输入轨迹编码器以提取高维轨迹嵌入，这些嵌入通常包含历史轨迹中的时序和社会上下文信息。随后，这些高维轨迹嵌入作为条件输入传递给扩散模型，以迭代生成未来轨迹。然而，现有的经典框架存在两个主要局限性：（1）现有算法难以有效捕捉序列轨迹中的长期和短期时序依赖关系，从而损害了特征表示。（2）扩散模型采用固定数量的扩散步数，使其天然不适配轨迹运动复杂性的多样性。具体而言，真实场景中的轨迹通常同时表现出长期趋势和短期波动，这些分别与高维轨迹嵌入中的全局和局部特征密切相关。此外，为了确保强大的表示能力，扩散模型通常依赖大量固定的去噪步数（扩散步数）。然而，这种固定步数设置仍然难以适应具有不同复杂性模式的轨迹。

为解决上述局限性，我们提出了一种基于时间频域分析的扩散步调度随机轨迹预测框架，称为DSTA，如图1(b)所示。为了建模轨迹的长期和短期依赖关系，我们设计了多尺度时间频域增强模块（MTEM），该模块由基于小波的分解块（WDB）和基于金字塔的聚合块（PAB）组成。具体而言，WDB执行离散小波变换，将时序轨迹分解为多频率小波带，其中低频带和高频带分别对应轨迹中的长期趋势和短期波动。随后，PAB采用基于Transformer的编码器对这两类小波带进行多级融合和增强。此外，为了基于运动复杂性分配差异化的扩散步数，我们开发了能量熵引导的扩散调度器（EEDS），该调度器由能量熵测量块（EEMB）和扩散步映射块（DSMB）组成。具体而言，EEMB计算多尺度小波带的能量熵，以表征轨迹的运动复杂性。一般来说，运动模式更复杂的轨迹通常需要更多的去噪步数来逐步逼近合理的未来分布，而运动模式相对稳定的轨迹则可以用较少的扩散步数生成。在此基础上，DSMB将计算得到的能量熵映射为轨迹特定的步数，从而实现对不同轨迹的差异化的扩散步数分配。此外，我们设计了步调度扩散模块（SSDM），该模块将MTEM的输出特征作为先验信息集成，并基于EEDS确定的差异化扩散步数生成未来轨迹预测。最后，DSTA利用了多尺度表示学习和自适应扩散调度之间的协同交互，将它们统一到一个步调度扩散生成框架中。

本文的主要贡献如下：
- 我们提出了一种基于时间频域分析的扩散步调度随机轨迹预测框架，有效建模了多尺度时序特征并测量了轨迹的运动复杂性，从而实现了高效且准确的预测。
- 我们设计了MTEM，集成了基于小波的分解块和基于金字塔的聚合块，旨在对历史轨迹进行系统性的细粒度特征编码。
- 我们设计了EEDS，由能量熵测量块和扩散步映射块组成，动态分配轨迹特定的扩散步数。

本文其余部分组织如下：第2节综述相关工作，第3节介绍问题定义和基础知识，第4节详细介绍所提方法，第5节描述实验设置，第6节提供全面的实验分析，最后第7节总结全文。

## 相关工作片段

### 随机轨迹预测

近年来，基于生成模型的随机轨迹预测算法[15, 16, 17]取得了显著成功并引起了广泛关注。一些算法[18, 19]引入VAE来处理轨迹的不确定性。Yu等人[18]提出了一种时空变分自编码器，旨在捕捉行人的时空特征。该方法结合了社会图注意力网络和复杂门控循环单元，以有效处理复杂的——

### 问题定义

轨迹预测旨在根据过去的观察预测目标未来的运动趋势。具体而言，在每个时间戳??，场景中有??个目标，???? = {X?? | ?? = 1, 2, ..., ??}。对于第??个目标X??，其在?????个时间戳上的历史轨迹表示为X = [x???????1, x???????2, ..., x?] ∈ ?^(?????×2)（为简洁省略下标??），其中x?? ∈ ?2表示2D空间中的坐标位置。真值（GT）未来轨迹表示为Y = [y?, y?, ..., y??????] ∈ ?^(??????×2)，其中——

### 框架概述

为了实现对时序轨迹的多尺度分析和差异化的扩散步数分配，DSTA对轨迹的多层级时序特征和运动复杂性进行建模和测量。DSTA的整体架构如图2所示。DSTA形成了一个统一的生成框架，在其中多尺度时间频域分析、基于能量熵的扩散调度和步调度扩散生成在同一流程中相互交互。具体而言，MTEM——

### 数据集

我们在四个基准轨迹预测数据集上评估DSTA：ETH-UCY[39, 40]数据集、Stanford无人机数据集（SDD）[41]、NBA SportVU数据集和NFL足球数据集。

**(1) ETH-UCY数据集：** ETH-UCY数据集包含在多种场景中收集的行人运动数据，包括ETH、Hotel、Univ、Zara01和Zara02。该数据集为每个行人提供了详细的标注，包括坐标、运动方向和速度。我们采用了四个场景的数据——

### 性能对比

为验证DSTA的有效性和泛化能力，我们在四个数据集（ETH-UCY、NBA、SDD和NFL数据集）上与当前最先进的（SOTA）方法进行了广泛的对比实验，结果分别见表1、2、3和4。特别地，DSTA的结果以五次独立运行的均值±标准差形式报告，而所有对比方法的结果直接引用自相应原文。对比方法包括：

### 结论

本文提出了DSTA，一种基于时间频域分析的扩散步调度随机轨迹预测框架，该框架有效建模了轨迹的长期和短期时序依赖关系，并自适应地定制扩散步数。具体而言，由WDB和PAB组成的MTEM被设计用于分解时序特征并进行多尺度融合。此外，由EEMB和DSMB组成的EEDS被提出用于计算能量熵并——

### CRediT作者贡献声明

马佳琪：撰写——初稿、验证、软件、方法论、调查研究、概念化。杨金福：撰写——审稿与编辑、监督、项目管理、资助获取。付富基：撰写——审稿与编辑、软件。

### 利益冲突声明

作者声明不存在已知的可能影响本文报告的竞争性经济利益或个人关系。

### 致谢

本工作由中国航空科学基金会资助（项目编号：2024Z071075001）。作者感谢匿名审稿人的宝贵意见。

### 作者简介

马佳琪于2020年获得西南科技大学通信工程学士学位。目前在北京工业大学控制科学与工程系攻读博士学位。她的研究兴趣包括计算机视觉和深度学习。

马佳琪 | 杨金福 | 付富基