基于未来引导的编码技术与交互感知的条件流匹配方法，用于多模态轨迹预测

《Neurocomputing》：Future guided encoding and interaction-aware conditional flow matching for multimodal trajectory prediction

　　万文康|李德忠|曾明进|蔡青|王代汉|刘一婷|盛凯
教育部协同智能系统重点实验室，西安电子科技大学电子工程学院，中国西安710000

**摘要**
预测交通参与者的多样且符合社会规范的轨迹对于自动驾驶车辆的安全运行至关重要。准确的多模态轨迹预测直接决定了下游规划的可行解空间。然而，现有方法在轨迹覆盖范围和动态可行性之间难以取得平衡。它们主要面临两个挑战：关键运动线索经常被噪声和长历史序列中的冗余信息掩盖，且多模态解码缺乏对即将发生的交互作用的前瞻性约束。为了解决这些限制，提出了一种新的框架，该框架包括一个基于未来的流式编码器和一个具有交互意识的流匹配解码器。具体来说，引入了基于时间显著性的（SIT）代理轨迹编码方法。该模块采用以代理为中心的时间显著性范式，通过预测历史轨迹的显著性概率并应用Top-k过滤和交叉注意力池化，将冗长的历史信息提炼成紧凑的表示。此外，设计了一个基于未来的流式编码器用于场景上下文建模，该模块生成一组紧凑的未来查询，在时空约束下动态检索最相关的历史片段。最后，提出了一个具有交互意识的条件流匹配（IA-CFM）解码器来增强多模态性。该解码器根据周围代理的预测未来情况调整输出分布，确保候选轨迹与预期的交互行为保持一致。这种生成式指导在不会增加额外推理开销的情况下系统地提高了轨迹的可行性。在Argoverse 1、Argoverse 2和INTERACTION上的广泛实验证明了所提出框架的竞争力。全面的消融研究进一步验证了核心架构设计的有效性。

**引言**
运动预测是构建安全可靠自动驾驶系统的基本基石。它涉及对多个代理的历史状态、环境拓扑和交互意图进行建模，以推断未来的时空轨迹。高质量的轨迹预测系统必须在生成多样且符合社会规范的合理未来轨迹的同时提供准确的轨迹。这些未来轨迹直接定义了下游规划和控制模块的安全范围。然而，城市交通场景的复杂性使得多模态预测极具挑战性。这一困难主要源于实体之间的高维耦合交互动态以及人类决策的固有多模态特性[1]、[2]。

为了解决交互预测挑战，早期研究集中在场景表示学习上。基于向量的范式迅速建立起来，利用图神经网络（GNNs）或Transformer进行关系建模。LaneGCN [3]通过构建细粒度的车道图来编码静态拓扑约束。后续工作，包括HDGT [4]，使用异构图来捕捉实体之间的更丰富的语义关系。HiVT [5]通过分层时空图建模提高了多代理交互预测的准确性。基于Transformer的架构因其卓越的全局上下文建模能力而受到青睐。QcNet [6]和HPNet [7]等方法采用了以查询为中心的范式，它们应用相对位置编码并构建了一次性共享的场景表示，从而提高了在线推理效率和准确性。HyperMTP [8]利用超图将代理交互抽象为连接参与者的超边并映射元素。这种方法直接模拟了地图信息如何影响交互行为。同时，SmartRefine通过轻量级的后处理改进了基于查询的模型的性能。

然而，这些先进的编码器在处理越来越长视距的流式数据时暴露出两个常见瓶颈。首先，代理自身历史中的信息冗余与关键信号的稀疏性之间存在冲突。大多数历史状态高度冗余，决定未来意图的关键动态仅在少数时间帧中显现。现有编码器不加区分地处理整个序列，导致关键信号容易被冗余信息掩盖，降低了上下文表示的质量[9]。其次，建模长距离时空交互面临计算瓶颈和关联稀释[10]。随着序列长度的增加，建模完整的时空交互会导致计算和内存开销至少呈二次方增长。这种增长对于低延迟流式系统来说是难以处理的[11]、[12]。常见的解决方法，包括固定时间窗口和粗粒度池化，不可避免地割裂了真正的远距离依赖性。此外，过长的上下文会导致注意力稀释，阻碍模型将当前决策与关键的历史交互片段联系起来。因此，设计一个能够主动过滤冗余、高效聚合长距离关键交互并保持流式计算可行性的上下文编码器对于提升预测性能至关重要。

在轨迹解码方面，基于查询的解码器已经达到了最先进的准确性。然而，目前流行的“胜者通吃”训练范式通常只向与真实情况最匹配的单一候选模式提供梯度[13]。这种稀疏的监督方式虽然迅速提高了最佳轨迹的准确性，但引入了固有的局限性。单一监督容易导致模式崩溃和预测冗余，无法保证次优候选轨迹的质量，从而影响了预测分布的多样性和可靠性[14]、[15]。另一方面，生成模型展示了巨大的潜力。扩散模型[16]、[17]可以描述复杂的轨迹分布，但其迭代采样过程阻碍了与自动驾驶实时要求的匹配。更先进的流匹配技术[18]、[19]、[20]学习了确定性的速度场，实现了单步或少数步骤的生成，从而在生成质量和推理吞吐量之间取得了更好的平衡。尽管如此，对原始训练范式的启发式改进[15]、[21]以及直接用生成模型替换仍然无法解决核心问题。在不牺牲计算效率的情况下，将生成模型的分布塑造能力注入基于查询的解码器仍然是一个挑战。

为了系统地解决这两个挑战，提出了一个预测框架，通过基于未来的上下文编码和基于未来交互的生成指导来协同提升预测质量。为了实现高效和预见性的场景理解，设计了一个双级动态过滤编码器。在代理内部的时间层，基于时间显著性的编码利用智能评分机制从冗长的历史观测中提取核心动态事件，形成高度浓缩的表示。随后，在时间层之间，基于未来的流式上下文编码器根据当前场景配置动态生成紧凑的未来查询，这些查询作为指导，从不断累积的历史流中高效检索最语义相关的交互片段。这种双级过滤设计结合了内部提炼和外部指导，最终为解码器提供了高质量、信息丰富且具有前瞻性的上下文。在解码阶段，引入了具有交互意识的条件流匹配训练策略来提高多模态轨迹的生成质量。该策略将流匹配模型重新定义为仅在训练期间激活的结构化监督模块，不会增加额外的推理开销。构建了一个基于动态多代理交互上下文的矢量场，这种具有交互意识的设计为所有候选轨迹提供了密集且动态一致的梯度指导。因此，该机制有效缓解了与传统稀疏监督策略相关的模式崩溃问题，而不会增加推理开销。主要贡献总结如下：
- 引入了针对单个代理时间历史的基于时间显著性的编码方法，通过智能评分机制自动从冗长的历史轨迹中提取关键动态事件，将稀疏信号与冗余信息分离，形成紧凑且信息丰富的表示。
- 设计了一个基于未来的流式上下文编码器，该模块根据当前场景动态动态生成未来查询，利用这些查询作为指导，从历史流中高效检索最语义相关的交互片段，为预测提供预见性上下文。
- 提出了一种具有交互意识的条件流匹配策略，它根据基于未来的多代理交互条件化矢量场，并为所有候选模式提供密集的分布级监督，从而在不需要额外推理开销的情况下共同提高了准确性、多样性和交互符合性。
- 在包括Argoverse 1、Argoverse 2和INTERACTION在内的大规模基准测试上的广泛实验证明了该框架的竞争力。全面的消融研究进一步验证了所提出模块的协同效益。

**部分摘录**
在流式预测范式下，保留长视距历史中的关键动态并在时间上关联相似场景已成为编码器的核心瓶颈[22]。HPNet [7]利用历史预测作为注意力线索来指导当前建模，这种方法表明面向未来的先验可以有效过滤无关历史并突出关键动态。T4P [23]通过掩码自动编码和自我车辆特定记忆进行测试时自适应训练。

**概述**
如图1所示，提出了一个由未来上下文和条件流匹配引导的多模态轨迹预测框架。该框架包括一个双级动态过滤编码器和一个由生成策略引导的解码器。在编码端，首先通过基于时间显著性的编码提取每个代理的关键历史动态。随后，基于未来的流式编码器根据生成的场景动态动态检索最相关的场景上下文。

**数据集**
所提出的方法在两个大型、广泛使用的公开轨迹预测基准测试集上进行了评估，遵循官方的数据集划分。测试集结果还报告在Argoverse 2运动预测挑战在线排行榜上。Argoverse 1涵盖了迈阿密和匹兹堡的多样化驾驶场景，具有2秒的历史观测视距和3秒的预测视距，提供具有丰富语义注释的高清地图。

**结论**
本文提出了一种新的运动预测框架，以解决高效长距离上下文建模和符合社会规范的多模态解码的关键挑战。具体来说，引入了一种基于未来的流式编码策略。首先，基于时间显著性的编码有效地将代理的冗长历史信息提炼成紧凑且信息丰富的表示。其次，基于未来的编码利用动态查询主动检索与决策最相关的片段。

**CRediT作者贡献声明**
万文康：撰写——审稿与编辑、撰写——原始草稿、软件、方法论、形式分析、数据整理。
李德忠：可视化。
曾明进：可视化、验证、方法论。
蔡青：撰写——审稿与编辑。
王代汉：资源。
刘一婷：撰写——审稿与编辑。
盛凯：撰写——审稿与编辑、资源获取、形式分析。

**利益冲突声明**
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

**致谢**
本工作部分得到了中国国家重点研发计划（项目编号2022YFB4300700）、秦创原高层次创新创业人才计划（项目编号QCYRCXM-2022-21）、广东省高水平创新研究机构计划（项目编号2021B0909050008）、陕西省自然科学基础研究计划（项目编号2025JC-YBMS-660）的支持。

**作者背景**
万文康于2022年在中国石河子大学获得车辆工程硕士学位，目前在中国西安电子科技大学电子工程学院攻读博士学位。他的研究兴趣包括人工智能、自动驾驶、车辆动力学与控制、大数据处理、强化学习和大型语言模型。