OmniTraj：基于异构数据的预训练用于自适应与零样本人类轨迹预测

《TRANSPORTATION RESEARCH PART C-EMERGING TECHNOLOGIES》：OmniTraj: Pre-training on heterogeneous data for adaptive and zero-shot human trajectory prediction

　　

针对轨迹预测中的场景-时间分布偏移进行了形式化描述；提出了一种时间感知的预训练框架（temporal-aware pre-training framework），用于零样本迁移（zero-shot transfer）；该框架能够在异构帧率（frame rate）和时间视界（time horizon）之间实现自适应；在多种数据集上取得了强大的零样本和少样本（few-shot）迁移性能；并提高了安全关键交通应用（safety-critical transportation applications）的鲁棒性。

**OmniTraj：面向真实世界分布偏移的自适应与零样本轨迹预测**

轨迹预测是自动驾驶、机器人和人群监控等系统中的核心组件，旨在通过历史运动信息预测行人等弱势道路使用者的未来轨迹。然而，现有模型大多在固定的帧率、观测长度和预测视界下训练，难以泛化到时间配置不同的新数据集，通常需要收集标注数据并进行微调才能部署。这种依赖阻碍了实际应用，尤其是在标注数据稀缺的场景下。零样本迁移（zero-shot transfer）作为一种无训练适应策略，具有巨大潜力，但如何实现跨场景和时间配置的零样本泛化仍是悬而未决的问题。为此，研究人员将分布偏移形式化为三类：时间迁移（temporal transfer，场景不变但帧率或视界变化）、场景迁移（scene transfer，时间配置匹配但环境变化）以及联合场景-时间迁移（joint scene-temporal transfer，两者均变化）。其中联合迁移最贴近现实部署，却被现有文献所忽视。通过系统实验，研究人员发现时间失配是现有预训练模型失败的主要根源，并证明显式时间条件化是有效解决方案。基于此，提出了OmniTraj框架，并构建了大规模统一数据框架UniHuMotion++，在859小时、12个数据集上预训练，实现了出色的零样本和少样本性能。该研究发表于《TRANSPORTATION RESEARCH PART C-EMERGING TECHNOLOGIES》。

在技术方法上，研究人员设计了帧率无关的数据容器，统一了不同帧率和预测视界的轨迹数据，并辅以帧率（Frames Per Second, FPS）嵌入（将采样率标量编码为向量）和跨模态编码器（融合轨迹、3D/2D姿态和边界框等多种视觉线索）。模型采用解耦交互模块，分别通过历史交互编码器和预测交互解码器建模社会互动，并使用多线索掩码预训练（包括模态掩码、空间掩码和时间掩码）来增强表征。训练使用Adam优化器和L2损失，在6张NVIDIA H100 GPU上进行。

**时间迁移**：在NBA数据集上，设计两种训练配置（5 FPS下10帧观测预测20帧，2.5 FPS下4帧观测预测8帧），直接评估模型在1 FPS下3帧观测预测3帧的零样本性能。OmniTraj取得了MinADE₂₀/MinFDE₂₀为1.18/1.22，比