《ADVANCED ENGINEERING INFORMATICS》:SyDiM: Synergistic Diffusion-adversarial Method for socially-compliant multimodal pedestrian trajectory forecasting
编辑推荐:
在拥挤动态场景中预测行人轨迹,对于安全关键型应用中的风险感知决策至关重要。现有方法仍面临挑战,因为轨迹预测必须同时建模行人之间的交互,以避免社会/物理上不合理的未来轨迹,并捕捉人类运动固有的多模态性与不确定性。为解决这些挑战,研究人员提出合成扩散-对抗方法(S
在拥挤动态场景中预测行人轨迹,对于安全关键型应用中的风险感知决策至关重要。现有方法仍面临挑战,因为轨迹预测必须同时建模行人之间的交互,以避免社会/物理上不合理的未来轨迹,并捕捉人类运动固有的多模态性与不确定性。为解决这些挑战,研究人员提出合成扩散-对抗方法(SyDiM),这是一种开创性的生成式框架,将基于扩散的概率建模与对抗训练策略无缝集成于行人轨迹预测任务中。该方法利用扩散机制保持多模态性,并结合对抗式社会约束以确保物理与社会层面的有效交互。具体而言,研究人员在生成器中设计了上下文精化模块(CRM),该模块执行上下文对齐以捕捉时空动态与社会上下文,在编码行人运动模式的同时精化拥挤场景下的群体级交互。为在不牺牲扩散带来的多模态性的前提下强制实现社会可行性,研究人员设计了实体感知时空轨迹判别器(ESTD)。通过整合行人特定嵌入,该判别器被设计为一种可行性评估器,利用时空注意力识别社会层面不合理的交互,随后通过对扩散生成器的轨迹候选进行重加权来引导其优化,在有效抑制非现实轨迹的同时保留多样性。据研究人员所知,ESTD是首个专为基于扩散的多候选轨迹预测设计的、以交互为条件的可行性评估器。它为每条预测轨迹生成一个可行性分数,并在训练过程中用于重加权采样。在NBA SportVU、ETH-UCY和斯坦福无人机数据集上的大量实验表明,SyDiM在所有基准测试中均取得了一致的性能提升。代码将发布于 https://github.com/xdclby/SyDiM。
研究背景与意义
在车站大厅、城市街道及人机共享工作空间等高密度场景中,不确定条件下的行人轨迹预测对安全管理、疏散规划及智能决策具有重要意义。该任务广泛应用于智能交通、自动驾驶及社会感知机器人等领域。传统方法从Social LSTM到Social-STGCNN,再到基于Transformer的时空建模,尽管性能逐步提升,但在拥挤动态环境中仍存在三大局限:难以精细建模多智能体时空交互、缺乏社会与物理可行性导致碰撞风险、多模态覆盖不足限制下游决策。多模态预测尤为困难,因为行人在相同情境下可能因社会线索或个人偏好选择不同路径。生成式方法如Social-GAN虽尝试解决多模态问题,却常受限于训练不稳定与模式崩溃。扩散模型因其训练稳定、分布覆盖能力强而被引入,但现有扩散方法缺乏显式社会物理约束,易生成不合理轨迹。为此,研究人员提出SyDiM,首次将扩散生成器与时空感知对抗判别器结合,兼顾多样性与社会可行性,发表于《ADVANCED ENGINEERING INFORMATICS》。
关键技术方法
研究采用三个基准数据集验证方法:ETH-UCY(含ETH、HOTEL、UNIV、ZARA1、ZARA2五个子集)、Stanford Drone Dataset和NBA SportVU Dataset。核心技术包括:①合成扩散-对抗框架(SyDiM),将扩散模型的迭代去噪过程与对抗训练的判别器结合;②上下文精化模块(CRM),利用时间条件交叉注意力分别提取时空运动特征与社会上下文特征并融合;③实体感知时空轨迹判别器(ESTD),基于Transformer结构,引入行人特定身份锚点,通过空间交互注意力与时间运动注意力计算每条轨迹的可行性分数,用于训练中的样本重加权。
研究结果
Problem formulation:研究将问题定义为给定N位行人过去Tpast步的轨迹,预测未来Tpred步的位置序列,其中每位行人的运动受历史轨迹、周围行人交互及环境上下文共同影响。
Datasets:在三类数据集中测试,涵盖普通行人场景与体育竞技场景,确保模型在不同交互复杂度下的泛化能力。
Conclusion:SyDiM显著缓解了GAN的模式崩溃问题,通过扩散过程保障多模态覆盖,同时判别器在社会可行性约束下引导生成结果。实验证明其在预测精度与多样性上均优于现有方法,尤其在频繁交互与拥挤场景中表现突出。
讨论与研究结论翻译
为克服行人轨迹预测在多模态覆盖、细粒度社会交互及社会/物理可行性方面的局限,同时解决GAN的模式崩溃问题,研究人员提出SyDiM。该方法首次将基于扩散的生成器与基于Transformer的判别器整合进对抗协作循环,形成合成训练框架。通过CRM精确捕捉个体运动模式与群体交互,并利用ESTD对扩散生成的多候选轨迹进行可行性评估与重加权,SyDiM在确保社会与物理合理性的同时保留了预测多样性。实验结果表明,该方法在多个基准数据集上实现了稳定的性能提升,为安全关键型应用提供了更可靠的轨迹预测解决方案。