MGDTrack：运动引导扩散模型用于多目标跟踪

《Computer Vision and Image Understanding》：MGDTrack: Motion-Guided Diffusion model for multi-object tracking

　　

• •
  轨迹运动在关联之前引导基于扩散的假设生成。
• •
  运动引导的采样生成分离度更好、运动一致的假设。
• •
  帧间运动正则化在遮挡下改善时间稳定性。
• •
  运动感知关联降低近似平局模糊性并提高身份稳定性。
• •
  在DanceTrack、MOT17和MOT20基准上取得一致的性能提升。

引言

多目标跟踪（MOT）是计算机视觉中的一项重要任务，旨在检测视频序列中的多个目标，并在帧间以一致的身份进行关联。它已广泛应用于自动驾驶、视频监控、体育分析及其他现实世界应用。

最近，基于扩散的跟踪（Luo et al., 2024, Xie et al., 2024, Zuo et al., 2024, Zhou et al., 2024, Wang et al., 2025）已成为一种新范式。这些方法遵循DiffusionDet（Chen et al., 2023）的基于去噪的集合预测范式，通过用噪声破坏真实边界框并训练模型恢复干净框，学习一种从噪声到框的细化过程。在推理期间，通过迭代反向细化生成候选假设，然后在帧间关联以形成轨迹。

现有的基于扩散的MOT方法在遮挡和拥挤交互下，可以在同一区域周围生成多个局部合理的假设。然而，当目标严重重叠时，外观线索和几何重叠的判别力下降，使得竞争性假设难以分配给相应的轨迹。图1中的定量比较进一步表明，基线的诊断身份错误率随重叠严重程度增加，在中度和重度重叠下分别达到1.77%和3.57%。通过引入轨迹感知运动引导，MGDTrack将相应的错误率降低至0.62%和1.90%。此外，在所有低裕度关联案例（${\Delta }_{\mathrm{assoc}}<0.40$）中，诊断身份错误率从30.87%（$46/149$）降低至10.43%（$17/163$）。这些结果表明，运动引导的假设细化缓解了重叠引起的关联模糊性并改善了身份保持，突显了在假设生成过程中轨迹感知线索的价值。

为了减少重叠情况下扩散生成假设之间的模糊性，我们在数据关联之前引入轨迹运动，并直接利用它来条件化假设生成过程。具体而言，受Hybrid-SORT（Yang et al., 2024）鲁棒的角点运动建模启发，我们从最近的轨迹状态及其预测边界框构建了一个八维的轨迹条件运动先验（TMP）。我们强调，角点表示本身并非本工作的主要创新；相反，我们的贡献在于将这种轨迹级运动描述符重新表述为基于扩散的假设细化的显式条件。Hybrid-SORT使用角点速度方向作为辅助线索，在获得候选检测后修改成对关联成本。相比之下，我们将TMP注入去噪过程，使得轨迹动力学能够在匹配之前影响候选假设的生成和细化。

得到的TMP被组织为提案对齐的条件张量，并通过轻量级运动条件层（MCL）投影到扩散特征空间。基于该表示，运动引导扩散采样（MDS）将运动条件融入反向扩散过程，使轨迹动力学能够在整个采样过程中引导去噪特征演化和提案状态更新。因此，运动信息不仅影响关联期间后续候选的选择，还影响假设本身的特征演化和空间细化。这种生成侧的运动利用促使反向过程在密集交互下产生更运动一致和分离度更好的候选。

为进一步增强时间一致性，我们引入了帧间运动一致性（IMC）监督，它在训练期间显式正则化由相邻帧匹配预测对引起的归一化角点运动。与传统的框级定位损失不同，IMC约束由成对扩散预测表示的帧间转换，而不在推理期间引入额外的计算开销。我们进一步引入运动感知关联策略（MAS），通过模糊性感知候选过滤和运动引导细化来解决假设生成后的残余近似平局模糊性。

这些组件共同建立了一个从假设生成到数据关联的完整消歧流程。基于此设计，我们开发了运动引导扩散模型用于多目标跟踪（MGDTrack），这是一种用于在线MOT的运动引导条件扩散框架。MGDTrack将生成侧运动条件化、训练时帧间运动监督和关联阶段模糊性解析集成到一个统一的跟踪框架中。本工作的主要贡献总结如下：

• 1.
  我们引入了轨迹条件运动先验（TMP），将轨迹历史和预测状态编码为短期轨迹动力学的紧凑表示。轻量级运动条件层（MCL）进一步将运动先验投影到提案级扩散特征，使轨迹运动能够在数据关联之前条件化假设细化，而不仅仅是作为事后关联线索。
• 2.
  我们引入了运动引导扩散采样（MDS），通过条件调制和运动引导更新将运动先验融入反向扩散。这在假设生成过程中引入了运动感知约束，促使收敛到运动一致的模态，并减少重叠情况下的模糊性。
• 3.
  我们提出了帧间运动一致性（IMC）监督，它显式正则化由成对扩散输出引起的跨帧运动一致性。这将监督从框几何扩展到运动级一致性，增强了时间稳定性并减少了具有挑战性场景中的身份切换。
• 4.
  我们设计了运动感知关联策略（MAS），通过模糊性检测、候选缩减和运动一致细化来解决近似平局匹配情况。通过利用改进的假设可分性，它减少了不匹配，而无需依赖额外的复杂关联网络，形成了统一的扩散到关联的消歧流程。

在具有挑战性的基准测试（包括DanceTrack、MOT17和MOT20）上进行的大量实验证明了所提方法的有效性，尤其是在拥挤和高度交互的场景中。如图2所示，MGDTrack在DanceTrack上实现了比代表性基于运动的跟踪器更强的跟踪性能，显示了在基于扩散的假设生成中引入运动引导的好处。

章节片段

MOT中用于模糊性解析的运动建模

运动建模是多目标跟踪的基本组成部分。其主要作用是在相邻帧之间估计目标状态，并在遮挡、漏检和复杂交互下保持轨迹连续性。MOT中现有的运动模型可大致分为线性和非线性两种形式。在线性方法中，卡尔曼滤波及其变体已在基于检测的跟踪框架中被广泛采用，例如SORT（Bewley et al., 2016）、DeepSORT（

MGDTrack的框架

在本节中，我们提出运动引导扩散模型用于多目标跟踪（MGDTrack），这是一种在线基于扩散的多目标跟踪框架，如图3所示。给定两个连续帧$I_{t?1}$和$I_t$，MGDTrack遵循基于检测的跟踪范式，同时将轨迹动力学集成到基于扩散的提案细化中。关键思想是将运动线索与成对提案去噪相结合，使假设生成同时由视觉证据和

数据集

我们在三个广泛使用的多目标跟踪基准上评估所提出的MGDTrack：DanceTrack、MOT17和MOT20。这些数据集涵盖了非线性运动场景和标准行人跟踪场景。它们为评估不同运动模式、遮挡水平和人群密度下的基于扩散的跟踪提供了广泛的测试平台。

DanceTrack（Sun et al., 2022）是在线MOT中最具挑战性的基准之一，因为它包含大量快速、非线性的

结论

在本文中，我们提出了MGDTrack，一种用于多目标跟踪的运动引导扩散模型，它将轨迹动力学集成到假设生成和细化中。通过将运动条件化显式融入扩散过程，MGDTrack产生运动一致且分离度更好的假设，从而在遮挡和密集交互下实现更稳定的数据关联。

我们的方法引入了四个关键创新，以解决现有

CRediT作者贡献声明

Junhan Xi：写作——初稿，可视化，验证，软件，方法论，调查，正式分析，概念化。Zhi Liu：写作——审阅与编辑，监督，方法论，正式分析。Dandan Huang：写作——初稿，监督，资源，项目管理，资金获取。Xingchen Guo：写作——初稿，可视化，验证，数据管理。Huiji Wang：写作——审阅与编辑，验证，调查，数据管理。

利益冲突声明

作者声明，他们没有已知的竞争经济利益或个人关系可能影响本文报告的工作。

致谢

本工作受中央高校基本科研业务费、吉林大学资助，项目编号：93K172025K24。

Junhan Xi|Zhi Liu|Dandan Huang|Xingchen Guo|Huiji Wang