多目标跟踪(MOT)的任务是在视频流中连续定位多个目标(例如行人或车辆)并保持它们的身份关联。它是智能监控和自动驾驶等应用中的关键技术。最近的MOT方法通常遵循检测-跟踪范式[1]、[2]、[3],其中跟踪分为两个独立阶段:检测和关联。在每一帧中,首先检测目标,然后根据外观特征和位置信息将它们与现有轨迹关联起来。作为目标的固有属性,高质量的外观特征被认为是数据关联的核心区分线索。
最近在MOT[2]、[3]、[4]、[5]、[6]中的进展广泛采用了全局对齐方法来训练具有强区分能力的表示嵌入。在整个时间窗口内强制特征一致性。然而,这种策略往往抑制了动态信息(如逐渐的姿态转换和视角变化)的学习,导致模型更加依赖静态属性,如服装和体型。在具有明显外观差异和缓慢运动的简单场景中(例如MOT17 [7]),这种策略有助于提取稳定的静态特征。相比之下,在以高外观相似性和快速运动为特征的复杂场景中(例如DanceTrack [8]和SportsMOT [9]),模型难以学习出高度区分性的外观特征。
为了系统地揭示现有方法在复杂场景中的局限性,使用DiffMOT [4]提供的SBS_S50 [10]模型从MOT17、SportsMOT和DanceTrack数据集中提取了外观特征,并在图1中展示了特征相似性随时间跨度的变化趋势。
如图1所示,与MOT17相比,DanceTrack和SportsMOT中的类内特征相似性衰减速度明显更快。这表明,由于剧烈运动导致的外观变化会严重损害静态特征的长期一致性。更重要的是,在复杂场景中,类间相似性仍然保持在相对较高的水平(约0.5)。这导致类内和类间相似性分布之间存在大量重叠。这些结果表明,在目标之间的视觉相似性高的条件下,静态特征无法提供足够的区分能力。
统计结果清楚地揭示了现有MOT方法在复杂场景中的性能瓶颈。具体来说,静态特征不足以有效区分不同的目标身份。进一步观察发现,复杂场景中的运动员和舞者表现出丰富的姿态变化。这些动态线索具有时间一致性和个体独特性,使它们具有高度区分性。因此,有效利用动态信息对于提高复杂场景中的特征区分性至关重要。
鉴于动态特征的时间一致性,一种直观的方法是采用局部对齐策略进行建模。这种策略的核心思想是在相邻帧之间进行区分性学习,允许帧间信息逐渐传播,并捕获动态外观变化的时间模式。然而,当简单地将局部对齐应用于动态特征学习时,会出现两个主要问题:(1)噪声敏感性:动态特征只能通过局部对齐策略进行优化,但遮挡和瞬态噪声更可能在局部时间窗口内持续存在。例如,在连续帧遮挡的情况下,可能会错误地学习到遮挡物体的特征。这显著降低了动态特征的区分能力。(2)长期一致性与时间建模之间的冲突:通过局部对齐学习的动态特征会随时间漂移,使得难以满足MOT中帧间关联的长期一致性要求。相反,强制跨多个帧的对齐可能会破坏动态特征的时间演变模式,阻碍有效的时间建模。
为了有效建模动态特征,确保训练数据的时间一致性至关重要。现有的重新识别(Re-ID)训练范式通常采用全局随机采样策略。这种策略破坏了数据的时间顺序,打破了原始的时间分布模式。此外,常用的数据增强方法,如单帧随机增强,进一步中断了目标外观的连续演变。这些采样和增强策略阻碍了动态特征的学习。为了解决这个问题,提出了时间一致数据策略(TCDS)。通过共同设计数据采样和增强机制,TCDS在数据分布层面保持了时间一致性,为有效的动态特征建模奠定了基础。
为了解决动态建模中的两个关键挑战(1)对噪声的敏感性和(2)长期一致性与时间建模之间的冲突,进一步提出了时间一致学习(TCL)机制。TCL包括两个核心组件:时间记忆聚合器(TMA)和步长特征预测器(SFP),分别对应于这两个问题的解决方案。
对于问题(1),设计了基于门控循环单元[11]的TMA模块。TMA通过动态整合历史轨迹信息与当前帧的特征来学习动态特征的时间演变模式。这种方法有效抑制了由短期遮挡和背景干扰引起的噪声。
对于问题(2),除了提供噪声过滤能力外,TMA还建模了历史特征的时间演变模式。基于此,引入了SFP。SFP利用TMA编码的时间信息来预测当前帧的延迟轨迹表示。在后续优化过程中,预测特征与当前帧的外观特征对齐。这种对齐操作有效地限制了动态特征的漂移。SFP不仅增强了特征的时间动态性,还提高了轨迹表示的长期一致性。这种方法有效地缓解了长期一致性与时间建模之间的冲突。
本工作的主要贡献可以总结如下。
•提出了一种时间一致数据策略(TCDS)。通过联合优化数据采样和数据增强,TCDS保持了数据演变的时间连续性,为动态特征学习提供了坚实的数据基础。
•开发了一个时间记忆聚合器(TMA)来构建鲁棒的轨迹表示。通过聚合历史特征,TMA抑制了噪声干扰,并降低了动态特征学习对噪声的敏感性。
•引入了一个步长特征预测器(SFP)来预测当前帧的延迟轨迹表示。在后续优化过程中,预测特征与当前帧的外观特征对齐。这种预测-然后对齐的操作缓解了动态特征学习与长期特征一致性优化之间的冲突。
•在主要的高动态公共数据集上,我们的方法优于最先进的方法,在DanceTrack和Sports-MOT上分别取得了66.4%和76.7%的HOTA分数。