关注时间特征的变化:提高多目标跟踪中重新识别任务的适应性

《Neurocomputing》:Focusing on temporal feature variations: Improving the adaptability of Re-identification in multi-object tracking

【字体: 大 中 小 】 时间:2026年04月12日 来源:Neurocomputing 6.5

编辑推荐:

  多目标跟踪中动态特征建模面临噪声敏感和长期一致性冲突,本文提出TFLF框架,通过TCDS构建时序一致训练数据,TMA聚合历史特征抑制噪声,SFP预测延迟轨迹缓解漂移,在DanceTrack和SportsMOT上显著提升HOTA和IDF1性能。

  
Mengyu He|Shoudong Han|Heng Li|Chaoyue Li
中国武汉华中科技大学人工智能与自动化学院,多光谱信息智能处理技术国家重点实验室,430074

摘要

在多目标跟踪(MOT)中,区分性表示对于保持目标身份的一致性至关重要。大多数现有方法采用全局对齐策略来学习区分性表示。这些方法严重依赖于目标的静态属性,如服装和体型,而像姿态和视角这样的动态线索往往被忽视。在目标外观相似且运动剧烈的复杂场景中,这些方法难以学习出足够具有区分性的特征。为了解决这个问题,我们提出了一个时间驱动的特征学习框架(TFLF)来建模动态信息。首先,引入了时间一致数据策略(TCDS)来保持数据的时间分布。TCDS通过协调采样和增强来实现,确保训练样本的时间连贯性。此外,为了降低动态特征对噪声的敏感性,设计了一个时间记忆聚合器(TMA)。通过聚合历史特征,TMA生成了能够抑制短期遮挡和背景变化噪声的鲁棒轨迹表示。最后,为了解决动态建模与长期特征一致性之间的冲突,开发了一个步长特征预测器(SFP)。基于过去特征的时间演变,SFP预测当前帧的延迟轨迹表示。这些预测特征在优化过程中与外观特征对齐,有助于限制特征漂移并提高长时间内的时间一致性。实验表明,我们的方法在DanceTrack和SportsMOT上取得了最先进的性能。特别是在DanceTrack上,我们的方法在HOTA上的性能比基线Deep OC-SORT提高了5.1%,在IDF1上提高了5.1%。结果证实了我们的框架在复杂场景下提高跟踪鲁棒性的有效性。

引言

多目标跟踪(MOT)的任务是在视频流中连续定位多个目标(例如行人或车辆)并保持它们的身份关联。它是智能监控和自动驾驶等应用中的关键技术。最近的MOT方法通常遵循检测-跟踪范式[1]、[2]、[3],其中跟踪分为两个独立阶段:检测和关联。在每一帧中,首先检测目标,然后根据外观特征和位置信息将它们与现有轨迹关联起来。作为目标的固有属性,高质量的外观特征被认为是数据关联的核心区分线索。
最近在MOT[2]、[3]、[4]、[5]、[6]中的进展广泛采用了全局对齐方法来训练具有强区分能力的表示嵌入。在整个时间窗口内强制特征一致性。然而,这种策略往往抑制了动态信息(如逐渐的姿态转换和视角变化)的学习,导致模型更加依赖静态属性,如服装和体型。在具有明显外观差异和缓慢运动的简单场景中(例如MOT17 [7]),这种策略有助于提取稳定的静态特征。相比之下,在以高外观相似性和快速运动为特征的复杂场景中(例如DanceTrack [8]和SportsMOT [9]),模型难以学习出高度区分性的外观特征。
为了系统地揭示现有方法在复杂场景中的局限性,使用DiffMOT [4]提供的SBS_S50 [10]模型从MOT17、SportsMOT和DanceTrack数据集中提取了外观特征,并在图1中展示了特征相似性随时间跨度的变化趋势。
如图1所示,与MOT17相比,DanceTrack和SportsMOT中的类内特征相似性衰减速度明显更快。这表明,由于剧烈运动导致的外观变化会严重损害静态特征的长期一致性。更重要的是,在复杂场景中,类间相似性仍然保持在相对较高的水平(约0.5)。这导致类内和类间相似性分布之间存在大量重叠。这些结果表明,在目标之间的视觉相似性高的条件下,静态特征无法提供足够的区分能力。
统计结果清楚地揭示了现有MOT方法在复杂场景中的性能瓶颈。具体来说,静态特征不足以有效区分不同的目标身份。进一步观察发现,复杂场景中的运动员和舞者表现出丰富的姿态变化。这些动态线索具有时间一致性和个体独特性,使它们具有高度区分性。因此,有效利用动态信息对于提高复杂场景中的特征区分性至关重要。
鉴于动态特征的时间一致性,一种直观的方法是采用局部对齐策略进行建模。这种策略的核心思想是在相邻帧之间进行区分性学习,允许帧间信息逐渐传播,并捕获动态外观变化的时间模式。然而,当简单地将局部对齐应用于动态特征学习时,会出现两个主要问题:(1)噪声敏感性:动态特征只能通过局部对齐策略进行优化,但遮挡和瞬态噪声更可能在局部时间窗口内持续存在。例如,在连续帧遮挡的情况下,可能会错误地学习到遮挡物体的特征。这显著降低了动态特征的区分能力。(2)长期一致性与时间建模之间的冲突:通过局部对齐学习的动态特征会随时间漂移,使得难以满足MOT中帧间关联的长期一致性要求。相反,强制跨多个帧的对齐可能会破坏动态特征的时间演变模式,阻碍有效的时间建模。
为了有效建模动态特征,确保训练数据的时间一致性至关重要。现有的重新识别(Re-ID)训练范式通常采用全局随机采样策略。这种策略破坏了数据的时间顺序,打破了原始的时间分布模式。此外,常用的数据增强方法,如单帧随机增强,进一步中断了目标外观的连续演变。这些采样和增强策略阻碍了动态特征的学习。为了解决这个问题,提出了时间一致数据策略(TCDS)。通过共同设计数据采样和增强机制,TCDS在数据分布层面保持了时间一致性,为有效的动态特征建模奠定了基础。
为了解决动态建模中的两个关键挑战(1)对噪声的敏感性和(2)长期一致性与时间建模之间的冲突,进一步提出了时间一致学习(TCL)机制。TCL包括两个核心组件:时间记忆聚合器(TMA)和步长特征预测器(SFP),分别对应于这两个问题的解决方案。
对于问题(1),设计了基于门控循环单元[11]的TMA模块。TMA通过动态整合历史轨迹信息与当前帧的特征来学习动态特征的时间演变模式。这种方法有效抑制了由短期遮挡和背景干扰引起的噪声。
对于问题(2),除了提供噪声过滤能力外,TMA还建模了历史特征的时间演变模式。基于此,引入了SFP。SFP利用TMA编码的时间信息来预测当前帧的延迟轨迹表示。在后续优化过程中,预测特征与当前帧的外观特征对齐。这种对齐操作有效地限制了动态特征的漂移。SFP不仅增强了特征的时间动态性,还提高了轨迹表示的长期一致性。这种方法有效地缓解了长期一致性与时间建模之间的冲突。
本工作的主要贡献可以总结如下。
  • •
    提出了一种时间一致数据策略(TCDS)。通过联合优化数据采样和数据增强,TCDS保持了数据演变的时间连续性,为动态特征学习提供了坚实的数据基础。
  • •
    开发了一个时间记忆聚合器(TMA)来构建鲁棒的轨迹表示。通过聚合历史特征,TMA抑制了噪声干扰,并降低了动态特征学习对噪声的敏感性。
  • •
    引入了一个步长特征预测器(SFP)来预测当前帧的延迟轨迹表示。在后续优化过程中,预测特征与当前帧的外观特征对齐。这种预测-然后对齐的操作缓解了动态特征学习与长期特征一致性优化之间的冲突。
  • •
    在主要的高动态公共数据集上,我们的方法优于最先进的方法,在DanceTrack和Sports-MOT上分别取得了66.4%和76.7%的HOTA分数。
  • 章节片段

    检测-跟踪

    随着检测技术的进步,许多研究[1]、[2]、[12]、[13]、[14]采用了检测-跟踪范式,将MOT分为两个阶段:检测和关联。采用这种方法的跟踪器首先在每个视频帧中检测目标,然后使用身份信息(如外观特征和位置)将它们关联起来。
    传统方法通常依赖于线性运动的假设,使用卡尔曼滤波[15]来预测未来的位置

    概述

    在这项工作中,我们提出了一个时间驱动的特征学习框架(TFLF),它由两个主要组件组成:时间一致数据策略(TCDS)和时间一致学习(TCL)。我们的方法专注于动态特征建模,指导编码器捕获目标的时间变化,从而学习出更具区分性的表示。
    我们首先使用TCDS构建时间一致的训练数据:(1)使用时间一致采样(TCS)来采样数据。

    数据集

    我们在DanceTrack [8]和SportsMOT [9]数据集上进行了主要实验,这些数据集中的物体表现出复杂的运动模式和剧烈的外观变化。DanceTrack由舞蹈视频组成,包含40个训练序列、25个验证序列和35个测试序列。SportsMOT引入了来自三种不同运动项目的视频序列:足球、篮球和排球。该数据集包括45个训练序列、45个验证序列和150个测试序列。

    结论

    在这项工作中,我们认为外观特征的区分性对于MOT至关重要。现有方法通常采用全局对齐策略来学习区分性特征,但在涉及外观相似性和物体快速运动的复杂场景中,这些方法难以产生高度区分性的表示。为了解决这种条件下外观区分性弱的问题,我们提出了一个时间驱动的特征学习框架(TFLF)。TFLF构建了一个

    CRediT作者贡献声明

    Mengyu He:撰写——原始草稿、软件、方法论。Shoudong Han:撰写——审阅与编辑、方法论、概念化。Heng Li:撰写——审阅与编辑、可视化、验证。Chaoyue Li:撰写——审阅与编辑、调查、形式分析。

    利益冲突声明

    作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

    致谢

    本工作得到了中国国家自然科学基金(项目编号62476104)的支持。
    Mengyu He于2023年毕业于中国青岛的海洋大学(OUC),获得自动化学士学位。他目前在中科技大学人工智能与自动化学院攻读硕士学位。他的主要研究方向是多目标跟踪、遮挡感知算法和物体检测。
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号