通过基于硬负样本混淆感知的去噪技术提升端到端跟踪中的局部关联度

《Engineering Applications of Artificial Intelligence》:Improving local association in end-to-end tracking via Hard Negative Confusion-aware Denoising

【字体: 大 中 小 】 时间:2026年06月14日 来源:Engineering Applications of Artificial Intelligence 8

编辑推荐:

  Danyang Cao|Haoyu Zhang华北理工大学人工智能与计算机科学学院,中国北京金源庄路5号,邮编100144摘要端到端的基于查询的Transformer框架显著提升了智能视频分析中的多目标跟踪性能。然而,在存在频繁遮挡且目标相似度高的拥挤场景中,这些方法往往由于局部

  
Danyang Cao|Haoyu Zhang
华北理工大学人工智能与计算机科学学院,中国北京金源庄路5号,邮编100144

摘要

端到端的基于查询的Transformer框架显著提升了智能视频分析中的多目标跟踪性能。然而,在存在频繁遮挡且目标相似度高的拥挤场景中,这些方法往往由于局部身份混淆而缺乏有效的监督,从而导致关联不稳定和身份频繁切换。现有的训练范式主要聚焦于定位、分类以及去噪重建,但在处理需要区分目标与附近干扰物的场景时,提供的训练案例十分有限。为解决这一问题,我们提出了硬负样本混淆感知去噪(HNCD)机制,该机制通过以目标为中心构建硬负样本,扩展了传统去噪方法。借助最近邻采样和多级噪声注入,HNCD在训练过程中从空间上接近的目标中生成具有挑战性的负样本去噪任务,同时保持推理流程不变。作为主要实现方式,我们将该策略应用于一种结合了提议驱动检测与长期时间记忆的提议锚定跟踪器。在复杂的舞蹈和体育跟踪基准测试上的实验表明,该方法提升了拥挤场景下的跟踪精度及与身份相关的统计指标。进一步的消融实验和分析探讨了K-NN硬负样本替换、多级噪声注入、提议退化鲁棒性、跟踪间隙分割、近距离交互召回能力以及空间K-NN难度等因素的作用。代码可在https://github.com/zhyzetton/HNCD-MOTR.git获取。

引言

多目标跟踪(MOT)(Luo等人,2014;Cui等人,2023;Milan等人,2016)是计算机视觉领域的一项基础任务,其目标是检测并在不同视频帧中持续关联感兴趣的对象。它在自动驾驶、视频监控、智能零售以及体育分析等诸多实际应用中发挥着关键作用。除了基于基准测试的评估之外,一些面向应用的研究还探索了在实际工程环境中的协同多目标跟踪以及道路多车辆跟踪技术(Shen等人,2023;S. Wang等人,2025;Du等人,2024),而《人工智能工程应用》相关研究则强调了在复杂感知条件下的稳健智能感知能力(Xue等人,2024)。尽管传统的基于检测的跟踪方法已经取得了显著进展(Bewley等人,2016),但在面对遮挡以及目标频繁出现/消失等复杂情况时,它们的鲁棒性往往较差(Sun等人,2021;Cui等人,2023),这主要是因为检测模块与关联模块在特征需求上存在不一致。
近年来,基于查询的端到端跟踪方法逐渐成为主流(Zeng等人,2021;Y. Zhang等人,2022;Gao和Wang,2023;Yu等人,2023),它们将检测与关联功能整合到了一个更为简洁的框架中。虽然在架构设计方面已经取得了快速进展,从长期记忆模型(Gao和Wang,2023)到提议驱动的方法(Y. Zhang等人,2022),但一个关键的瓶颈问题仍未得到有效解决:即在拥挤场景中,由于局部身份混淆,训练时的监督力度不足。目前的训练范式通常将跟踪视为一种集合预测问题,依靠二分匹配以及标准的去噪任务(Li等人,2022;H. Zhang等人,2022)来进行监督。这些目标主要侧重于空间定位和信号重建,但在目标与附近干扰物频繁交互且存在遮挡的情况下,它们难以为区分目标提供足够的监督。在体育或舞蹈等场景中,由于目标外观相似且移动距离较近,这种缺陷常常导致身份关联不稳定以及身份频繁切换。
为弥补这一缺陷,我们认为,稳健的跟踪不仅取决于架构设计,还取决于训练过程中去噪监督的构建方式。我们提出了硬负样本混淆感知去噪(HNCD)机制,这是一种针对基于查询的多目标跟踪任务的硬负样本感知去噪方法。与那些主要依赖真实值周围随机扰动的传统去噪方法(Li等人,2022;H. Zhang等人,2022)不同,HNCD通过K-最近邻采样和多级噪声注入,从空间上接近的邻居目标中生成多样化的硬负样本查询。这样的设计使得模型在训练过程中能够面对更多复杂的局部混淆场景,从而促使其在附近干扰物存在时仍能保持稳定的关联行为。由于HNCD仅在训练阶段应用,因此可以无需改变推理流程即可集成到现有的基于查询的跟踪器中。
作为主要实现方式,我们将HNCD应用于一种结合了MOTRv2(Y. Zhang等人,2022)的提议驱动检测机制与MeMOTR(Gao和Wang,2023)的时间记忆功能的提议锚定跟踪器上。这种混合设计既具备了高召回率的目标检测能力,又拥有更稳定的时间建模功能,同时HNCD还解决了训练过程中混淆感知去噪监督这一相关问题。更重要的是,HNCD是一种仅在训练阶段使用的去噪机制,可以轻松集成到基于查询的跟踪器中,而不影响其推理流程。
本文的主要贡献如下:
  • •
    我们提出了硬负样本混淆感知去噪(HNCD)机制,这是一种针对拥挤场景多目标跟踪的硬负样本感知去噪方法,它通过在目标周围构建硬负样本来扩展传统去噪功能。
  • •
    作为主要实现方式,我们将HNCD集成到一种结合了提议驱动检测与长期时间记忆的提议锚定跟踪器中,展示了如何将该机制融入实际的端到端跟踪框架中。
  • •
    我们在包括DanceTrack(Sun等人,2021)和SportsMOT(Cui等人,2023)在内的多个具有挑战性的基准测试上进行了大量实验。实验结果表明,HNCD提升了这些拥挤场景多目标跟踪基准测试中的HOTA和IDF1指标,进一步的分析还揭示了该机制在近距离交互、提议退化以及跟踪间隙情况下的表现特点。

章节节选

基于检测的跟踪

基于检测的跟踪方法是多目标跟踪领域长期以来一直占主导地位的技术路线。这种两阶段处理流程首先使用强大的目标检测器在每一帧中定位目标,随后通过数据关联阶段将这些检测结果连接成完整的轨迹。诸如基于视差的车辆检测(Li等人,2023)以及改进型的可变形卷积目标检测(Cao等人,2020)等面向应用的检测技术不断发展,进一步提升了该方法的性能

概述

我们介绍了一种针对拥挤场景多目标跟踪任务的基于查询的跟踪框架,在这类场景中,目标身份混淆是一个亟待解决的现实问题。虽然目前的基于查询的跟踪器在结构设计方面已有所进步,但它们在训练过程中通常仍然依赖标准的匹配和去噪目标函数。为了解决局部交互情况下监督不足的问题,我们提出了硬负样本混淆感知去噪(HNCD)机制,这是一种在训练阶段使用的去噪方法。与仅使用标准噪声的数据处理方式不同

实验设置

数据集。为验证我们所提出方法的有效性,我们在两个大规模且具有较高挑战性的多目标跟踪基准测试上进行了大量实验:DanceTrack(Sun等人,2021)和SportsMOT(Cui等人,2023)。选择这两个数据集是因为它们恰好体现了“目标众多且难以区分”的典型场景,而现有的标准跟踪器往往无法在这些场景中正常工作。
DanceTrack:该基准测试专为多舞者跟踪任务设计,包含100个视频序列(其中40个用于

结论

本研究探讨了如何改进端到端基于查询的多目标跟踪算法中的局部混淆感知监督机制。我们提出了硬负样本混淆感知去噪(HNCD)机制,这是一种能够从空间上接近的目标中生成额外训练查询的硬负样本感知去噪方法。作为主要实现方式,我们将HNCD集成到了一种兼具提议驱动检测功能与时间记忆功能的提议锚定跟踪器中,同时保持了原有的推理流程不变。
在DanceTrack和SportsMOT上的实验结果表明

CRediT作者贡献说明

Danyang Cao:撰写——审稿与编辑、研究指导、资源提供、项目管理、资金申请、概念构思。Haoyu Zhang:撰写——初稿编写、结果可视化、验证工作、软件开发、方法设计、实验分析、形式化分析、数据整理。

利益冲突声明

作者声明,他们不存在任何可能影响本文研究结果的已知财务利益关系或个人关系。

致谢

本文得到了北京市自然科学基金(编号:L242153)的支持,同时也获得了华北理工大学2024年度研究生教育改革项目(编号:YJS2024JG02)以及华北理工大学玉秀创新项目(编号:2024NCUTYXCX110)的资助。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号