多目标跟踪中的分割引导关联细化

《Neurocomputing》：Segmentation-guided association refinement in multiple object tracking

　　

• •
  基于检测的跟踪（TbD）在遮挡场景下会失效；分割线索能够增强恢复效果
• •
  SGAR-MOT 通过基于掩码的推理为 TbD 方法增强能力，以重新恢复丢失的轨迹
• •
  ORP 利用 SAM 2 和一个学习型身份模块来恢复未匹配的轨迹
• •
  MIR 从多帧分割证据中验证身份一致性
• •
  SGAR-MOT 相比基线减少了误差，并且在平均意义上取得了当前最优的 SOTA 结果

引言

多目标跟踪（MOT）任务涉及检测视频序列每帧中所有存在的物体，并在时间上维持一致的身份标识。当前主流解决方案主要依赖深度学习技术，包括卷积神经网络（CNN）[30]，以及较近期的视觉 Transformer（ViT）[9]、[32]、[39]。MOT 被应用于交通监控 [12]、视频 surveillance [29] 和多摄像头环境 [1] 等领域。

与其他整体式替代方案相比，基于检测的跟踪（TbD）仍然是解决 MOT 问题最广泛采用且最有效的方法范式。在该方法中，使用一个目标检测器识别每帧视频中的实例，然后通过一个时间关联机制将跨帧的检测链接起来以维持物体身份。尽管该方法行之有效，但 TbD 方法中的检测组件容易失效，尤其是在涉及物体遮挡的场景中。此类检测器失效会导致轨迹碎片化，最终降低性能，这在标准 MOT 评估指标中有所体现。

TbD 方法通常依赖边界框，而边界框也可以被用来重新识别丢失的物体 [31]。然而，我们认为边界框在应对此类检测失效时并非最优选择，如图 1 所示，其中物体 1 和物体 2 处于重叠状态。边界框往往包含其他物体部分的区域——如图 1(a) 所示，物体 1 的边界框包含物体 2 的像素，反之亦然——这使恢复过程更加困难。作为一种更精确的替代方案，我们提出使用分割掩码，通过提供像素级定位来隔离每个物体的视觉特征（图 1b）。此外，基于掩码的表示提供了更丰富的信息，从中可以提取更具判别力的特征用于物体恢复。除了空间精度之外，分割掩码还提供了稳定且具有特征性的形状线索，即使在遮挡场景下也依然具有信息量。这使它们在检测暂时失效时能够用于推理物体身份。与边界框不同——其重叠往往导致模糊或有噪声的外观线索——掩码级表示保留了独特的信息，可以支持对物体是否仍存在于场景中更稳健的验证。尽管分割掩码在内部用于恢复，但我们仍然使用边界框进行跟踪。

为此，我们提出了 SGAR-MOT——多目标跟踪中的分割引导关联精炼（Segmentation-Guided Association Refinement in Multiple Object Tracking），一种新的 MOT 框架，它扩展了传统的 TbD 流水线，以恢复因检测器失效而本会丢失的物体轨迹。SGAR-MOT 的一个关键组件是物体恢复协议（Object Recovery Protocol, ORP），它通过一种学习到的推理机制增强标准的 TbD 关联阶段。与依赖启发式持久性规则不同，ORP 通过分割线索评估关联步骤后每个未匹配轨迹的时间一致性，以决定轨迹应被恢复还是视为丢失。本工作的主要贡献总结如下。

• •
  物体恢复协议（ORP）。我们引入了一个模块，用于管理在标准 TbD 流水线中因检测器失效而通常被视为丢失的轨迹。ORP 依赖分割掩码，并结合了一种视频分割方法和一个新颖的基于视觉 Transformer 的网络——掩码实例解析器（MIR），用于判定轨迹是被恢复还是丢失。重要的是，MIR 通过学习到的时空表示来执行身份验证，在多个掩码嵌入上进行联合推理，而非依赖几何阈值或手工设计的相似性度量。
• •
  SGAR-MOT 跟踪器。我们提出了 SGAR-MOT，一种新的跟踪框架，将 ORP 模块集成到传统的基于边界框的 TbD 架构中。这种集成使得因检测器失效而每帧本会丢失的轨迹得以恢复，通过利用分割掩码提升了在遮挡场景下的鲁棒性。
• •
  实证验证。我们证明 SGAR-MOT 在多个数据集上超越了基线 TbD 跟踪器，包括广泛使用的 MOT 基准如 MOT20 [7]，以及更具挑战性的场景如 SportsMOT [6] 和 VisDrone [40]。值得注意的是，SGAR-MOT 在所有评估方法中取得了最佳平均排名，证实了分割掩码在改善困难条件下跟踪性能方面的有效性。

本文其余部分组织如下。第 2 节回顾了 MOT 和视频分割的相关工作及近期进展。第 3 节详细介绍了 SGAR-MOT 框架。第 4 节描述了实验设置并报告了定量结果。最后，第 5 节总结全文并概述了未来研究方向。

章节摘要

多目标跟踪

基于检测的跟踪（TbD）仍然是解决 MOT 问题最常见且最有效的策略，尽管也存在其他范式。例如，端到端方法如 MOTR [36] 联合执行检测和关联步骤。MOTR 扩展了基于 Transformer 的检测器 DETR [5]，通过引入额外的查询机制来实现跟踪。其后续版本 MOTRv2 [38] 通过整合预训练目标检测器来引导能力，从而提升了性能。

系统描述

SGAR-MOT 的架构如图 2 所示。它建立在传统的基于检测的跟踪（TbD）方法之上。除此之外，SGAR-MOT 是一个混合系统，将框级检测与掩码级身份推理相结合。

给定时间步 $t$ 的一帧，检测器识别场景中所有存在的物体，产生一组检测，记为 $D_t$。然后通过关联步骤——数据关联（图 2）——将检测与前一帧的轨迹——$T_{t-1}$——进行匹配。为

实现细节

SGAR-MOT 由一个基于检测的跟踪（TbD）标准流水线和后续连接的 ORP 模块组成。对于 TbD 流水线，我们采用 ByteTrack [37]：采用其关联策略和配置参数，以及检测模型 YOLOX [16]。在此基础上，我们集成了 ORP 模块，以实现对已连续保持至少 $m$ 帧的物体轨迹的恢复。对于视频分割，我们使用 SAM 2 [25]。

MIR 遵循视觉

结论与未来工作

在本工作中，我们提出了 SGAR-MOT，一种新颖的 MOT 系统，建立在两阶段 TbD 框架之上。我们的方法引入了一个新模块 ORP，专门设计用于通过恢复因检测器失效而本会丢失的轨迹来增强跟踪性能。ORP 模块由两个主要组件构成：一个为 ORP 处理的每个未匹配轨迹生成掩码的视频分割网络，以及一个名为 MIR 的基于 Transformer 的架构，它接收分割掩码

利益冲突声明

作者声明他们不存在任何已知的竞争性经济利益或个人关系，这些利益或关系可能会影响本论文所报告的工作。

致谢

本工作获得了西班牙国家研究局（Agencia Estatal de Investigación, Spain）的财政支持（项目编号 PID2023-149549NB-I00 和 PID2024-155219OB-C32）、PERTE Chip 授予的"Televés 微电子设计讲席"（项目编号 TSI-069100-2023-0010）、加利西亚教育、大学与职业培训部，以及通过资助项目"加利西亚研究中心认证 2024–2027 ED431G-2023/04"和"参考竞争性研究小组认证"的"欧洲发展基金（ERDF）——欧洲发展之道"

Manuel Benda?a 是西班牙圣地亚哥-德孔波斯特拉大学 CiTIUS 的博士研究生。他于 2022 年获得计算机科学学士学位，2024 年获得计算机视觉硕士学位。其研究方向为深度学习在计算机视觉中的应用。

Manuel Benda?a|Victor M. Brea|Manuel Mucientes