《Vogue》：具有虚拟长期记忆的序列自适应在线图谱跟踪技术

《Pattern Recognition》：VOGUE: Sequence-adaptive online graph tracking with virtual long-term memory

　　• 因果图跟踪器统一了局部匹配和身份恢复机制。
• 虚拟内存节点存储丢失身份的紧凑原型。
• 序列适应策略调节图结构、外观、运动和记忆证据。
• 先激活的关联机制保护了可靠的短期匹配结果。
• VOGUE在MOT17和DanceTrack数据集上相比在线图基线方法，在身份保持方面表现更好。

**引言**
多目标跟踪（MOT）旨在恢复对象 trajectory 并在视频帧间维持它们的身份 [1]，[2]。这一任务在在线环境中尤其具有挑战性，因为跟踪器必须仅基于过去和当前的观察结果做出不可逆的决策。与离线跟踪器不同（离线跟踪器可以利用后续帧来解决关联模糊的问题 [3]，[4]，[5]），在线跟踪器必须在因果约束下保持身份的连续性。我们使用“严格在线因果性”这一术语来明确这种约束：在时间点??，跟踪器只能访问直到时间点??为止的检测结果、ReID特征、跟踪状态、记忆原型和策略统计信息。在推理过程中不允许使用未来的检测结果、未来的ReID特征、完整序列的轨迹、反向修正或离线平滑处理。这种因果限制导致了短期推理和长期推理之间的结构冲突。短期关联依赖于局部时间连续性、稳定的运动以及可见对象的高置信度检测 [6]，[7]，[8]，[9]，[10]；而长期恢复则需要持续的身份记忆、外观区分能力以及对遮挡、漏检或临时消失等造成的显著时间间隔的鲁棒性 [11]，[12]。过分依赖局部连续性的跟踪器在对象长时间缺席后容易导致身份碎片化。另一方面，过度使用长期证据的跟踪器可能会让模糊的历史线索干扰可靠的局部匹配。

现有的在线跟踪器从不同但不完整的视角来解决这一冲突。基于检测的跟踪方法（Tracking-by-Detection）通过整合检测置信度、运动预测、外观相似性和分阶段匹配规则来维护活跃轨迹并恢复丢失的身份 [8]，[13]，[14]，[15]。它们的优点在于短期可靠性：保守的判断门和局部运动模型可以避免许多可见对象之间的错误匹配。然而，相同的规则结构使得长期恢复成为一个需要通过缓冲区长度、ReID阈值和手动选择的线索权重来控制的单独决策。当这些参数放松时，旧的身份可能会干扰到可靠的局部匹配结果；而当这些参数被收紧时，长时间的遮挡会导致轨迹片段化。端到端基于查询的跟踪方法（Tracking-by-Query）将平衡转移到学习到的查询状态中，虽然减少了显式的启发式设计需求，但需要复杂的视频级优化，并且仍然受到展开长度、提议质量和内存大小的影响 [16]，[17]，[18]，[19]。基于图的跟踪器通过将检测结果或跟踪状态视为节点、将关联假设视为边来提供一种结构化的关联方式 [3]，[20]，[21]，[22]。然而，它们的长期推理通常来自离线窗口、层次化片段或整个序列的候选结构，而严格的在线图推理通常仅限于最近的观察结果和活跃轨迹。因此，当前的解决方案要么通过耦合的外部规则来调节这两种冲突，要么将它们吸收到昂贵的查询传播过程中，或者在严格的在线因果性要求下丢失长期身份证据。图1总结了这些代表性的MOT范式，并将其局限性与所提出的因果虚拟内存图设计进行了对比。

在本文中，我们提出了VOOGUE，一种具有统一证据适应性的虚拟内存在线图跟踪器。VOOGUE将局部连续性和基于记忆的恢复机制放在同一个因果关联图中，并明确控制每种类型证据何时可以影响分配。它维护了一个用于最近观察结果的滑动窗口图，并通过虚拟内存节点来补充丢失的身份，这样消失的轨迹仍然是图中的实体而不是孤立的后期处理候选项。受到分层自适应策略 [21] 的启发，VOOGUE结合了学习到的序列特定策略和基于规则的在线校准，以适应阈值、线索权重和重新连接预算。最终的关联结果是分层组织的：首先解决可靠的局部连续性问题，只有在未解决的候选项时才查询长期记忆。这种设计可以在对象长时间消失后恢复身份，同时防止模糊的记忆证据干扰到可靠的短期匹配结果，并且在线展开训练使优化过程与因果推理状态保持一致。

**我们的主要贡献如下：**
- 我们将在线MOT描述为可靠短期连续性和不确定长期身份恢复之间的可控冲突，并提出了一种将丢失的身份表示为虚拟内存节点的因果图跟踪器。
- 我们设计了一种序列适应策略生成器，根据图统计信息和在线序列状态来校准阈值、线索权重、特征门和重新连接预算。
- 我们开发了一种分层关联和在线展开训练策略，该策略保护了可靠的局部匹配结果，实现了有限的内存重新连接，并使训练与推理时使用的因果状态演变保持一致。

**在线多目标跟踪概述**
在线多目标跟踪（MOT）主要包含两种范式：基于检测的跟踪（Tracking-by-Detection，TbD）和基于查询的跟踪（Tracking-by-Query，TbQ）[2]，[23]。从短期/长期冲突的角度来看，TbD方法通常优先考虑可靠的局部连续性。它们的模块化设计允许通过显式的匹配阶段组合检测器、运动过滤器和ReID编码器，这种方法高效且易于部署。ByteTrack [8] 就是一个例子，它展示了如何通过关联来处理这些问题。

**VOOGUE的整体架构**
VOOGUE通过一种证据适应性的图来执行身份关联，同时保持严格的在线因果性。其架构将可靠的短期连续性与选择性的长期身份恢复分开，如图2中的逐帧工作流程所示。在时间点??，跟踪器接收到的检测结果为????={??????}|????|??=1。每个检测结果??????包含一个边界框??????=(??????,??????,??????,??????)，其中(??????,??????)是左上角，??????和??????分别是边界框的宽度和高度。

**实验设置**
我们在MOT17 [35] 和 DanceTrack [36] 数据集上评估了VOOGUE的性能，这两个数据集关注的是互补的跟踪挑战。MOT17 包含行人跟踪序列，涉及静态和移动的摄像机、拥挤的场景以及频繁的漏检情况。DanceTrack 包含外观高度相似且经常路径交叉的舞者，他们的轨迹是非线性的。

**指标**
我们报告了在MOTChallenge [1] 协议中使用的标准TrackEval指标。HOTA [37] 用于衡量...

**结论**
本文解决了在线MOT中的一个结构冲突：可靠的短期关联应该由局部证据保护，但长期身份恢复需要记忆支持，而这些记忆在遮挡或消失后可能会变得模糊。VOOGUE通过统一的证据适应性关联解决了这一冲突：它将丢失的身份嵌入到因果图中，使用序列适应策略来校准对图结构、外观、运动和记忆证据的信任度，并应用...

**作者贡献声明**
魏宇豪：撰写 - 原稿、可视化、验证、软件实现、方法论、调查、形式分析、概念化。
韩向东：撰写 - 审稿与编辑、监督、项目管理、资金获取、概念化。
郑文博：撰写 - 审稿与编辑、监督、方法论。
吴浩阳：撰写 - 审稿与编辑、监督。

**利益冲突声明**
作者声明没有已知的财务利益或个人关系可能影响本文报告的工作。

**致谢**
本工作得到了国家自然科学基金（项目编号62476104）的支持。

**作者列表**
魏宇豪 | 韩向东 | 郑文博 | 吴浩阳