MCTrack：基于多线索时空建模的视觉目标跟踪方法

本文提出MCTrack多线索时空目标跟踪方法，通过解耦初始线索（initial cue）、动态线索（dynamic cue）和历史线索（historical cue）构建互补性时空表征。创新性设计历史上下文聚合模块（HCAM）和时空解码引导的跟踪头（THGSTD），并引入基于时序注意力的置信度预测模块实现多线索在线更新。在GOT-10k基准上达到79.4% AO（平均重叠率），较基线DropTrack提升3.5%，显著增强复杂场景下的跟踪鲁棒性。

　　

亮点

• 提出多线索时空目标跟踪方法，从初始线索、动态线索和历史线索三个维度对目标的时空信息进行完整建模

• 设计历史上下文聚合模块（Historical Context Aggregation Module），通过聚合序列帧特征构建目标的历史信息表征

• 提出时空解码引导的跟踪头（Tracking Head Guided by Spatio-Temporal Decoding），利用历史线索生成历史查询（historical query），通过加权融合增强目标区域特征显著性

• 设计基于历史线索时序注意力的置信度预测模块，构建双更新准则（dual-update criterion）确保多线索在线更新的连续性

方法

本节详细阐述MCTrack的整体架构。3.1节介绍多线索时空跟踪器的整体设计；3.2节解析多线索时空编码机制，将初始模板（initial template）、动态模板（dynamic template）和历史记忆（historical memory）共同输入编码器；3.3节展示时空解码引导的跟踪头如何通过历史查询增强空间特征；3.4节说明多线索在线更新模块如何结合跟踪得分（tracking score）和历史置信度（historical confidence）实现可靠更新。

实现细节

MCTrack基于Python 3.8和PyTorch 1.9.0开发，使用CUDA 11.1与cuDNN 8.0.5加速，实验平台为4张NVIDIA RTX 4090 GPU服务器。

结论

MCTrack通过多线索时空建模框架将目标跟踪从简单的模板-搜索匹配提升为动态运动状态预测。历史线索作为时空编码与跟踪头间的桥梁，既注入上下文信息增强目标显著性，又将判别需求反馈至编码阶段，在多个基准测试中达到领先性能。