LTSTrack:基于长期时间序列的视觉跟踪技术
《Pattern Recognition》:LTSTrack: Visual Tracking with Long-term Temporal Sequence
【字体:
大
中
小
】
时间:2026年01月06日
来源:Pattern Recognition 7.6
编辑推荐:
目标跟踪方法通过外观压缩和Mamba模块实现长时序特征高效融合,解决复杂场景下遮挡与形变问题,在多个数据集上显著提升跟踪精度。
曾照川|王世磊|宋一东|王振华|宁吉峰
西北农林科技大学信息工程学院,中国杨凌,712100
摘要
在复杂场景中,时间序列的利用对于跟踪任务至关重要,尤其是在处理遮挡和变形等挑战时。然而,现有方法通常受到限制,例如使用未经处理的原始图像或计算成本高昂的时间融合模块,这些因素都限制了可利用的时间序列规模。本研究提出了一种新的外观压缩策略和时间特征融合模块,两者共同显著提升了跟踪器利用长期时间序列的能力。基于这些设计,我们提出了一种名为LTSTrack的跟踪器,它能够利用包含300帧历史上下文的长期时间序列。首先,我们提出了一种简单而有效的外观压缩策略,从每一帧中提取目标外观特征,并将其压缩成紧凑的摘要令牌,从而构成长期时间序列。然后,引入Mamba模块来高效融合长期时间序列,生成包含目标历史表示的融合令牌。最后,利用该融合令牌来增强搜索区域特征,从而实现更准确的跟踪。广泛的实验表明,所提出的方法在GOT-10K、TrackingNet、TNL2K、LaSOT和LaSOText数据集上均取得了显著的性能提升。特别是在GOT-10K上,该方法达到了75.1%的AO分数,在TrackingNet上达到了84.6%的AUC分数,远超以往的最先进方法。
引言
作为计算机视觉中的一个基本任务,目标跟踪旨在根据目标的初始状态(位置、外观等)在视频序列中持续定位目标[1]、[2]、[3]。最近,随着Transformer[4]的兴起,许多领域开始将其整合到自己的方法中。例如,ASCFormer[5]将Transformer应用于3D目标检测,以动态捕获与密度无关的多尺度结构特征,用于建模长距离依赖关系。在单目标跟踪领域,也提出了一种将Transformer有效集成到跟踪流程中的单流框架,并取得了显著的性能提升。尽管基于Transformer的单流跟踪框架[6]、[7]通过联合进行特征提取和融合过程显著提高了跟踪精度,但由于它们依赖于静态初始帧模板与搜索区域之间的特征交互,现有方法在处理复杂动态场景时仍存在固有局限。一方面,目标遮挡、严重变形和干扰物等挑战会降低目标特征的准确性;另一方面,单帧的信息不足以完全建模目标状态的变化,导致轨迹预测出现累积误差。
为了提高跟踪器对复杂场景的适应性,许多方法尝试利用时间序列[7]、[8]、[9]、[10]来提升跟踪性能。早期工作采用外观更新策略[7]、[11],利用之前的帧作为辅助模板,与静态初始模板和搜索区域一起输入到主干网络中。为了保持模板质量,一些方法使用置信度指标评估之前的帧,选择得分高的帧来辅助跟踪[11],而MixFormer[7]引入了一个额外的模块来评估当前帧,然后决定是否将其作为辅助模板。此外,一些方法通过模板裁剪来增强对目标变形的鲁棒性[12]。这些方法通过简单机制利用时间外观信息,可以轻松集成到其他跟踪器中。然而,这些方法存在两个主要限制:首先,它们直接使用原始图像作为额外输入,这显著增加了输入数据的规模;其次,这些图像未经处理,包含大量背景噪声,可能在特征提取过程中引入干扰。
最近的方法探索了利用多样化时间序列来提升跟踪性能。例如,ARTrack[10]利用轨迹作为辅助线索直接预测目标的当前位置,而其他方法通过细化时间外观信息来提高搜索区域特征的精度[9]。虽然ARTrack提供了良好的速度-精度权衡,但它需要两阶段训练过程,这带来了显著的计算开销。相比之下,为了减少计算量而细化特征的方法通常依赖于计算成本高昂的Transformer模块来融合时间信息[4],这需要仔细选择时间序列的长度。这揭示了当前方法的一个关键差距:有效利用长期时间序列需要高度压缩的表示来减轻计算负担,以及能够捕捉长距离依赖关系的高效时间融合模块。
为了克服这些挑战,我们提出了一种将长期时间序列直接融合到搜索区域中的新方法。首先,我们的跟踪器采用了一种创新的外观压缩策略,生成了一个可学习的空白令牌,称为摘要令牌,该令牌与图像令牌一起输入到主干网络中。这个摘要令牌作为单帧内目标外观的紧凑、低维表示,显著放宽了对时间序列长度的限制。这种压缩不仅降低了计算复杂性,还细化了目标特征,减少了噪声干扰。接下来,我们基于Mamba[13]提出了一个开创性的时间融合模块。该模块处理一系列摘要令牌,并利用Mamba在接近线性时间复杂度下建模长期时间依赖关系的能力。因此,时间特征可以高效融合成一个融合令牌。最后,我们引入了一个无参数的时空融合模块,将时间上下文与搜索区域特征自适应结合,实现更准确的跟踪。我们的方法通过新颖的特征压缩和融合技术,有效利用了长期时间序列,解决了现有方法的局限性。大量实验表明,所提出的方法可以有效利用长期时间序列获得更准确的跟踪结果。本研究的主要贡献如下:
1) 我们提出了一种简洁有效的外观压缩方法,将目标外观编码为令牌,而无需添加额外模块。
2) 我们引入了一个时间融合模块,通过采用Mamba块来编码令牌之间的长期时间依赖关系。
3) 基于这些创新,我们提出了一种利用300帧长期时间上下文的跟踪器,命名为LTSTrack。
4) 所提出的跟踪器在基准测试中实现了最先进(SOTA)的性能,同时没有牺牲计算效率。
部分片段
使用单帧进行跟踪
目标跟踪的核心任务是使用初始模板(通常从第一帧提取)持续定位移动目标。Siamese网络框架[1]、[14]曾经主导了这个领域,采用双分支架构,共享权重进行特征提取和交叉相关操作以匹配目标。由于这些方法通常使用卷积模块实现,并且受到有限感受野的限制,它们在处理复杂场景时常常遇到困难
方法
本节详细介绍了所提出的LTSTrack。首先,我们将简要介绍所提出方法的整体架构。随后,我们将深入探讨框架的技术细节,包括外观压缩策略、基于Mamba的时间增强网络、预测头以及所使用的损失函数。
实现细节
该算法使用Python 3.8和PyTorch 1.12实现。模型在NVIDIA A40 GPU上训练,并在NVIDIA RTX 3090 GPU上测试。
模型细节我们使用HiViT-Base[19]作为主干网络,包括四个MLP层和20个编码器层。输出特征维度D设置为512。输入模板大小设置为128×128,搜索区域大小配置为256×256。时间序列的最大长度设置为300个令牌。
结论
最近的跟踪方法试图利用时间序列来提升性能,但它们通常受到未经处理的时间特征的影响,这些特征会引入噪声并增加计算负担。此外,由于计算成本高昂的时间融合模块的限制,这些方法在有效利用的时间序列长度上也受到限制。为了克服这些挑战,我们提出了一种新的跟踪框架,能够高效利用长期时间
CRediT作者贡献声明
曾照川:撰写 – 审稿与编辑,撰写 – 原稿,可视化,验证,方法论,形式分析,数据管理,概念化。王世磊:撰写 – 审稿与编辑,撰写 – 原稿,可视化,验证,方法论,形式分析,概念化。宋一东:撰写 – 审稿与编辑,撰写 – 原稿,可视化,验证,形式分析,数据管理。王振华:撰写 – 审稿与编辑,可视化,验证,
利益冲突声明
宁吉峰报告称,本研究得到了国家自然科学基金的支持。如果有其他作者,他们声明没有已知的利益冲突或个人关系可能影响本文报告的工作。
致谢
本工作得到了国家自然科学基金(项目编号62476227)的支持。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号