逐步采用激活机制与自监督强化技术提升视觉跟踪性能

《Knowledge-Based Systems》：Gradually target activating and self-supervised enhancing for visual tracking

　　•设计了一种基于非对称混合注意力的特征激活模块，用于逐步激活候选图像中的目标特征，防止参考模板受到污染。•设计了一种基于最大抑制的时空融合模块，以提高追踪器对时间线索的学习能力。•设计了一种自监督增强解码器，迫使特征编码器更专注于提取目标特征。•设计了一种名为GFATrack的追踪器，将上述所有创新模块有机整合在一起，以实现强大的追踪性能。

引言
视觉目标追踪[1]、[2]、[3]、[4]、[5]是计算机视觉中的一个基本课题，旨在确定整个视频序列中某个任意目标的位置状态。由于其在视频监控、场景理解[6]以及人机交互[7]等领域的广泛应用，这项技术受到了广泛关注。然而，由于遮挡、运动模糊、变形、背景杂乱以及其他干扰因素，实现高质量的目标追踪仍然具有挑战性。

近年来，基于神经网络（如CNN、Transformer）的追踪器[8]、[9]、[10]取得了显著进展。基于Transformer的追踪方法的主要思想是首先将模板和搜索图像转换为令牌序列，通过这些令牌之间的相互作用形成关联特征，最后对关联特征进行分类和回归以完成追踪。搜索图像与目标模板越早发生互动，追踪模型就能越早学习和捕捉目标特征，从而获得更准确的追踪结果。然而，由于模板和搜索图像中存在多种背景元素，目标令牌在互动过程中不可避免地会被背景令牌所污染。因此，最终的互动特征并非纯粹的目标特征，这会影响追踪的准确性。如果在早期互动层无法有效提取目标特征，模板和搜索区域之间可能会出现一些不必要的互动关系，使得追踪器无法从搜索区域中正确识别出真实目标。尽管使用注意力权重可以削弱不适当的互动关系，但对所有层应用全局注意力互动可能会产生不良效果。在现有的基于Transformer的追踪器中，一个关键但尚未得到充分研究的問題是特征污染，即模板特征在与搜索区域反复互动过程中逐渐被背景信息所破坏。在OSTrack[11]中，提出了一个背景消除模块来解决这个问题。然而，这种方法中目标模板很容易被搜索特征所污染。最近的研究，如MixFormer[12]和AiATrack[13]，也尝试利用注意力机制来提高特征区分度，但在早期互动阶段有效分离目标和背景特征方面仍存在挑战。

为了解决这一限制，我们提出了一种基于非对称混合注意力的特征激活模块（FAM）。该特征激活模块可以利用非对称混合注意力有效地消除搜索区域中的背景令牌，并激活具有高度区分度的目标特征。与背景消除模块不同，在我们的注意力重组矩阵中，目标模板对搜索图像的互动权重被屏蔽，从而使模板能够独立计算自注意力，确保其为搜索特征提供目标特征参考，同时不会被其污染。与之前如AiATrack[13]通过嵌套注意力增强特征互动，或OSTrack[11]通过重新加权抑制背景响应的方法不同，我们的方法明确限制了信息流动的方向。具体而言，FAM防止候选特征影响模板特征，同时仍允许模板特征引导候选特征的激活。这种设计确保了模板表示的纯净性，同时逐步增强了目标特征的区分度。

在长期追踪中，仅使用不变的目标模板的追踪器往往容易失败，因为目标的外观或形状通常会发生显著变化，而初始模板无法反映这些变化。将特定时间间隔的预测结果作为动态模板用于追踪，可以在一定程度上适应目标的变化。为了获得高质量的动态模板，我们提出了一种简单有效的动态模板生成策略，该策略根据固定位置可靠性得分选择包含明显目标的预测结果作为动态模板。我们的策略能够确保动态模板包含足够的目标信息，并捕捉目标随时间的变化，为追踪器提供额外的时变信息。此外，现有的模板更新策略往往依赖于启发式规则，缺乏在不同数据集或现实场景中的适应性。相比之下，我们的动态模板优化和更新策略利用基于置信度的选择来捕捉时间变化，同时保持稳定性。考虑到动态模板不可避免地会包含一些背景信息，我们利用真实目标特征与它们在FAM中的互动，进一步提升了动态模板的特征质量。

为了充分利用优化后的动态模板的时间信息，进一步增强搜索区域中的目标特征，我们提出了一种基于最大抑制的时空增强模块，用于抑制优化后搜索特征中的自信息互动，增强优化后的动态模板与搜索特征之间的跨信息聚合。

目标追踪旨在尽可能准确地从图像帧中提取目标特征。此外，受到如MAE[14]这样的自监督学习方法的启发，我们引入了一种目标驱动的重建机制，并提出了一个自监督增强解码器。该自监督增强解码器可以通过从激活的特征重建动态模板和搜索图像，引导特征编码器生成更准确的目标特征。与随机遮盖原始图像块的MAE[14]不同，我们的方法是将激活的特征发送到解码器以重建相应的原始图像，这迫使编码器生成高度准确且完整的目标特征。因此，编码器能够捕捉到不变的目標特征，并提升其表达目标特征的能力。

最后，所有这些创新都被有机地整合到一个名为GFATrack的追踪框架中（见图1），该框架主要由动态模板优化（DTR）阶段、搜索特征空间增强（SFSE）阶段、搜索特征时间增强（SFTE）阶段以及动态模板更新（DTU）分支组成。DTR和SFSE都使用了我们所提出的FAM来分别增强动态模板和搜索图像中的目标特征。所提出的时空增强模块应用于SFTE阶段，而所提出的自监督增强解码器也在GFATrack中被明确使用。

总之，我们的贡献包括以下四个方面：
(1) 设计了一种基于非对称混合注意力的特征激活模块，用于逐步激活候选图像中的目标特征，防止参考模板受到污染。FAM被应用于DTR阶段和SFSE阶段，通过这种方式可以很好地提取目标的空间和时间信息。
(2) 设计了一种基于最大抑制的时空融合模块，该模块能够抑制优化后搜索特征中的自信息互动，增强优化后的动态模板与搜索特征之间的跨信息聚合，从而提高追踪器对时间线索的学习能力。
(3) 设计了一种自监督增强解码器（SED）。与基于随机保留图像块进行重建的MAE不同，我们的图像重建是基于FAM激活的目标特征，这是一种目标驱动的方法，迫使特征编码器更专注于提取目标特征。
(4) 设计了一种名为GFATrack的追踪器，将上述所有创新模块有机整合在一起，以实现强大的追踪性能。消融实验表明，我们的创新模块显著提升了追踪性能。

章节摘录
视觉追踪中的Transformer
在计算机视觉领域，Transformer[15]已被用于图像[16]和视频[17]的分类、物体检测[18]，甚至用于密集预测任务的多任务学习[19]。Transformer最初是作为一种模块引入的，旨在通过让每个词了解所有其他词来改善神经机器翻译中长距离依赖关系的学习。由于Transformer能够对特征进行全局注意力建模，它已被广泛应用于目标追踪中。

概述
在本节中，我们首先介绍了GFATrack的结构（见图1），它主要由动态模板优化（DTR）阶段、搜索特征空间增强（SFSE）阶段、搜索特征时间增强（SFTE）阶段以及动态模板更新（DTU）分支组成。红色框中的DTR负责通过FAM和Zb优化动态模板Z1中的目标特征。蓝色框中的SFSE则负责增强目标特征的空间特性。

训练
在训练阶段，我们深入学习了目标特征的时空聚合特征X2，并将其嵌入到追踪器的头部，该头部有两个分支：分类分支和回归分支。对于分类分支，我们对原始图像进行区域缩放，将其映射到尺寸为(16,16)的特征区域。同时，我们也会对边界框进行相同的缩放。我们根据每个特征点与目标的距离来确定其分类得分。

实现细节
我们的追踪器是用Python在PyTorch上实现的，并在Tesla A100 GPU上进行训练。我们使用多个训练集，如TrackingNet[47]、LaSOT[48]、COCO[49]和GOT-10k[46]，进行联合训练。训练中采用了包括水平翻转和亮度抖动在内的常见数据增强方法。在训练过程中，搜索区域图像的输入尺寸为256 × 256，而其余模板图像的输入尺寸为128 × 128。我们的激活模块具有激活功能。

局限性及未来工作
尽管取得了令人满意的结果，我们的方法仍存在一些需要进一步研究的局限性。首先，与ODTrack[25]和HIPTrack[24]等最新追踪器相比，我们的方法在性能上仍有差距。这一差距可能归因于它们更强的时间建模能力和更大的模型容量，而我们的框架则有意强调抗污染的表征学习以及受控的信息流，这带来了不同的优化方式。

可视化分析
图7展示了使用和未使用激活特征解码器时的注意力图对比。第一行的注意力相对分散，而第二行的注意力则高度集中在目标上，这表明在我们的追踪器中，在激活特征解码器的引导下，能够抵抗干扰并高度聚焦于目标位置。如图10所示，我们直观地比较了我们的追踪器与其他追踪器在GOT-10K数据集上的追踪结果。

结论
在此，我们提出了一种基于逐步目标激活和自监督增强的连体追踪器，该追踪器包括特征激活模块、时间增强模块以及自监督增强解码器。特征激活模块旨在突出目标特征，同时确保在特征聚合和优化过程中参考特征不会受到污染。时间增强模块能够学习更多的时间线索，并生成时空聚合特征。

CRediT作者贡献声明
邓艳芳：撰写——初稿、概念构思。陈杰：软件实现、研究调查。张灿龙：监督指导、资金获取。李志新：撰写——审阅与编辑、形式分析。卢晓春：验证、形式分析。

利益冲突声明
作者声明没有已知的财务利益或个人关系可能影响本文所报告的工作。

致谢
本工作得到了中国国家自然科学基金（编号62266009）、广西科技计划（编号AB25069418、2018GXNSFDA281009）、广西多源信息集成与智能处理协同创新中心以及广西教育智能技术工程研究中心的支持。

邓艳芳|陈杰|张灿龙|李志新|卢晓春