无需模板的跟踪引导方法，适用于Transformer跟踪器

《Knowledge-Based Systems》：Template-Free Tracking Guidance for transformer trackers

　　宣王|李超|张大伟|杨成占|楼俊刚|蒋云亮|曹金立|郑忠龙
浙江师范大学计算机科学与技术学院，金华，321004，中国

摘要
对象跟踪是计算机视觉中的一个重要任务，它基于初始帧中提供的模板持续跟踪视频序列中的目标。然而，大多数现有的跟踪器容易对目标类别过拟合，只能在训练集中出现的类别上保持准确的跟踪，而在未见过到的类别上表现较差。当前的研究主要依赖于大规模的训练数据集和更复杂的网络来提高跟踪性能，但这种方法在泛化能力上存在局限性。为了解决这个问题，本文提出了一种名为“无模板跟踪引导”（TFTG）的新方法来改进通用对象跟踪。具体来说，我们设计了一种双分支学习范式来训练跟踪器，包含基于模板的分支和无模板的分支。基于模板的分支遵循标准的一流式 Transformer 跟踪流程，而无模板的分支则起到引导作用，强调模板特征的梯度贡献，从而增强目标模板信息在跟踪中的有效利用。得益于反向传播过程中的梯度自动调整，我们的方法在不改变模型内部结构的情况下，一致地提高了跟踪器的性能，尤其是在处理未知类别时，并且不会降低推理速度。我们通过在对几种特定的 Transformer 跟踪器和多个下游多模态跟踪任务的广泛实验中验证了其有效性和泛化能力。代码可在以下链接获取。

引言
对象跟踪是计算机视觉领域的核心任务之一，旨在持续跟踪连续视频序列中的目标。早期的跟踪器使用手工制作的特征进行跟踪，这导致性能和泛化能力较差。随着深度学习的发展，卷积神经网络（CNN）被引入到对象跟踪中[1]、[2]、[3]、[4]。主流的流程[5]、[6]是使用孪生网络从模板和搜索区域中提取特征，然后通过模板匹配反映不同区域的相似性，并将相似性最高的特定区域视为目标位置。

随着 Transformer[7]的发展，其强大的全局建模能力逐渐应用于视觉任务。通常，Transformer 通过自注意力机制捕捉输入序列中任意两个位置之间的相关性，因此在长距离建模方面表现良好。这种长距离建模能力在跟踪任务中尤为重要。在最初的研究[8]、[9]中，注意力仅用于关联不同特征，CNN 仍然是视觉跟踪的骨干。因此，在特征提取和关系建模方面仍然不够充分。ViT[10]的成功展示了纯 Transformer 架构在图像分类中的有效性，并导致其在其他视觉任务中的广泛应用。其中，OSTrack[11]是一个基于 Transformer 的跟踪方法的最新成功案例。其主要原理是将图像分割成块，将模板和搜索区域连接起来，然后输入到统一的 Transformer 编码器中。这促进了模板和搜索区域之间的广泛特征交互。类似地，MixFormer[12]也通过混合注意力加强了模板和搜索区域之间的特征相关性，并在特征提取过程中不断降低分辨率以保留重要特征。从后续研究的角度来看，统一特征提取和交互已成为当前主流的 Transformer 跟踪流程[13]、[14]、[15]。

尽管在跟踪方面取得了显著进展，但过拟合问题在 Transformer 跟踪器乃至整个深度学习领域仍是一个被忽视的挑战。一些研究人员通过数据增强或对模型进行轻微修改来减轻过拟合[16]。另一种常见的防止过拟合的方法是随机丢弃一些卷积核。基于这一思想，一些跟踪器[11]、[17]精心设计了特殊模块来过滤掉低质量的特征令牌，以用于 Transformer 跟踪。这种方法的前提是防止网络过度依赖特定令牌，从而迫使模型学习更通用的特征表示，增强其在各种场景中的泛化能力。DropOut[18]是最简单的方法，只需要随机屏蔽一些神经元。此外，还有一些改进的方法，如 LoRA dropout[19]、Shake-Shake[20]和 Manifold Mixup[21]。另一种方法是通过迁移学习在样本有限的情况下减轻过拟合[22]，但这容易导致模型对新目标域的过拟合。总体而言，现有方法倾向于引入随机性来约束模型的优化路径，从而迫使模型学习更通用的表示。然而，通过抑制神经元来防止对样本的过拟合，这些方法未能约束模型对高级语义信息的过拟合。对于视觉对象跟踪来说，避免对高级语义的过拟合非常重要，例如在某些特定目标类别上跟踪更广泛的通用目标，包括未知目标类别[23]。

现有的单向跟踪器将模板和搜索区域一起输入到统一的 Transformer 中，允许模型自由提取特征。然而，随着网络复杂性的增加，跟踪器的决策来源变得难以解释。它可能更依赖搜索区域的特征，而忽略了模板特征以及模板和搜索区域之间的联合特征[11]。不幸的是，由于训练和测试数据通常具有相同的类别分布，跟踪器往往记住的是目标特征，而不是整合模板和搜索区域的特征。这导致在类别分布相同的数据集上表现良好，但在面对新类别时性能下降，进一步阻碍了跟踪在实际场景中的应用。由于跟踪数据集的大小不断增加以及对象类别的数量增多（如表1所示），只有少数工作考虑通过训练范式来提高模型的泛化能力，而大多数工作更多依赖于增加训练数据。此外，现有数据集通常为训练和测试集提供相同的类别分布，这在一定程度上阻碍了对此问题的研究。

为了解决上述问题并提高跟踪器的泛化能力，DeTrack[30]提出了一种新的范式，通过引入带有噪声的边界框来进行训练，将跟踪问题定义为去噪学习过程。同样，UAST[31]和 ProLA[32]分别旨在建模边界框回归和标签分配的不确定性，从而使它们能够很好地适应未见过的样本。此外，UnTrack[33]通过找到不同模态之间的共同表示来减轻模态异质性和数据集稀缺性的影响。尽管在某种程度上提高了泛化能力，但专门的模块设计使得难以直接应用于其他 Transformer 跟踪器，限制了其可移植性。

尽管一些研究人员试图解决跟踪中的过拟合问题，但大多数方法依赖于特定的模块或架构设计，这些方法更为复杂且不易移植。我们认为，减轻类别过拟合的关键在于重新平衡信息流。通过增强模板特征的表示，跟踪器学会跟踪模板而不是熟悉的目标。因此，迫切需要一种仅在训练过程中起作用的方法，无需复杂的架构，明确地强制跟踪器在反向传播过程中增强模板信息的贡献，从而打破对已知目标类别的潜在过拟合。

在本文中，我们从模板利用的新角度出发，考虑优化模板的信息流，而不需要内部结构调整，以增强 Transformer 跟踪器的泛化能力。为此，我们提出了一种称为“无模板跟踪引导”（TFTG）的新训练方法。这种方法受到扩散模型中无分类器引导的启发[34]，在训练期间结合条件扩散和无条件扩散，并在采样时将它们集成在一起，从而提高生成样本的质量。类似地，无模板跟踪引导在训练期间引入了一个额外的无模板跟踪分支，以实现更好的泛化性能，并且无需修改跟踪网络的内部结构。具体来说，我们通过将原始的一流结构扩展为双流结构，即基于模板的分支和无模板的分支，来修改信息流。通过丢弃无模板分支中的大多数模板令牌，我们可以提取更纯净的搜索区域特征，然后从原始的统一特征中减去这些特征，以强调模板令牌在跟踪决策中的权重。通过所提出的方法，我们增强了跟踪器在不同目标类别和多个下游跟踪任务中的泛化能力。此外，我们从数学上验证了我们的 TFTG 方法可以在反向传播过程中增加模板令牌的梯度，从而有效地利用目标模板进行鲁棒的对象跟踪。

总结来说，本文的主要贡献如下：
• 我们提出了一种简单易实现的新训练方法，用于单向 Transformer 跟踪器，该方法优化了训练过程，不会影响推理时间。
• 从模板利用的角度来看，我们的方法通过使用无模板分支作为指导，有效地增强了模型在跟踪未知对象时的泛化能力。
• 广泛的实验表明，我们的方法具有很高的可移植性，适用于大多数 Transformer 跟踪器，并适用于各种下游多模态跟踪任务，性能持续提升，并且与其他跟踪器相比达到了最先进水平。

在下一节中，我们将回顾对象跟踪的相关工作并研究当前关于模板利用的研究。在第3节中，我们将介绍本文的背景知识，包括单向 Transformer 跟踪器和类别过拟合问题。随后，我们将介绍我们提出的 TFTG 并从数学角度提供理论分析。在第5节中，我们进行了一系列性能评估实验。在第6节中，我们分析了 TFTG 的优点和局限性，并提出了未来工作的方向。最后，我们总结了本文。

单目标跟踪
作为最基本的跟踪任务，单目标跟踪（SOT）通常影响视觉跟踪领域的发展方向。早期的跟踪器采用手工制作的特征提取方法，如均值漂移或卡尔曼滤波器。然而，由于缺乏对深层特征的理解，跟踪性能往往较差。随着深度学习的发展，提出了许多基于深度学习的跟踪器，极大地促进了跟踪技术的发展。

OSTrack
OSTrack[11]是一个广泛使用的跟踪器，它以 ViT 作为其骨干；其总体架构如图1所示。输入的模板和搜索区域图像被分割成多个块并投影成视觉令牌，然后在 Transformer 编码器之前连接起来。我们使用 [Z0,X0] 来表示初始特征，其中上标表示层。每个编码器层的特征处理可以表示为：[Zi+1,Xi+1]=MLP(MHA([Zi,Xi]))，其中 MHA 表示...

基于模板的跟踪
常见的 Transformer 跟踪器将模板和搜索区域输入网络进行特征提取和交互，可以表示为：Ytb=Encoder([Z,X])，其中 Encoder 是任意单向跟踪器[11]中的 Transformer 编码器。它用于提取模板 Z 和搜索区域 X 的特征，并在模板和 X 中的感兴趣区域之间进行关系建模。在本文中，我们重新定义了 Encoder。我们将 X 视为一个固定条件，跟踪器在此基础上...

数据集和基准
我们选择了六个单模态跟踪数据集和三个多模态跟踪数据集进行实验。具体来说，LaSOT[26]、COCO[24]、TrackingNet[25]、GOT-10K[23] 和 TNL-2K[60] 用于训练不同的单模态跟踪器，而 LasHeR[27]、DepthTrack[28] 和 VisEvent[29] 用于训练多模态跟踪器。对于性能评估，我们使用成功率曲线的曲线下面积（AUC）、精确度（P）和标准化精确度（PNorm）...

优点
我们的无模板跟踪引导的优势在于其简单性和便利性，不需要改变网络结构。它仅仅引入了一个额外的分支来建模无模板的搜索区域特征，并根据方程（5）调整原始分支的输出特征。通过实施最小的代码更改，我们的方法取得了令人满意的结果。由于我们的方法不依赖于网络结构，理论上可以应用于任何单向...

结论
在本文中，我们提出了一种新的跟踪训练方法——无模板跟踪引导（Template-Free Tracking Guidance），它增强了 Transformer 跟跟踪器的特征表示和泛化性能。它在不改变网络结构和影响推理效率的情况下，减轻了视觉跟踪领域中对象类别的过拟合问题。我们还从理论上证明了，这种方法能够在反向传播过程中增加模板对梯度的贡献。CRediT作者贡献声明如下：王轩：撰写——初稿、方法论、概念阐述；赵莉：调查、数据管理；张大伟：撰写——审稿与编辑、监督、方法论；杨成传：可视化、形式分析；娄俊刚：验证、资源协调；江云亮：监督、调查；曹金丽：验证、形式分析；郑仲龙：撰写——审稿与编辑、监督、项目管理。关于利益冲突的声明：作者声明他们没有已知的可能影响本文研究工作的财务利益冲突或个人关系。致谢：本研究得到了国家自然科学基金（项目编号：62272419和62402449）、浙江省自然科学基金（项目编号：LD26F020003和LQ23F020010）以及浙江大学CAD&CG国家重点实验室开放项目计划（项目编号：A2421）的支持。