《Neural Networks》:Not All Regions Are Equal: Spatially Adaptive Representation Learning for Efficient Visual Object Tracking
编辑推荐:
自然图像中信息的稀疏性给跟踪器在精度与效率之间取得平衡带来了巨大挑战。现有方法通常平等地处理模板和搜索区域中的所有区域,而未考虑其差异,导致引入了大量的冗余计算,且推理效率有限。为解决这一问题,本文提出稀疏掩码Transformer(Sparse Mask T
自然图像中信息的稀疏性给跟踪器在精度与效率之间取得平衡带来了巨大挑战。现有方法通常平等地处理模板和搜索区域中的所有区域,而未考虑其差异,导致引入了大量的冗余计算,且推理效率有限。为解决这一问题,本文提出稀疏掩码Transformer(Sparse Mask Transformer, SMTransformer),旨在实现空间自适应的表征学习。具体而言,研究人员构建了可变形补丁嵌入模块(Deformable Patch Embedding module),以自适应调整感受野,聚焦于模板中的目标;同时开发了稀疏掩码模块(Sparse Mask module),动态识别低目标存在概率的区域,从而逐步缩减搜索区域以提升计算效率。借助这两个模块,SMTransformer能在保持高性能的同时显著减少冗余计算。研究人员在多个基准数据集上进行了广泛的实验,结果证明SMTransformer在精度和效率方面均优于以往方法,达到了最先进的性能。
视觉目标跟踪作为计算机视觉领域的基础问题,在自动驾驶、交通监控、人机交互及视觉导航等领域具有广泛应用。随着深度学习的发展,基于学习的跟踪算法主要分为基于卷积神经网络(CNN)的跟踪器、CNN-Transformer混合跟踪器以及完全基于Transformer的跟踪器。尽管基于单流Transformer的方法通过将特征提取与交互统一在一个Transformer中实现,取得了优越的性能,但这往往是以高昂的计算开销和大量冗余计算为代价的。从目标模板的角度看,由于物体形状多样,待跟踪对象可能仅占模板的一小部分,导致背景区域的冗余嵌入和干扰;从搜索区域的角度看,对象在不同补丁中的存在概率差异显著,现有方法仍对所有补丁进行密集相关性计算,引入了不必要的交互开销。为了充分挖掘模板和搜索区域中目标信息的稀疏性以实现高效跟踪,研究人员开发了稀疏掩码Transformer(SMTransformer)。
该研究采用了几项关键技术方法。首先,针对模板中目标占比小的问题,设计了可变形补丁嵌入(Deformable Patch Embedding, DPE)模块,利用可变形卷积动态调整感受野,聚焦于模板中的目标区域,抑制背景干扰。其次,针对搜索区域中背景冗余的问题,设计了稀疏掩码预测模块,通过多层感知机(MLP)预测二进制稀疏掩码,并利用Gumbel softmax技巧使其可微。随后,稀疏掩码模块(Sparse Mask Module)被引入,在训练阶段采用门控机制模拟稀疏推理以保留梯度,在推理阶段则显式丢弃低概率标记以减少计算量。最后,结合中心分类分支、偏移回归分支和尺寸回归分支的目标预测模块用于最终定位。实验部分在GOT-10k、LaSOT、TrackingNet、TNL2K、UAV123和OTB100六个基准数据集上进行了评估,并使用平均重叠率(AO)、精确率(P)、归一化精确率(PNorm)、成功率(SR)和曲线下面积(AUC)等指标进行量化分析。
1. 引言
研究人员指出,尽管单流Transformer通过早期特征交互实现了高精度,但其对模板和搜索区域中所有补丁的平等处理方式导致了显著的冗余。如图1所示,模板中背景标记(蓝色)与目标标记(红色)混杂,搜索区域亦然。因此,该研究的核心动机在于利用空间和语义上的稀疏性,开发一种能自适应区分区域重要性的跟踪架构。
2. 相关工作
相关工作涵盖了基于CNN的跟踪器(如SiamFC、SiameseRPN++)、CNN-Transformer混合跟踪器(如TransT、TrDiMP)以及完全基于Transformer的跟踪器(如MixFormer、OSTrack)。此外,还回顾了高效Transformer(如Swin Transformer、PVT)和稀疏推理领域的进展,指出现有稀疏跟踪方法(如OSTrack)在处理固定数量令牌时缺乏输入自适应性,且在训练初期直接丢弃令牌会阻碍网络优化。
3. 方法
3.1 概述
SMTransformer的整体框架如图3所示。给定目标模板 z∈RHz×Wz×3和搜索区域 x∈RHx×Wx×3,首先将其分割为补丁并通过DPE模块编码,得到模板标记 Tz和搜索标记 Tx。随后,级联的稀疏掩码模块捕获标记间的相关性,学习稀疏掩码以逐步减少搜索区域中的候选标记,最后由头部模块预测目标位置。
3.2 可变形补丁嵌入模块
针对传统补丁嵌入层平等处理所有区域的问题,DPE模块采用核大小为 P×P、步长为 P的可变形卷积。通过预测像素级偏移量 {Δpi∣i=1,...,P2},动态调整采样点,使感受野适应模板中的目标。其数学表达式为 DPE(p)=∑i=1P2wi?z(p+Δpi),其中 z(p+Δpi)通过双线性插值获得。
3.3 稀疏掩码预测模块
该模块旨在识别搜索区域中低目标存在概率的补丁。在每 M个Transformer块后,将搜索区域的标记 Tx输入一个三层MLP以预测 F∈RNx×2,进而生成二进制掩码 M∈RNx。通过公式 M[n]=0或 1判断第 n个补丁的取舍,并利用Gumbel softmax技巧(公式 M[n]=∑i=12exp((F[n,i]+G[n,i])/τ)exp((F[n,1]+G[n,1])/τ))实现端到端训练。
3.4 稀疏掩码模块
训练阶段采用门控机制,将模板和搜索标记拼接后输入多头自注意力模块,利用填充后的掩码 M对注意力图进行加权,使所有标记均参与梯度反向传播,解决了随机初始化网络难以直接识别有效补丁的问题。推理阶段则直接剔除低概率标记,实现实际加速。
3.5 目标预测模块
经过稀疏处理后,特征被重塑并输入预测头。该头部分别包含中心分类分支、偏移回归分支和尺寸回归分支。总损失函数 Ltotal定义为焦点损失(Focal Loss)、IoU损失、L1损失以及辅助稀疏正则化损失 Lsparsity的加权和。
3.6 讨论
研究人员讨论了SMTransformer与OSTrack等工作的区别:一是通过门控机制解决训练初期的优化难题,二是实现了根据输入图像自适应保留不同数量的令牌,而非依赖先验设定固定值。
4. 实验
4.1 实施细节
实验使用了六个数据集:GOT-10k、LaSOT、TrackingNet、OTB100、UAV123和TNL2K。模型包含12个稀疏掩码模块,每隔4个模块插入一个稀疏掩码预测模块(M=4)。骨干网络使用预训练的ViT初始化,优化器为AdamW,权重衰减为 4×10?4。
4.2 性能评估
在GOT-10k数据集上,SMTransformer-384在AO、SR0.5和SR0.75指标上均取得了最佳性能,分别达到77.2%、86.1%和75.3%,优于ARTrack-384等方法。在LaSOT数据集上,虽然SMTransformer-384略逊于ARTrack-384,但仍大幅超越了MixFormer和OSTrack。在TrackingNet、OTB100、UAV123和TNL2K等其他数据集上的实验结果同样验证了其优越性。可视化结果显示,相较于现有方法,SMTransformer在处理目标占比较小的场景时能更好地聚焦于目标,避免漂移。
5. 结论
该研究提出了一种新颖的稀疏掩码Transformer(SMTransformer)用于高效视觉目标跟踪。通过引入可变形补丁嵌入模块和稀疏掩码模块,该方法实现了空间自适应表征学习,有效减少了模板和搜索区域中的冗余计算。研究人员通过在六个主流基准数据集上的广泛实验证明,SMTransformer在保持高精度的同时显著提升了推理效率,为平衡跟踪器的准确性与计算成本提供了新的解决方案。