ADTrack：面向单目标跟踪的高级 Mamba 融合与蒸馏方法

《Cognitive Robotics》：ADTrack: Advanced Mamba Fusion and Distillation for Single Object Tracking

　　

单目标跟踪（Single Object Tracking, SOT）是计算机视觉中的关键任务，但现有深度学习方法仍面临三项主要局限：其一，丰富时空关系的传递不足；其二，类似 Mamba 的状态空间模型（State Space Model, SSM）跟踪器缺乏并行加速能力；其三，受特征抽象能力限制，速度与精度之间存在内在权衡。为解决这些挑战，研究人员提出了 ADTrack，一种新型高性能跟踪框架。具体而言，ADTrack 引入了隐式状态分支，以促进更丰富时空信息的传播，并显著提升跟踪精度。此外，研究人员设计了 Mamba2-Equivalent Feature Fusion Neck，其利用双重等价性为跟踪流程中的 SSM 提供了强并行加速能力。最后，研究人员采用了一种新的自蒸馏策略，以增强模型的信息抽象与提取能力。在包括 TrackingNet、LaSOT 和 GOT-10k 在内的多个具有挑战性的数据集上的大量实验表明，ADTrack 实现了当前最优（State-of-the-Art, SOTA）性能，尤其是在较小模型规模部署时表现突出。该框架有效推进了当代视觉跟踪性能的边界。

该论文发表于《Cognitive Robotics》，围绕单目标跟踪（Single Object Tracking, SOT）中的时空关系传递不足、状态空间模型（State Space Model, SSM）并行加速受限，以及模型信息抽象能力不足所导致的精度—速度权衡问题展开。单目标跟踪要求模型在视频序列中对预先指定目标进行持续定位，其在智能监控、自动驾驶、人机交互、体育分析和虚拟现实等场景中具有重要价值。近年来，基于深度学习的跟踪方法显著推动了该领域发展，尤其是 Siamese 结构、Transformer 架构以及视频级跟踪范式的引入，使得目标表征与跨帧关系建模能力不断增强。然而，现有主流方法普遍仍依赖模板更新或额外 token 进行上下文传递，这类机制在表达容量和鲁棒性上存在明显瓶颈；同时，Mamba 等状态空间建模方法虽然具备长程依赖建模潜力，但在通用 SSM 形式下难以充分适配 GPU 并行与矩阵运算加速；此外，许多方法仍受限于模型对高层时空信息的抽象和提炼能力，导致速度与精度难以兼顾。基于上述问题，研究人员提出 ADTrack（Advanced Mamba Fusion and Distillation Tracking）框架，尝试通过隐式状态分支、Mamba2 等价特征融合结构与自蒸馏学习共同提升跟踪器的表示能力、推理效率和综合性能。

从整体框架看，ADTrack 采用视频级跟踪范式，以多帧图像序列作为输入，并输出搜索图像对应的目标边界框。该方法使用 one-stream 主干结构，在 Main Backbone 内同时完成特征提取与特征融合，以保证跟踪性能；同时构建一个与主干并行的 Side Backbone，并在若干层之间与主分支进行双向信息交换，用于增强时空关系传递。研究人员指出，这种隐式状态分支较传统模板更新和额外 token 传递方式具有更丰富的维度表达能力，因此更适于鲁棒的关系传播。进一步地，Side Backbone 以 Mamba2 的对偶等价理论为基础，从而在保持长程依赖建模能力的同时获得更好的加速潜力。

方法上，研究主要采用三类关键技术：第一，构建包含 Main Backbone 与 Side Backbone 的视频级单目标跟踪框架，并通过交互块实现双分支特征交换；第二，提出 Mamba2-Equivalent Feature Fusion Neck（M2F2N），基于 Mamba2 的状态空间对偶性（State Space Duality, SSD）将时序建模统一到线性注意力形式，以提升并行计算效率；第三，引入仅在训练阶段启用的自蒸馏策略，通过纯净分支与掩蔽蒸馏分支的教师—学生约束增强信息抽象能力。训练使用 COCO、TrackingNet、LaSOT、GOT-10k 和 VastTrack 组成的混合数据集，评测覆盖 GOT-10k、TrackingNet、LaSOT 和 LaSOT Extension Subset。

在方法细节部分，论文首先给出了 ADTrack 框架设计。输入由搜索序列 S_i^S∈R^3×H_S×W_S 和模板序列 T_i^T∈R^3×H_T×W_T 组成，经过预处理后被转化为有序特征向量 F_S 和 F_T，再叠加位置编码 P_S 与 P_T，拼接为 F_x⁰=concat[F_T,F_S] 并送入主干网络，最终由检测头输出边界框 [x,y,w,h]。主干与侧分支并非在每一层都发生交互，而是在特定层通过交互块传递信息：Side Backbone 输出的 G_out¹ 被加回主分支特征 F_x¹，从而形成残差式增强。这一设计使主干保留强表达能力，侧分支则承担跨帧关系转移和时序补充的功能。

在 “Mamba2-Equivalent Feature Fusion Neck” 小节中，研究人员提出 M2F2N 作为 ADTrack 的核心结构。该模块由多层 Residual Block 和 Interaction Block 交替堆叠构成。Residual Block 中的时间建模单元采用结合 Rotary Positional Encoding（RoPE，旋转位置编码）的一维多头线性注意力形式。输入特征 X∈R^B×L×C 经线性变换与 ELU 激活后得到 Q 和 K，即 Q,K=ELU(XW_qk)+1；随后在一维特征空间中施加 RoPE 得到 Q_rope 和 K_rope；之后通过线性注意力计算 Z=1/(Q·K?^T+?)、KV=K_rope^TV、Y=Q_ropeKV·Z，并结合残差连接与前馈网络（Feed-Forward Network, FFN）完成局部时序建模。论文强调，这一设计不同于传统 Mamba 对递归隐藏状态的依赖，而是借助 Mamba2 的线性化注意力实现高效局部时序表征，因此更适于高效推理场景。

该小节进一步从理论上阐述了 Mamba2 的状态空间对偶性原理。传统状态空间递推可写为 h_t=Ah_t?1+Bx_t，y_t=Ch_t+Dx_t。Mamba2 则指出，在特定结构条件下，离散 SSM 的前向传播可等价改写为广义线性注意力形式 Y=(CB^T⊙M)X，其中 M∈R^T×T 为包含时间衰减信息的因果掩码矩阵，其元素满足 M_ij={∏_t=jⁱA_t, if i≥j; 0, if i
在 “Interaction Block” 部分，论文说明了主分支与辅助分支的特征交互方式。该模块由 Output Block 和 Input Block 构成。Output Block 借助多头注意力将辅助分支特征注入主分支，其形式为 F′=F+γ·Attn(Norm(F),Norm(G),G)，其中 γ 为可学习参数。Input Block 则从主分支抽取关键信息并经 FFN 进一步融合，即 F′=F+Attn(Norm(F),Norm(G),G)，F″=F′+DropPath(FFN(Norm(F′)))。通过多层线性注意力与交互机制，M2F2N 能够完成高效时序特征转移，并增强跨分支信息流动。

在 “Self-Distillation Strategy for Tracking” 小节中，研究人员针对跟踪精度与速度的持续权衡，引入了适用于单目标跟踪的自蒸馏策略。该策略在训练时增加一个与主纯净分支并行的蒸馏分支，两者共享权重，但蒸馏分支接收经过额外处理的输入。损失函数包括单分支基础损失 L_base=λ_FL_Focal+λ₁L₁+λ_GL_GIoU，以及总体损失 L_total=λ_PL_Pure+λ_ML_Masked+λ_DL_Distilled。其中蒸馏项来源于两分支对应层输出差异的教师—学生约束。论文系统比较了多种辅助输入处理方式后，最终采用仅对蒸馏分支施加掩蔽的方案，且掩蔽同时覆盖目标区域与背景区域，以模拟部分或完全遮挡情形。值得注意的是，掩蔽沿通道维度进行，而非空间维度随机分布。研究人员认为，空间掩蔽容易使模型通过跨通道冗余恢复信息，形成低层插值式捷径；相较之下，通道掩蔽会阻断特定空间位置处的整列特征，迫使模型借助 M2F2N 中的隐式状态以及远距离空间—时间上下文进行恢复，因此更有利于学习稳健的长程时空依赖。该蒸馏分支仅用于训练阶段，不增加推理时的计算量和参数规模。

实验部分首先报告了实现细节。ADTrack 在 Tiny 规模下实现，基于 PyTorch 2.1、Python 3.11 与 CUDA 12.1，在配备 8 张 NVIDIA RTX A6000 GPU 的 Ubuntu 22.04 服务器上训练。模型采用 Xavier uniform 初始化，初始学习率为 0.0004，Main Backbone 加载 Fast iTPN 预训练权重并设置 0.1 的学习率惩罚因子，总训练轮次为 450，每轮 60000 个样本，batch size 为 32，优化器为 AdamW，并在 360 个 epoch 后将学习率衰减至原来的 0.1。推理阶段采用跟踪领域常见的高斯中心滤波设置，以保证结果可比性。

在 “Comparison with State-of-the-Art Methods” 中，ADTrack 在多个权威基准上展示出强竞争力。GOT-10k 上，全数据训练模型达到 78.3% AO，仅用 GOT-10k 训练也达到 75.3% AO；相较于同等规模和输入尺寸的 MCITrack，AO 提升 1.3%。TrackingNet 上，该方法以 Tiny 规模和较小输入尺寸取得 85.3% Success，在精度上优于更大输入的 ODTrack，并全面超过同规模的 MCITrack。LaSOT 上，ADTrack 获得 72.4% AUC，在 Success、Pnorm 和 P 三项指标上均优于 MCITrack。LaSOT Extension Subset 上，ADTrack 获得 52.2% AUC，同样在三项指标上全面优于 MCITrack，并与多种更大规模方法保持可比精度。总体来看，该方法在小模型尺度下取得了突出的 SOTA 表现。

在 “Ablation Study” 中，论文通过消融验证了关键模块的有效性。在 “Effect of the Mamba2-Equivalent Feature Fusion Neck (M2F2N)” 小节中，加入 M2F2N 后，AO 从 74.2 提升至 74.9，说明该模块增强了侧分支的信息提取能力。在 “Effect of the Self-Distillation Strategy for Tracking” 小节中，在 M2F2N 基础上再加入自蒸馏后，AO 进一步提升至 75.3，表明自蒸馏能够继续强化模型的信息抽象能力。在 “Computational Resource Consumption” 小节中，ADTrack 在与 MCITrack 相同模型尺度和输入尺寸条件下，MACs 为 13.41G、参数量为 36.33M，GPU 上达到 78.93 FPS；同时在未量化的 Intel CPU 上仍可实现 11.80 FPS，显示出较好的加速能力和部署潜力。

在可视化分析中，论文展示了 ADTrack 在低照度、低对比度、尺度突变、显著外观变化、反光、高速运动、相似干扰物以及遮挡等复杂场景下的稳健表现。同时也明确给出了方法局限：在低对比度高速小目标场景下可能出现时空过冲导致单帧失败；在严重遮挡时能够维持轨迹但难以精确估计全局尺度；在遮挡与低对比度高速运动并存时，可能误将遮挡前景识别为目标；在相似目标与遮挡并存的高速场景中，可能出现身份切换，并需若干帧恢复正确目标。

讨论部分表明，ADTrack 的性能提升来源于三个方面的协同：其一，隐式状态分支改善了跨帧时空关系传递；其二，基于 Mamba2 对偶等价性的 M2F2N 将传统 Mamba 难以加速的问题转化为可并行的线性注意力计算；其三，自蒸馏通过训练期额外监督提升了模型的信息抽象能力，而不增加推理开销。论文同时保持了较为审慎的表述，未对更大模型尺度下的表现作出超出实验范围的推断，仅指出后续研究可进一步探索该方法在其他规模上的可扩展性与优越性。

论文结论部分可译为：研究人员提出了 ADTrack，这是一种面向单目标跟踪的高效时空关系建模框架。所提出的 Mamba2-Equivalent Feature Fusion Neck 成功解决了传统基于 Mamba 方法在计算加速方面面临的挑战，同时提升了跟踪精度。为缓解持续存在的精度—速度权衡，研究人员进一步引入了面向跟踪的自蒸馏策略，在不增加推理阶段任何额外计算开销的前提下增强了模型的信息抽象能力。实验结果表明，所提出的 ADTrack 在 Tiny 规模下实现了当前最优精度，并且相较于达到相近精度的算法，在运行速度上具有显著优势。未来研究可进一步考察该方法在其他模型尺度上的可扩展性与优势。