编辑推荐：
通用目标跟踪（Generic Object Tracking, GOT）因复杂的时空动态特性，尤其在遮挡、相似干扰物及外观变化的场景下，始终是计算机视觉领域中重要且具有挑战性的研究任务。过去二十年间，为应对上述挑战，学界相继提出了多种跟踪范式，包括基于孪生网络
通用目标跟踪（Generic Object Tracking, GOT）因复杂的时空动态特性，尤其在遮挡、相似干扰物及外观变化的场景下，始终是计算机视觉领域中重要且具有挑战性的研究任务。过去二十年间，为应对上述挑战，学界相继提出了多种跟踪范式，包括基于孪生网络（Siamese-based）的跟踪器、判别式跟踪器，以及近年备受关注的基于Transformer的方法。现有综述多聚焦于单一类别或仅覆盖有限类别以梳理进展，本综述则对三类范式进行了系统性全面回顾，并重点强调了快速发展的基于Transformer的方法。研究人员分析了各范式中代表性跟踪器的核心设计原理、架构分类体系、技术创新与局限性，同时提出了一种新型分类框架，结合统一的可视化与表格化对比，突出其设计侧重、贡献与创新点。此外，研究人员从多维度梳理了现有跟踪器，并总结了主流评估基准。进一步，研究人员在短期与长期基准上对比了代表性方法在精度-效率权衡上的表现，凸显了基于Transformer的跟踪器凭借强大的时空建模能力所实现的快速进展。最后，本综述对轻量化跟踪方法与多模态RGB+X跟踪等新兴研究方向提供了结构化展望，为领域发展提供参考。
1. 引言
视觉目标跟踪（Visual Object Tracking, VOT）旨在视频序列中连续定位目标对象的轨迹，是计算机视觉领域的核心任务之一。本文聚焦通用目标跟踪（Generic Object Tracking, GOT），亦称单目标跟踪（Single Object Tracking, SOT），其采用类别无关的设置：跟踪器在第一帧接收目标的初始标注（通常为边界框），并在无额外监督的条件下在后续所有帧中定位目标。基于外观模型的GOT面临多重基础挑战，包括目标外观、尺度与姿态变化，遮挡、形变、运动模糊，以及干扰物与背景杂波干扰等。尽管存在上述难点，基于外观的跟踪方法因在自动驾驶、视频监控、医疗诊断与机器人导航等领域的广泛应用，持续受到学界关注。如图1所示，跟踪算法的演进始于手工设计的判别式方法，其依赖相关滤波与在线优化实现目标与背景的区分。随着深度学习的发展，判别式跟踪器开始引入卷积神经网络（Convolutional Neural Network, CNN）进行特征提取，通常通过训练分类器或回归器实现目标与背景的判别。另一方面，基于孪生网络的跟踪器通过计算初始目标与候选区域的相似度得分实现模板匹配，两类范式并行发展，研究重点集中于通过更深的主干网络、干扰感知机制与先进的模型更新策略提升鲁棒性、适应性与外观建模能力。近年来，Transformer架构的引入进一步推动领域发展：其通过自注意力（Self-Attention）与交叉注意力（Cross-Attention）机制实现空间与时序依赖的全局建模。当前多数先进跟踪器均基于Transformer构建，既可作为独立模型使用，也可与判别式或孪生网络组件融合形成混合架构。本综述系统回顾并分析三类核心跟踪家族：判别式跟踪器、孪生网络跟踪器、全Transformer与混合Transformer跟踪器。除覆盖近期进展外，还纳入经典基础工作以梳理设计策略与架构趋势的演进路径。据研究人员所知，这是首批同时对三类GOT范式及近期方法进行多维度联合综述的研究，覆盖外观建模、设计亮点、更新策略与整体跟踪框架等维度。研究人员进一步系统分析了各类方法应对的挑战、提出的创新方案、潜在的局限性及架构层面的贡献层级。除架构与方法论对比外，还梳理了常用的训练与评估数据集，并通过重构代表性跟踪器的标准化架构图实现一致的结构化可视化分析。本工作的核心贡献包括三方面：其一，提出统一的GOT跟踪器分类体系，将现有方法划分为孪生网络类、判别式类、全Transformer类与混合Transformer类，首次实现跨类别基线方法与近期方法的联合分析，较现有综述提供更全面包容的视角；其二，构建统一架构框架以实现结构化对比，针对所有代表性跟踪器（含仅理论阐述的方法）重构标准化可视化框架，突出关键架构要素，清晰呈现跨范式设计演进，支持直接对比；其三，开展多维度的比较分析与性能评估，从外观模型、主干架构、设计亮点、研究侧重与创新贡献等维度进行系统剖析，同时分析常用数据集，并对比跟踪器在精度与效率上的权衡关系。本文其余章节安排如下：第2节回顾现有GOT综述并明确本工作的差异化贡献；第3节概述GOT方法，将其分为判别式跟踪器、孪生网络跟踪器、Transformer跟踪器三大类，其中Transformer跟踪器进一步细分为混合架构与全Transformer架构；第4节探讨多模态RGB-X跟踪与轻量化跟踪等专题；第5节总结常用数据集、评估指标，并对综述涵盖的GOT跟踪器进行精度与效率的定量对比；第6节从架构与功能双维度对GOT方法进行综合讨论；第7节阐述视觉目标跟踪的应用场景；第8节总结全文并展望未来研究方向。
2. 背景
现有GOT综述普遍存在覆盖范围局限的问题：部分综述聚焦深度学习类跟踪器，涵盖CNN、RNN、GAN与孪生网络类方法，但缺乏对架构设计的细粒度分类；部分采用时间线式概述，覆盖相关滤波与深度学习方法，但架构层面分析不足，缺少对现代跟踪框架的系统对比；部分同时覆盖单目标与多目标跟踪，导致对GOT的聚焦度不足，缺少精细的架构分类体系；部分侧重在线学习策略与模型更新机制，对跟踪器架构与近期Transformer模型的讨论有限；部分仅覆盖判别式相关滤波与孪生网络两类范式，未纳入Transformer与端到端架构；部分仅聚焦孪生网络框架，未涉及判别式与Transformer类方法；部分虽覆盖传统与深度学习方法，但分类体系较为粗略，对近期模型的架构级分析不足；部分专门分析Transformer跟踪器，但缺乏与传统范式的系统对比；部分探索生成模型、元学习等新兴范式，但未涉及标准跟踪架构的演进分析。如表1所示，现有综述通常局限于单一跟踪范式、特定学习技术或狭窄的新兴研究方向。相比之下，本综述对判别式、孪生网络、混合Transformer与全Transformer四类GOT框架进行了统一且细粒度的架构分析，基于该分类体系，采用一致的结构与实证标准对近期GOT跟踪器进行系统对比，并分析跨范式在长短期跟踪场景下的精度-效率权衡。通过系统梳理现有方法，研究人员明确了现代GOT的设计趋势、局限性与开放研究方向，同时回顾并分类了轻量化跟踪与多模态RGB+X跟踪等新兴专项研究方向，为领域提供了全面且结构化的近期进展与未来工作展望。
3. 通用视觉目标跟踪
检测式GOT的目标是在仅给定首帧目标初始位置的前提下，估计视频序列中任意目标的运动轨迹。过去十年间，GOT技术为应对遮挡、目标形变、尺度变化、光照变化、背景干扰物等核心挑战实现了显著演进，跟踪算法需同时考虑参考目标表征的短期与长期自适应，以维持对剧烈外观变化的鲁棒性。跟踪问题可形式化为分类任务与目标状态估计任务的结合：分类分支用于鲁棒确定目标的粗略位置，状态估计分支则用于精细化预测完整的边界框状态。高性能跟踪器需学习兼具判别性与泛化性的特征表示与对应分类器——判别性确保跟踪器可从杂乱或易混淆的背景区域中区分真实目标，泛化性则使其可容忍未知类别目标的外观变化。与其他计算机视觉领域类似，跟踪方法已从依赖手工特征发展为基于深度特征，再到基于Transformer的表征。本综述根据核心架构原则将现代GOT跟踪器分为三大范式：判别式跟踪器主要依赖在线学习构建判别式外观模型，近期研究通过离线训练更具代表性的特征显著提升其精度；孪生网络跟踪器通过离线训练学习对外观变化鲁棒的特征表示，推理阶段通过提取模板与搜索区域特征并采用固定匹配操作（通常为互相关）定位目标；Transformer类设计则通过建模长距离依赖推动性能提升，其可作为混合模块集成于孪生或判别式结构中，也可构成全Transformer跟踪架构。架构设计是决定跟踪鲁棒性、效率与适应性的核心要素，各范式内的方法演进均围绕在线自适应、代表性特征提取、精确目标状态估计、鲁棒外观建模、有效干扰处理与可靠匹配策略等关键方向展开。下文将分别回顾各范式的代表性方法，分析其架构创新、优势与局限性。
3.1 判别式跟踪
判别式跟踪器将跟踪问题形式化为二分类任务，旨在区分目标与背景。此类方法通过最小化判别式目标函数训练外观模型（可为相关滤波器或卷积层），以区分包含目标的正样本与背景区域的负样本。其核心特征是推理阶段的在线学习与模板更新能力，可实时适配外观变化、遮挡与环境改变。早期判别式跟踪器多依赖手工特征与简单分类器（如支持向量机、岭回归），后续逐步转向深度特征与基于优化的预测模型。如表2所示，代表性方法包括：最小输出平方误差和（Minimum Output Sum of Squared Error, MOSSE）滤波器于2010年提出，是首个自适应相关滤波（Correlation Filter, CF）方法，仅需单帧训练即可实现实时更新，但仅支持灰度输入且无深度特征；核化相关滤波器（Kernelized Correlation Filter, KCF）于2014年提出，引入核技巧与离散傅里叶变换（Discrete Fourier Transform, DFT），支持多通道手工特征，但对照明变化与形变敏感；多域网络（Multi-Domain Network, MDNet）于2015年提出，采用VGG-M主干，通过多域学习分离共享层与域特定层，实现离线预训练与在线微调，但SGD更新速度较慢且训练成本高；空间正则化判别式相关滤波器（Spatially Regularized Discriminative Correlation Filter, SRDCF）于2016年提出，通过空间正则化项抑制边界效应，支持更大搜索区域，但参数调优复杂且计算开销大；DeepDCF于同年提出，将预训练CNN浅层特征引入DCF框架，验证了浅层卷积特征优于HOG等传统特征，但不支持端到端训练；CFNet于2017年提出，将相关滤波层作为可微分模块嵌入浅层孪生网络，实现端到端训练与在线模板更新，但架构较浅且不支持边界框回归；背景感知相关滤波器（Background-Aware Correlation Filter, BACF）于同年提出，通过密集采样真实背景负样本提升判别性，采用ADMM优化实现实时性能，但不支持深度特征与长期记忆；精确目标跟踪原子（Accurate Tracking by Overlap Maximization, ATOM）于2019年提出，采用ResNet-18主干，构建双分支架构，结合在线分类分支与离线训练的IoU估计分支，实现精确状态估计与干扰处理，但超参数较多且计算成本较高；判别性模型预测（Discriminative Model Prediction, DiMP）于同年提出，引入元学习优化器与最速下降法，实现端到端的判别式模型更新，但训练与推理成本高且调优复杂；概率DiMP（Probabilistic DiMP, PrDiMP）于2020年提出，将目标中心定位与边界框回归重构为概率回归任务，通过KL散度损失建模不确定性，提升遮挡、模糊等场景下的鲁棒性，但训练复杂且对标签噪声敏感；KeepTrack于2021年提出，在DiMP与PrDiMP基础上引入目标候选关联网络、记忆置信度机制与图学习模块，实现干扰感知的在线更新，但对候选质量敏感且图模块复杂度较高。如图2所示，判别式跟踪器经历了从手工特征（MOSSE、KCF、SRDCF、BACF）到CNN特征（DeepDCF、CFNet、MDNet）的演进，架构上逐步引入更复杂的分类、更新与状态估计机制。后续ATOM、DiMP、PrDiMP与KeepTrack进一步提升了状态估计精度、优化器设计与干扰处理能力，如图3所示，体现了判别式范式在鲁棒性与适应性上的持续提升。
3.2 孪生网络跟踪
孪生网络跟踪器将GOT形式化为目标模板与搜索区域的相似度匹配问题，采用双分支权重共享架构：模板分支处理首帧目标块，搜索分支处理当前帧候选区域，两者通过共享主干映射至共同特征空间后计算相似度以定位目标。相似度融合机制从早期的全连接层（如GOTURN）逐步演进为深度可分离互相关与点wise互相关张量。此类方法通过大规模数据集离线训练通用匹配函数，可实现高效在线推理且无需大量自适应调整，凭借高速推理与高精度平衡成为现代跟踪系统的核心组件。如表3所示，代表性方法包括：全卷积孪生网络（Siamese Fully-Convolutional networks, SiamFC）于2016年提出，采用AlexNet主干，首次将互相关引入孪生网络，实现端到端离线训练与多尺度搜索，但无模板更新与边界框回归能力，对外观与尺度变化鲁棒性较弱；动态孪生网络（Dynamic Siamese Network, DSiam）于2017年提出，引入在线动态变换学习模块，通过频域优化实现模板与特征的实时适配，并融合多层特征提升鲁棒性，但无边界框回归且主干较浅；孪生区域提议网络（Siamese Region Proposal Network, SiamRPN）于2018年提出，将RPN引入孪生框架，实现分类与回归分支的联合训练，消除多尺度搜索需求，但对锚框参数敏感且缺乏模板更新；干扰感知SiamRPN（Distractor-aware Siamese RPN, DaSiamRPN）于同年提出，通过干扰感知采样策略与难负样本挖掘提升判别性，并采用局部到全局的重检测策略支持长期跟踪，但浅层特征对极端外观变化鲁棒性不足；语义辅助孪生网络（Semantic-Aware Siamese Network, SA-Siam）于同年提出，构建外观与语义双分支结构，通过通道注意力融合异构特征，提升泛化性，但外观分支无更新且采用浅层特征；SiamRPN++于2019年提出，引入空间感知采样策略打破平移不变性约束，支持ResNet等深层主干，采用深度可分离互相关与多层特征聚合提升性能，但依赖锚框先验且无模板更新，复杂度较高；SiamFC++于同年提出，遵循无锚框设计，解耦分类与回归分支并引入质量评估头，消除锚框歧义，但无模板更新且对遮挡与形变处理能力有限；孪生边界框自适应网络（Siamese Bounding box Adaptive Network, SiamBAN）于2020年提出，采用全卷积无锚框回归与4D偏移图，消除锚框调优需求，但无模板更新且对遮挡敏感；Siam R-CNN于同年提出，采用两阶段级联架构与跟踪片段动态规划算法（Tracklet Dynamic Programming Algorithm, TDPA），支持全图重检测与难负样本挖掘，适用于长期跟踪，但计算成本高且无法实时运行；SiamAttn于同年提出，引入可变形孪生注意力（Deformable Siamese Attention, DSA）模块，通过自注意力与交叉注意力隐式更新模板，提升形变与遮挡鲁棒性，但复杂度略有提升；Ocean于同年提出，采用目标感知的无锚框框架，通过特征对齐模块融合全局与局部特征，提升分类可靠性，支持在线更新，在复杂场景下保持实时性能；ECIM于2024年提出，设计高效相关信息混合器，分解互相关为深度可分离互相关（Depthwise Cross-Correlation, DCC）与点wise互相关（Pointwise Cross-Correlation, PCC），通过通道与空间融合提升相似度估计质量，兼顾性能与效率；SiamDMU于同年提出，引入双掩码模板更新模块，结合语义分割与长时运动信息在图像级更新模板，保留高分辨率空间细节，提升严重外观变化下的鲁棒性。如图4、图5所示，孪生网络跟踪器从早期的静态模板匹配逐步演进为支持动态更新、无锚框回归、注意力增强与多层特征融合的复杂架构，持续优化定位精度、干扰处理与自适应能力。
