综述：基于深度强化学习的视觉目标跟踪：综述与展望

本综述系统梳理了深度强化学习（DRL）在视觉目标跟踪（OT）领域的前沿应用，涵盖被动单目标跟踪（SOT）、被动多目标跟踪（MOT）及主动目标跟踪（AOT）三大范式。文章详细解析了DRL如何通过马尔可夫决策过程（MDP）建模跟踪任务，并对比了DQN、A3C、PPO等主流算法在应对遮挡、形变、运动模糊等挑战时的优劣。特别指出多智能体深度强化学习（MADRL）在协同跟踪中的潜力，为未来智能感知系统提供了理论框架与技术路径。

　　

视觉目标跟踪（Object Tracking, OT）作为计算机视觉的核心任务，旨在从视频序列中持续定位特定目标。传统方法面临遮挡、形变、尺度变化等挑战，而深度强化学习（Deep Reinforcement Learning, DRL）通过将跟踪建模为序贯决策过程，为动态环境下的鲁棒跟踪提供了新范式。

跟踪挑战与DRL优势

OT任务常受七类挑战困扰：光照变化（Illumination Variation）、遮挡（Occlusion）、尺度变化（Scale Variation）、形变（Deformation）、运动模糊（Motion Blur）、快速运动（Fast Motion）和背景杂乱（Background Clutter）。DRL通过智能体与环境的交互学习最优策略，其优势体现在四方面：

1. 1.
   长期规划能力：DRL智能体可预测目标未来状态，提前应对遮挡等突发状况；
2. 2.
   主动学习机制：相比被动处理的卷积神经网络（CNN），DRL能主动探索环境信息；
3. 3.
   误差控制：通过端到端训练避免传统帧间匹配的误差累积；
4. 4.
   环境适应性：奖励函数设计使智能体动态调整策略应对复杂场景。

DRL与MADRL基础

DRL将跟踪任务形式化为马尔可夫决策过程（MDP），其核心是状态空间（State Space）、动作空间（Action Space）、奖励函数（Reward Function）和状态转移概率。经典算法包括：

• •
  值函数方法：DQN（Deep Q-Network）通过经验回放和目标网络稳定训练，但存在过估计偏差；
• •
  策略梯度方法：REINFORCE直接优化策略，但方差较高；
• •
  演员-评论家框架：A3C（Asynchronous Advantage Actor-Critic）通过异步更新提升效率，PPO（Proximal Policy Optimization）采用裁剪目标函数确保稳定性；
• •
  混合方法：SAC（Soft Actor-Critic）引入熵最大化提升探索能力。

多智能体深度强化学习（MADRL）将OT扩展为马尔可夫博弈（Markov Game），其中智能体通过协作或竞争实现跟踪目标。协作型MADRL适用于无人机群协同监控等场景，而竞争型适用于对抗性环境（如目标反跟踪）。

被动单目标跟踪DRL应用

2017年 Huang 等首次将DQN应用于OT，提出EAST（EArly-Stopping Tracker）算法：智能体在VGG-M网络不同层决定是否停止特征提取，在OTB-50数据集上达到159fps速度且精度领先。2018年 Guo 等开发DADRL（Dual-Agent DRL），分别处理目标包围框调整和面部关键点对齐，通过贝叶斯模型连接双任务奖励。

2019年成为方法创新密集期：Dong 等提出HP-BACF，用连续DQN动态优化相关滤波器超参数；Zheng 等基于TD3（Twin Delayed DDPG）算法构建TD3T跟踪器，通过双评论家网络削减估值偏差。2020年 Song 等设计CRAC框架，结合生成对抗网络（GAN）生成无人机视角样本，提升跨视角跟踪能力。

2023年后出现性能突破：Xin 等采用演员-双评论家网络（Actor-Double Critic）降低价值估计方差；2025年 Adamyan 等将SAM2（Segment Anything Model 2）与DRL融合，通过PPO算法优化内存更新策略，在VOT数据集上相比基线提升4.91%跟踪质量。

被动多目标跟踪DRL进展

2015年 Xiang 等首创MDP-REL框架，将每个目标建模为具有四种状态（活跃、跟踪中、丢失、非活跃）的智能体，通过逆强化学习推导奖励函数，在MOT挑战赛上较当时最佳方法提升7%MOTA指标。2018年 Ren 等提出C-DRL（Collaborative DRL），用DQN协调多智能体联合决策；Liu 等开发JDTracker，将经典跳跃-扩散过程与DRL结合，显式推理目标可见性状态。

2019年 Jiang 等构建MADRL跟踪系统：YOLOv3检测目标后，各智能体通过独立Q学习（IQL）策略决策，在MOT16数据集达到47.3%MOTA。值得注意的是，2019年后该方向研究显著减少，表明领域重心向主动跟踪转移。

主动单目标跟踪前沿突破

主动跟踪强调智能体（如无人机）通过主动移动维持目标可见性。2022年 Zhao 等采用SAC算法控制无人机速度，奖励函数融合相对距离、动作方向与终止条件三维度，实现100%成功跟踪率。2023年 Nguyen 等对比DQN与DDPG在深度图像状态空间的表现，发现DQN以较小网络规模达到37分奖励值。

2024-2025年迎来算法革新：Liu 等提出KURL框架，结合PPO与世界模型预测将训练时间缩短10倍；Ma 等设计PR（Policy Relief）和SW（Significance Weighting）策略增强DDPG探索能力；Feng 等开创KbDDPG算法，嵌入科尔莫戈罗夫-阿诺德网络（KAN）作为先验策略，在125×125网格模拟中实现90%重捕获率。

2025年 Boyalakuntla 等推出KARL系统，在Isaac Gym中并行训练8192环境，通过6阶段课程学习实现92.58%抓取成功率；Nguyen 等开发CSAOT框架，采用混合策略机制（MoP）集成多个专家网络，在CARLA仿真中达到96步平均跟踪长度。

技术挑战与未来方向

当前DRL-OT面临四大挑战：

1. 1.
   身份一致性：多视角跟踪中目标ID保持困难；
2. 2.
   外观变化：跨视角特征对齐需更强表征学习；
3. 3.
   通信瓶颈：多智能体系统带宽限制协同效率；
4. 4.
   奖励设计：稀疏奖励环境导致训练效率低下。

未来研究将聚焦五方向：探索记忆增强架构处理长时遮挡；开发轻量算法适配边缘设备；融合物理模型提升运动预测；构建统一评估基准；加强真实世界验证。DRL与OT的融合正推动智能感知系统向自主决策、协同协作、持续学习的新阶段演进。