《Sensors》：Learning Adaptive Search with Reinforcement Learning for Small and Fast Object Tracking
编辑推荐：
视觉目标跟踪中长期存在的核心挑战，尤其针对小而快速移动的目标，在于有效分辨率与上下文信息之间的权衡。固定的搜索区域无法适应目标尺度和运动模式的变化，往往导致目标表征退化和跟踪失败。本文中，研究人员提出AdaSAM2框架，将自适应搜索区域选择形式化为序贯决
视觉目标跟踪中长期存在的核心挑战，尤其针对小而快速移动的目标，在于有效分辨率与上下文信息之间的权衡。固定的搜索区域无法适应目标尺度和运动模式的变化，往往导致目标表征退化和跟踪失败。本文中，研究人员提出AdaSAM2框架，将自适应搜索区域选择形式化为序贯决策问题。不同于传统的逐帧启发式策略，该方法采用事件驱动的强化学习策略，仅在初始化阶段和不可靠跟踪状态下选择裁剪尺度，而在稳定跟踪期间复用先前配置。为应对目标消失问题，研究人员进一步引入丢失感知恢复机制，将渐进式搜索区域扩大与约束策略重选相结合。在TSFMO、LaTOT、UAV123和UAVDT上的大量实验表明，相较SAMITE基线方法取得了持续改进。例如，AdaSAM2将TSFMO上的成功率和精确率分别从42.6%和74.0%提升至43.9%和75.3%，同时将UAV123上的成功率和精确率从69.6%和92.7%提升至71.1%和94.8%。此外，RL策略仅在TSFMO上0.74%的处理帧中被激活，平均每帧仅产生0.0085 ms的额外计算开销。这些结果表明，自适应输入空间优化能够在引入可忽略计算开销的前提下有效提升跟踪精度。
**论文解读**
**一、研究背景与问题**
视觉目标跟踪近年来取得了显著进展，基于Transformer架构的跟踪器和基于脉冲神经网络的生物启发式方法在通用基准测试（如UAV123和UAVDT）上展现出强大的性能。然而，这些成功主要集中在中大型目标上，极小目标的跟踪仍然极具挑战性。代表性小目标跟踪基准TSFMO和LaTOT表明，仅占据数个像素的微小目标极易受到大幅度运动、运动模糊和剧烈外观变化的影响，导致跟踪不稳定。有限的视觉信息严重削弱了特征表征的判别能力，而较大的帧间位移进一步增加了目标定位的不确定性，即便先进的跟踪器也容易发生漂移或完全丢失目标。
这一问题的本质在于分辨率与上下文之间的固有权衡：聚焦局部区域的方法可以增强细粒度细节，但往往缺乏全局上下文信息；而依赖全局建模的方法虽能保留上下文，却难以有效捕获小目标。近期，基于大规模基础模型的分割式跟踪方法（如SAM2、SAMURAI和SAMITE）建立了"以分割促跟踪"的新范式，但在小目标场景下性能仍然受限。研究人员的分析揭示，许多跟踪失败并非源于模型容量不足，而是由于微小目标在输入图像中的有效分辨率不足——当目标仅占搜索区域的一小部分时，分割模型往往无法生成可靠预测；缩小搜索区域则能有效提高目标相对分辨率并显著改善跟踪质量。这一观察表明，输入空间选择在平衡目标可判别性与上下文信息方面发挥着关键作用。然而，现有基于SAM的跟踪器普遍采用固定或启发式的搜索区域，无法适应目标尺度、运动模式或临时跟踪失败的快速变化，因而难以在整个跟踪过程中维持适当的分辨率–上下文权衡。受此驱动，研究人员开展了自适应输入空间优化策略的研究。
**二、研究概述与意义**
研究人员提出AdaSAM2——一种自适应输入空间优化框架，将搜索区域选择形式化为序贯决策问题，并采用强化学习以数据驱动的方式动态调整搜索区域。该框架采用事件驱动的RL策略，仅在初始化和不可靠跟踪状态下激活，稳定跟踪时直接复用先前配置，从而在几乎不增加计算开销的前提下实现了跟踪精度的持续提升。同时，研究人员设计了丢失感知恢复机制，在检测到不可靠跟踪时逐步扩大搜索区域并定期触发策略重选，有效缓解因尺度估计不准确导致的误差累积。此外，多评分融合策略联合考虑外观相似度、空间一致性和尺度变化，提供了更可靠的目标估计。在TSFMO、LaTOT、UAV123和UAVDT等基准上的大量实验表明，AdaSAM2在小型目标跟踪和通用无人机（Unmanned Aerial Vehicle, UAV）跟踪场景下均持续优于SAMITE基线，验证了自适应输入空间优化作为架构改进之外的一条互补性技术路线的有效性和实用性。
**三、关键技术方法**
AdaSAM2构建于SAMITE跟踪流水线之上，包含四个功能模块：（1）RL自适应搜索区域选择模块，将搜索区域选择形式化为马尔可夫决策过程（Markov Decision Process, MDP），状态由归一化的目标边界框几何信息（宽度、高度、宽高比、相对面积）构成，动作空间由五个离散裁剪尺度组成，RL策略仅在初始化和不可靠跟踪时激活；（2）SAMITE跟踪流水线，在选定的感兴趣区域（Region of Interest, ROI）内执行图像编码、记忆注意力机制和掩码解码；（3）多评分候选选择模块，综合外观相似度（余弦相似度）、空间一致性（基于中心坐标位移）和尺度一致性（基于宽高比变化）的加权评分筛选最优候选目标；（4）跟踪状态与事件驱动恢复模块，在跟踪不可靠时先渐进扩大搜索区域，若不可靠状态持续至预设恢复间隔则调用RL策略重选，候选动作经与上次可靠配置比较约束后方可采纳。RL策略采用Double DQN算法训练，Q网络为两层多层感知机（Multilayer Perceptron, MLP），奖励函数综合了交并比（Intersection over Union, IoU）定位质量、时序平滑性、跟踪可靠性、动作稳定性和上下文保留等多个维度。实验所用数据集包括TSFMO、LaTOT、UAV123、UAV123@10FPS和UAVDT。
**四、研究结果**
*效率与计算开销分析*
在TSFMO基准的50,679帧处理中，RL策略共被调用374次（初始化260次，恢复过程114次），仅占全部处理帧的0.74%。RL模块累计推理时间仅0.43秒，平均每次策略调用耗时1.15 ms，平均每帧额外开销仅0.0085 ms，验证了事件驱动策略的计算高效性。
*小目标基准性能*
在TSFMO上，AdaSAM2取得43.9%成功率、63.0%归一化精确率和75.3%精确率，较SAMITE分别提升1.3、2.5和1.3个百分点；在LaTOT上分别取得38.6%成功率、53.4%归一化精确率和74.3%精确率，提升0.8、2.8和2.5个百分点，在所有对比方法中整体性能最优。定性分析表明，AdaSAM2在代表性序列中保持了更准确的目标定位并减少了漂移。
*跨目标尺度泛化*
在UAV123上，AdaSAM2将成功率和精确率从69.6%和92.7%提升至71.1%和94.8%；在UAV123@10FPS上从70.5%和92.9%提升至71.3%和94.2%；在UAVDT上从71.0%和95.8%提升至72.1%和96.7%，表明学习到的自适应裁剪策略不受限于小目标场景，在通用UAV跟踪场景下同样有效。
*消融实验*
组件消融表明，约束策略重选机制和渐进式搜索区域扩大策略具有互补作用：仅启用重选约束时，UAV123成功率和精确率分别提升至70.6%和94.0%，TSFMO分别提升至43.3%和74.3%；仅启用渐进扩大时，UAV123成功率提升至70.5%，TSFMO提升至42.9%；两者同时启用则取得最优性能。固定裁剪策略对比实验进一步表明，手动设计的固定裁剪规则在特定目标尺度分布下可提供改进，但效果高度依赖阈值和裁剪尺度的选择，最佳启发式策略在UAV123上有效却在TSFMO上严重失效，而RL策略无需手动重调即可在两个数据集上持续提升性能。
*恢复间隔敏感性分析*
在TSFMO和UAVDT上对5帧、10帧和20帧三种恢复间隔的评估表明，三者性能差异较小，10帧间隔在综合性能上最优，验证了丢失感知恢复机制对间隔选择的相对不敏感性。
**五、讨论**
实验结果表明，自适应输入空间优化有效缓解了限制小目标跟踪的分辨率–上下文权衡。AdaSAM2能根据可用的几何跟踪状态动态调整裁剪尺度，在提升微小目标有效分辨率的同时保留足够的上下文信息。研究揭示了一个重要洞见：SAM2类方法中的许多跟踪失败不仅源于模型容量问题，也源于次优的输入表征，这为分割式跟踪提供了区别于架构改进的互补方向。事件驱动设计是AdaSAM2实用性的核心：RL策略仅在初始化和丢失感知恢复需要新动作决策时调用，每帧平均开销仅0.0085 ms。然而，当前方法仍存在若干局限：RL策略离线训练且在推理时固定不变，探索在线自适应或元学习策略可能进一步提升跨场景泛化能力；状态表征有意限定为几何特征以避免与底层跟踪器的视觉信息冗余，但引入轻量级运动线索可能对极快速移动目标带来额外收益；离散动作空间虽有效但未必全局最优，带有适当正则化的连续动作形式可能提供更精细的分辨率–上下文平衡控制。
**六、研究结论**
本文通过将输入搜索区域视为自适应组件而非固定预处理操作，解决了视觉跟踪中的分辨率–上下文权衡问题。研究人员提出AdaSAM2，将搜索区域自适应形式化为序贯决策问题，并使用强化学习选择裁剪尺度。所提出的事件驱动策略仅在初始化和不可靠跟踪状态下激活，稳定跟踪期间复用已选配置。丢失感知恢复机制进一步将渐进式搜索区域扩大与约束策略重选相结合，提高了目标消失情况下的鲁棒性。在多个跟踪基准上的大量实验验证了该方法的有效性和泛化能力：与SAMITE基线相比，AdaSAM2在TSFMO上将成功率和精确率从42.6%和74.0%提升至43.9%和75.3%，在UAV123上从69.6%和92.7%提升至71.1%和94.8%；在LaTOT和UAVDT上也观察到持续改进，证明自适应搜索区域策略对小目标跟踪和通用UAV跟踪场景均有效。此外，RL策略在TSFMO上仅0.74%的处理帧中被调用，平均每帧推理开销0.0085 ms，验证了事件驱动设计的计算高效性。总体而言，AdaSAM2为自适应输入空间优化提供了一种轻量级即插即用解决方案，无需重新训练核心的SAM2类跟踪器。未来工作将探索将自适应输入范式扩展至多目标跟踪，并以学习的视觉表征替代手工几何状态，以更好地捕获背景杂乱、运动模糊及其他上下文线索。
