TrackingMambaV2：面向山地丛林环境的无人机视觉目标跟踪方法

《IEEE Geoscience and Remote Sensing Magazine》：TrackingMambaV2: UAV visual object tracking in mountain jungle

　　

无人驾驶飞行器（UAV）在山地丛林环境中的视觉目标跟踪在生态监测和公共安全等多种应用中发挥着关键作用。然而，其固有挑战，包括严重遮挡、复杂背景干扰和目标伪装，对跟踪算法的鲁棒性和实时性提出了重大要求。尽管基于Transformer的跟踪器取得了显著的性能进步，但其过高的计算复杂度限制了它们在资源受限UAV平台上的部署效率。为解决此问题，本文提出了一种基于状态空间模型（SSM）的高效跟踪方法TrackingMambaV2，它在TrackingMamba的基础上构建。这项工作显著增强了模型在空间和时间维度上的感知能力。在空间域中，TrackingMambaV2引入了一个自适应频域滤波模块，利用快速傅里叶变换（FFT）将特征映射到频域，并应用爱因斯坦矩阵乘法（EMM）自适应地加权频率分量，有效增强关键目标特征同时抑制背景噪声。在时间域中，研究人员设计了时间解码器和历史缓冲区，通过跨帧注意力机制聚合历史信息，使模型即使在长期遮挡后也能可靠地恢复跟踪。为支持该研究，研究人员扩展了面向山地丛林场景的UAV跟踪数据集OTMJ，增加了更复杂的植被遮挡、可变照明和多样地形条件。在OTMJ和其他公共基准上的大量实验表明，TrackingMambaV2显著优于现有最先进方法，同时保持骨干网络的线性计算复杂度。所提出的TrackingMambaV2展现了卓越的鲁棒性，特别是在极端遮挡场景中。消融研究进一步验证了空间频域增强与时间建模模块之间的互补协同作用。代码将发布在https://github.com/KustTeamWQW/TrackingMambaV2。

山地丛林作为生态屏障和人类活动区域，在生态保护、军事防御和公共安全等方面具有重要战略价值。传统卫星和载人飞机遥感在空间分辨率、成像时效性和观测灵活性上存在不足，难以满足细粒度、实时监测需求；无人机（UAV）凭借低成本、灵活部署和高分辨率成为理想平台，目标跟踪则是实现智能感知的核心。然而，山地丛林环境复杂，密集植被造成严重遮挡，光照变化剧烈，地形起伏，目标常与背景高度相似，现有深度跟踪方法面临严峻挑战。Siamese网络仅捕获局部特征，Transformer方法虽能建模全局依赖但计算复杂度过高，制约了资源受限UAV平台上的部署。研究人员基于状态空间模型（SSM）的Mamba架构提出了TrackingMamba，但极端遮挡、伪装和动态背景下鲁棒性仍不足；且现有公开数据集缺乏对山地丛林复杂场景的代表性。为此，研究人员提出了TrackingMambaV2，通过空间频率域增强和时间历史建模提升跟踪性能，并扩展了OTMJ数据集。研究结果表明该方法在保持线性计算复杂度的同时显著超越现有最先进方法。该成果发表在《IEEE Geoscience and Remote Sensing Magazine》。

关键技术方法方面，研究人员采用基于SSM的Mamba架构为骨干，引入四方向扫描捕获长距离空间依赖；自适应频域滤波模块（AEFFT）使用实FFT将特征映射至频域，经爱因斯坦矩阵乘法（EMM）动态加权，配合SoftShrink软阈值去噪，再经逆FFT还原；时间聚合解码器（TAD）利用固定大小历史缓冲区，通过跨帧注意力与门控机制聚合并更新历史信息；跟踪头为全卷积网络，训练损失由加权焦点损失、L1损失和GIoU损失组成。训练使用GOT-10K、LaSOT、COCO和TrackingNet混合数据集，评估使用UAV123、DTB70和扩展的OTMJ数据集；OTMJ数据由无人机在中国云南省多地采集，所有序列分辨率统一为640×512像素。

在实验结果部分：

Comparison Experiments（对比实验）：在扩展OTMJ数据集上，TrackingMambaV2取得最高的AUC和精度，相比其前身TrackingMamba，AUC提升4.46%，精度提升4.29%；FLOPs和参数量低于所有Transformer跟踪器，较TrackingMamba仅增加约6.16M参数。

Performance on General Benchmark Datasets（在通用基准数据集上的性能）：在UAV123和DTB70上，TrackingMambaV2的性能与最先进Transformer跟踪器相当或略优，表明所提增强机制并未过度专门化，而是提升了模型整体判别能力。

Challenge Attribute Analysis（挑战属性分析）：在OTMJ按挑战属性评估中，TrackingMambaV2在几乎所有属性上优于TrackingMamba和OSTrack，尤其在背景干扰和遮挡方面优势明显，这得益于时间解码器对历史信息的有效利用；在低光照和尺度变化方面，频域变换模块展现出更强的特征增强能力。

Ablation Study（消融研究）：基于TrackingMamba基线，单独加入空间频域变换模块（S-FDM）获得AUC+0.41%、精度+1.44%的提升；单独加入时间聚合解码器（TAD）获得AUC+0.78%、精度+2.51%的提升；两者同时加入时提升达AUC+1.13%、精度+3.01%，增幅超过单独模块之和，表明空间频域增强与时间建模存在互补协同效应。

Qualitative Results and Visualization Analysis（定性结果与可视化分析）：在严重遮挡序列中，TrackingMambaV2能够在目标重出现后利用历史信息快速恢复跟踪，而OSTrack等出现响应分散和漂移；在低照度序列中，频域模块有效滤除背景噪声，使响应图峰值更尖锐。特征图可视化显示，加入频域模块后目标区域响应更强、激活更集中。

Efficiency Analysis（效率分析）：TrackingMambaV2在OTMJ上达到52.78% AUC，仅需2.57 G FLOPs和10.28 M参数，而OSTrack-256为21.5 G FLOPs和92.1 M参数，参数量仅为后者的11.2%，充分体现SSM线性复杂度在长距离建模中的优势。

讨论部分总结了该方法的优势与局限。核心优势在于将SSM的线性效率与强时空建模结合，频域模块分离目标结构与背景噪声，时间解码器提供短时记忆以实现快速恢复。然而，历史缓冲区若受到严重背景污染会产生负记忆效应和误差累积，当前固定缓冲区和简单门控不足以应对极端动态变化；SSM的扫描机制在处理极弱特征或高度非局部关系时存在不足。同时，模型性能高度依赖OTMJ数据集所覆盖的多样性，对重雨或浓雾等训练分布外极端条件的泛化能力受限；当遮挡与相似干扰物同时出现时，跟踪器在目标重现后仍可能无法恢复。

研究结论部分翻译如下：本文系统地提出了面向山地丛林环境的TrackingMambaV2无人机视觉跟踪框架。通过创新性地将频域变换和时间上下文建模集成到基于Mamba的单流架构中，空间频域模块凭借FFT和EMM有效抑制背景噪声并增强目标判别特征；时间模块利用历史缓冲区和门控机制鲁棒地建模目标动态变化。该框架在扩展的OTMJ数据集和多个公共基准上实现了性能与效率的最佳平衡。它不仅达到了领先的跟踪精度，而且以极低计算开销展示了在资源受限平台上的巨大部署潜力。此外，研究人员扩展并增强了OTMJ数据集，使其成为首个专注于山地丛林环境的权威跟踪基准。该数据集的多样性和挑战性提供了严格的测试环境，其评估结果有力验证了所提出方法的有效性和优越性。基于本工作的发现和局限性，未来研究可进一步探索智能内存管理与动态缓冲区更新，以及反馈迭代优化机制在目标跟踪中的应用。