《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》：JointTrack: Densely joint feature extraction and interaction via temporal–spatial prompt learning for object tracking in multi-drone videos
编辑推荐：
多无人机（Multi-drone）视频中的目标跟踪因具有广域覆盖和全面感知的优势，在灾害应急响应、场景重建和低空经济中展现出巨大潜力。大多数现有的跟踪器采用解耦（Decoupled）框架，即每架无人机在进行多无人机交互之前独立执行多阶段特征提取。然而，这种范式
多无人机（Multi-drone）视频中的目标跟踪因具有广域覆盖和全面感知的优势，在灾害应急响应、场景重建和低空经济中展现出巨大潜力。大多数现有的跟踪器采用解耦（Decoupled）框架，即每架无人机在进行多无人机交互之前独立执行多阶段特征提取。然而，这种范式存在固有局限性，包括任务冲突、相互特征污染以及目标表示不一致。为克服上述问题，研究人员提出了JointTrack，这是一种基于时空提示学习（Temporal–Spatial Prompt Learning）的框架，以端到端（End-to-End）的方式密集地联合特征提取与交互。与先前的方法不同，JointTrack在每个特征提取阶段都融入了多无人机交互，以实现协同优化。具体而言，研究人员提出了时间提示编码器（Temporal Prompt Encoder, TPE）以从历史帧中捕获时间提示（Temporal Prompts），引导网络从背景噪声中解耦目标相关动态，从而抑制由遮挡或杂乱场景引起的特征污染。同时，空间提示编码器（Spatial Prompt Encoder, SPE）通过整合多无人机模板构建尺度感知（Scale-Aware）和部件感知（Component-Aware）提示，实现特征互补，缓解不同视角下不一致的特征表示。此外，动态门控解码器（Dynamic Gated Decoder, DGD）通过具有上下文依赖建模的门控机制，自适应地将这些时空提示融合到原始特征中。在MDOT基准上的大量实验表明，JointTrack在成功率和精度上分别比先前的最先进（State-of-the-Art）跟踪器高出4.1%和3.0%。此外，JointTrack保持了具有竞争力的跟踪速度，并在MDMT和UAV123数据集以及真实场景中表现出强大的泛化性。代码将于 https://github.com/HanJin0326/JointTrack发布。
该研究由Han Wu、Kui Liu、Yuli Sun、Hao Sun、Kefeng Ji和Gangyao Kuang（国防科技大学电子科学学院）发表在《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》。研究聚焦于多无人机（Multi-drone）视频中的目标跟踪（Object Tracking）任务。
研究背景指出，随着任务复杂性的增加，单无人机系统在航拍视频覆盖和感知能力方面存在局限，多无人机协作系统成为关键研究方向。多无人机目标跟踪旨在整合来自不同无人机的多视角信息，以在遮挡、复杂背景和突发场景变化下持续预测目标状态。然而，不同视角下目标在外观、尺度和光照上的不一致给可靠跟踪带来了重大挑战。现有方法多为解耦（Decoupled）框架，即先由每架无人机独立进行多阶段特征提取，再进行跨无人机特征交互。研究人员分析认为，这种范式存在三个固有局限：一是特征提取（优化捕获单无人机判别性局部特征）与特征交互（优化融合为多无人机全局一致语义空间）的任务目标冲突，导致梯度冲突与优化噪声，限制性能上限；二是提取的特征仅作为交互模块输入，无法受益于多无人机信息，难以捕捉目标随时间演变，在目标线索因遮挡等退化时，独立提取的特征易导致语义模糊与表示偏差，引发后续交互中的交叉污染；三是各无人机独立特征提取且无多无人机语义约束，放大了目标特征分布差异，降低了特征空间中目标可区分性，阻碍多无人机协作。
为解决上述问题，研究人员开展了基于时空提示学习（Temporal–Spatial Prompt Learning）的JointTrack框架研究。该框架不同于解耦范式，而是在每个特征提取阶段集成了多无人机特征交互，建立联合建模。研究人员引入了提示学习（Prompt Learning）技术，将可学习引导信息嵌入预训练骨干网络（Backbone），使跟踪器能在动态场景下自适应调节特征提取与交互，减少可训练参数，提高计算效率。JointTrack包含三个核心模块：时间提示编码器（TPE）、空间提示编码器（SPE）和动态门控解码器（DGD）。TPE从历史搜索特征构建连续的目标外观和上下文背景表示，利用时间线索增强遮挡下的目标响应；SPE通过建模跨无人机部件级互补性和生成多尺度目标模板，处理目标在不同无人机间可见部件和尺度的变化；DGD通过门控机制与上下文依赖建模，动态融合时空提示到原始特征，精确增强判别性线索。这些模块均构建于Vision Mamba架构上，以高效建模长距离时空依赖。结论是JointTrack在MDOT基准上成功率（Success）和精度（Precision）分别超越先前最优方法4.1%和3.0%，且保持竞争性跟踪速度，在MDMT、UAV123及真实场景中具有强泛化性。该研究的意义在于首次将特征提取与交互在统一网络中密集联合，并首次将提示学习引入多无人机目标跟踪，有效缓解了任务冲突、特征污染和不一致表示问题。
主要关键技术方法包括：基于提示学习（Prompt Learning）的端到端（End-to-End）多无人机跟踪框架设计；时间提示编码器（TPE）用于从历史帧（Historical Frames）捕获时间提示（Temporal Prompts）；空间提示编码器（SPE）用于整合多无人机模板（Multi-drone Templates）生成尺度感知（Scale-Aware）和部件感知（Component-Aware）空间提示；动态门控解码器（DGD）通过门控机制（Gating Mechanism）与上下文依赖建模融合提示；基于Vision Mamba架构实现高效长距离时空依赖建模。实验基于MDOT、MDMT和UAV123数据集及真实场景样本队列。
研究结果如下：
Introduction
研究人员介绍了无人机在智能安防、城市管理中的应用优势，指出单无人机系统在航拍覆盖与感知上的局限，引出多无人机协作与目标跟踪任务。分析了多视角信息整合的潜力及跨视角目标外观、尺度、光照不一致的挑战。回顾了现有以解耦特征处理为主的代表方法（如ASNet、TransMDOT、CRM-DiMP），并指出其在严重遮挡和复杂背景下仍常失效。研究人员详细剖析了解耦框架的三大局限：任务目标冲突导致不稳定优化、时空上下文感知不足导致多无人机特征间相互污染、跨无人机目标表示不一致阻碍协作。随后提出JointTrack框架，强调其在各特征提取阶段集成多无人机交互的联合机制，以及提示学习技术的引入。介绍了TPE、SPE、DGD三大模块的功能及Vision Mamba架构的应用，并总结了四点主要贡献。
Related work
研究人员回顾了无人机视频目标跟踪、多视角视频跟踪的相关研究，以及使用提示学习（Prompt Learning）的跟踪器。
Proposed method
研究人员首先回顾了现有解耦框架的工作流与局限。随后详述JointTrack整体架构及关键组件。具体包括：TPE利用历史搜索特征的时间线索构建时间提示，以增强目标连续性并抑制背景噪声；SPE利用多无人机目标模板建模跨无人机部件互补性与多尺度信息，生成空间提示以促进一致编码；DGD通过门控机制调控提示信号与原始特征间的信息流，实现判别性线索的选择性增强。整个框架在预训练骨干网络基础上通过提示学习进行调节，实现多阶段特征提取与交互的联合优化。
Experiments
研究人员介绍了JointTrack的实现细节、使用的数据集（MDOT、MDMT、UAV123）及评估指标。通过消融实验验证了框架有效性，随后进行大量定量与定性评估，比较了JointTrack与现有最先进跟踪器的准确率与泛化能力。结果表明JointTrack在MDOT上成功率与精度分别提升4.1%与3.0%，速度具竞争力，且在其他数据集与真实场景中泛化性强。最后讨论了JointTrack的局限及未来潜在方向。
Conclusion
研究人员总结指出，现有多无人机目标跟踪的解耦框架存在任务冲突、特征污染与不一致表示局限。JointTrack作为一种基于时空提示学习（Temporal–Spatial Prompt Learning）的框架，联合优化了多无人机特征提取与交互。不同于先前解耦跟踪器，JointTrack在各特征提取阶段融入多无人机交互，通过TPE、SPE和DGD模块分别利用历史时间线索与多无人机模板线索，借助Vision Mamba高效建模时空依赖，实现了复杂场景下增强的鲁棒性与多无人机目标特征判别力。实验证明其在MDOT基准上优于先前最先进跟踪器，且具有强泛化性。
讨论部分总结：研究人员在讨论中分析了JointTrack相对于解耦框架的优势，特别是在消除任务冲突、减少特征相互污染、对齐跨无人机特征空间分布方面的机制成效。指出了当前框架可能存在的局限，例如在极大规模无人机集群下的通信与计算开销，以及在极端运动模糊或传感器失效等边缘情况下的表现，并提出了未来可结合更高效通信策略或自适应提示选择机制等方向。
研究结论翻译：本研究分析了现有多无人机目标跟踪中特征提取与交互解耦框架的局限性，包括任务冲突、特征相互污染和多无人机表示不一致。为解决这些问题，研究人员提出了JointTrack，一种基于时空提示学习（Temporal–Spatial Prompt Learning）的框架，联合优化多无人机特征提取与交互。与先前解耦跟踪器不同，JointTrack在每个特征提取阶段融入多无人机交互，通过时间提示编码器（TPE）、空间提示编码器（SPE）和动态门控解码器（DGD）分别利用历史时间动态与多无人机多尺度、多部件互补信息，基于Vision Mamba架构高效建模长距离时空依赖。大量实验表明，JointTrack在MDOT基准上成功率（Success）和精度（Precision）分别超越先前最先进跟踪器4.1%和3.0%，同时保持竞争跟踪速度，并在MDMT、UAV123及真实场景中展现强泛化性。
