结合查询传播与自适应注意力的密集集群鲁棒多目标跟踪方法

《Drones》：Robust Multi-Object Tracking in Dense Swarms with Query Propagation and Adaptive Attention Sen Zhang, Weilin Du, Zheng Li and Junmin Rao

为解决高密度、高相似性集群（如无人机群、生物群体）跟踪中因外观高度相似、运动复杂、频繁遮挡导致的轨迹关联难题，研究人员在MOTRv2框架基础上，提出了一种改进的端到端多目标跟踪方法。该方法通过正弦-余弦编码注入几何先验、宽度-高度调制可变形注意力机制及基于运动方向一致性的轨迹重关联模块，在UAVSwarm、BEE24等数据集上实现了SOTA性能（如UAVSwarm上HOTA 52.4%，IDSW仅51），显著提升了密集集群场景下的跟踪稳定性与身份保持能力，为群体目标跟踪提供了鲁棒高效的解决方案。

　　

在计算机视觉领域，持续追踪视频序列中的多个目标并关联其轨迹，即多目标跟踪(MOT)，是一项核心任务。传统的“检测后跟踪”(Tracking-by-Detection)范式，如DeepSORT、ByteTrack等，虽然在通用场景中表现出色，但在面对特定高密度、高相似性的集群场景时，却显得有些力不从心。想象一下，一群外观几乎一模一样的无人机在空中密集编队飞行，它们不断交叉、遮挡，运动轨迹复杂多变，体型和视角也在快速变化。传统的依靠外观特征(Re-ID模型)或线性运动模型(卡尔曼滤波)进行关联的方法，在这些挑战面前，判别力大幅下降，经常出现“跟丢”或“跟错”身份的情况。轨迹碎片化和身份切换(ID Switch, IDSW)成为困扰集群跟踪的突出难题。

为了破解这一困境，一项发表于《Drones》期刊的研究提出了一种基于查询传播范式的新型端到端多目标跟踪框架。该研究没有依赖传统的外观或运动模型，而是选择在先进的MOTRv2框架基础上进行深度改进。研究人员认为，查询传播机制为端到端跟踪提供了统一的理论框架，但其在应对多尺度变化、密集交互和轨迹断裂等复杂场景时，仍面临查询初始化质量不足、特征对齐不精确、身份恢复困难等挑战。为此，他们设计了三个核心改进模块，旨在注入更强的几何先验、实现更精细的特征匹配，并利用运动连续性来高效恢复丢失的轨迹。

为了开展这项研究，研究人员主要运用了以下关键技术方法：首先，构建了一个包含多尺度特征检测网络(DetectNet)、编码器和查询交互系统的改进端到端跟踪框架。其次，提出了一种基于正弦-余弦(Sine-Cosine)编码的几何先验注入策略，将检测得到的目标位置、尺度等信息显式编码到检测查询(Detect Q)中，为跟踪查询(Track Q)提供高质量初始化。第三，设计了一种宽度-高度调制(Width-Height-Modulated)的可变形注意力机制，能够根据目标尺寸动态调整可变形卷积的采样范围，实现多尺度目标的细粒度特征匹配。第四，开发了一个基于运动方向一致性(Motion-Direction-Consistency)的轨迹重关联模块，利用目标运动的连续性来恢复因遮挡等原因丢失的轨迹，而无需引入额外的外观模型。最后，采用了一种渐进式联合训练策略，分阶段优化检测和跟踪模块，以缓解多任务学习中的梯度竞争问题。研究在BEE24、UAVSwarm和VTMOT红外等多个具有挑战性的密集集群数据集上进行了广泛的定量和定性实验验证。

研究结果

• •
  方法整体框架：研究提出了一种改进的端到端多目标跟踪框架。该框架保留了MOTR系列的查询传播机制，但进行了重要的模块化重构。系统包含三个核心部分：用于生成检测建议框的多尺度特征检测网络(DetectNet)、用于提取图像特征的编码器，以及负责时序关联的查询交互系统。框架引入了“丢失查询库”来临时存储因遮挡或离开视野而丢失的目标查询，以便在目标重新出现时快速恢复其身份。与MOTR和MOTRv2相比，该框架在保持端到端学习优势的同时，具有更好的模块化和对复杂场景的适应性。
• •
  尺度调制跨帧查询传播机制：不同于MOTRv2，该研究通过将检测得到的目标位置(ⁱ_t， ⁱ_t)、尺寸(ⁱ_t， ⁱ_t)、类别(ⁱ_t)、置信度(ⁱ_t)等参数，与可学习的内容向量经由正弦-余弦编码融合，注入到初始查询中。当查询向量与全局图像特征交互时，利用目标尺度来调制交叉注意力的计算，从而使模型能够实现尺度感知的泛化。这种方法为跟踪查询提供了更高质量的初始化，并增强了模型对多尺度目标的适应能力。
• •
  宽度-高度调制可变形注意力：为了应对目标尺度的剧烈变化，研究提出了一种宽度-高度调制的可变形注意力机制。其核心思想是根据目标边界框的宽度和高度，动态计算可变形注意力中每个采样点的偏移量。具体而言，对于宽度为w、高度为h的目标，其采样网格点(x, y)的偏移量(Δx, Δy)由目标尺寸调制：Δx = σ(w) * Δx'， Δy = σ(h) * Δy'，其中σ(·)是sigmoid函数，Δx'和Δy'是网络预测的基础偏移量。这种机制使得模型能够根据目标大小自适应地调整特征采样范围，对于大目标可以关注更广的区域，对于小目标则可以聚焦于更精细的局部特征，从而提升了多尺度场景下的特征匹配精度。
• •
  基于运动方向一致性的轨迹重关联：为了处理密集交互和短暂遮挡导致的轨迹断裂，研究设计了一个基于运动方向一致性的轨迹重关联模块。该模块不依赖于外观特征，而是利用运动连续性原理。对于“丢失查询库”中存储的暂时丢失轨迹，模块计算其丢失前的运动方向（速度向量）。当在新的帧中出现未匹配的检测框时，模块预测其可能的运动方向。通过比较丢失轨迹的历史运动方向与新检测的预测运动方向之间的一致性（例如，计算向量夹角余弦值），可以有效地将重新出现的目标与其原有轨迹进行关联。这种方法显著减少了对易失效的外观特征的依赖，在目标高度相似、外观判别力弱的场景下尤为有效。
• •
  实验验证与性能评估：研究在BEE24、UAVSwarm和VTMOT红外数据集上进行了大量实验。结果表明，所提出的方法在所有数据集上都取得了领先的性能。特别是在高密度、高相似性挑战显著的UAVSwarm数据集上，该方法获得了52.4%的HOTA(Higher Order Tracking Accuracy)和72.1%的MOTA(Multi-Object Tracking Accuracy)，同时身份切换(IDSW)数量大幅降低至仅51次，显著优于其他对比方法。在BEE24数据集上，HOTA达到48.6%，IDSW为1124。在VTMOT红外数据集上的实验也验证了方法的良好泛化能力。消融实验进一步证实了各个提出模块的有效性及其之间的协同增强效应。例如，单独使用几何先验注入或尺度调制注意力都能提升性能，而三者结合时提升最为显著，证明了模块间的互补性。

结论与讨论

本研究针对高密度、高相似性集群目标跟踪中的核心挑战，提出了一种集成几何先验注入、尺度自适应特征聚合和运动连续性辅助身份恢复的改进端到端多目标跟踪框架。该方法的核心贡献在于，它没有试图在传统的外观或运动模型框架内进行修补，而是从查询传播这一更本质的范式出发，通过引入显式的几何信息和运动先验，增强了模型在恶劣跟踪条件下的判别能力和鲁棒性。

研究得出的主要结论是：第一，将目标的位置、尺度等几何信息通过编码方式注入查询，能为跟踪过程提供更准确的初始化，改善身份保持的连续性。第二，根据目标尺寸动态调制注意力机制的感受野，是实现多尺度目标精确匹配的关键，有助于应对集群跟踪中常见的尺度剧烈变化问题。第三，利用运动方向的一致性进行轨迹重关联，是一种高效且可靠的身份恢复策略，尤其在目标外观高度相似、传统Re-ID方法失效的场景下优势明显。第四，所提出的渐进式联合训练策略有效协调了检测与跟踪任务的优化，提升了整体模型的稳定性和最终性能。

这项研究的重要意义在于，它为无人机集群、生物群体等密集、高相似性场景下的目标跟踪提供了一个强有力的解决方案。实验结果证明，该方法在多个具有挑战性的数据集上达到了最先进的性能，并且身份切换次数极低，显示出优异的跟踪稳定性。这不仅推动了端到端多目标跟踪理论的发展，也为实际应用（如无人机集群监控、野生动物群体行为分析、智能交通管理等）提供了坚实的技术基础。未来，如何进一步降低模型计算复杂度以适应实时性要求更高的场景，以及探索在多模态（如可见光与红外融合）信息下的跟踪，可能是值得深入的研究方向。