DMSORT：一种用于无人船舶平台的高效并行海上多目标跟踪架构

《Ocean Engineering》：DMSORT: An efficient parallel maritime multi-object tracking architecture for unmanned vessel platforms

多目标跟踪框架DMSORT通过双分支并行架构优化检测与跟踪，结合可逆列检测网络（RCDN）提升多尺度目标检测，轻量级Transformer（Li-TAE）增强外观特征提取，以及聚类优化特征融合（COFF）机制自适应平衡运动与外观信息，有效应对海洋环境中的动态相机、低分辨率、严重遮挡和轨迹漂移问题，在新加坡海事数据集上达到最优性能且计算效率最优。

　　在当今快速发展的海洋资源开发和海洋安全需求背景下，准确感知海洋环境并实现多目标跟踪（MOT）成为确保船舶安全航行和有效海洋监控的关键。然而，复杂的海洋环境常常导致摄像头运动，从而引发视觉信息的退化，这给MOT带来了严峻的挑战。为了解决这一问题，我们提出了一种高效的双分支海上SORT（DMSORT）方法，专门用于海上多目标跟踪任务。

DMSORT的核心在于一个并行的跟踪器，它结合了仿射补偿机制，通过对象检测与重识别（ReID）分支，以及一个专门用于动态摄像头运动估计的分支，实现了对目标轨迹的稳定跟踪。具体而言，我们设计了一个可逆的柱状检测网络（RCDN），将其整合到检测模块中，以利用多级视觉特征进行对象检测。RCDN通过优化特征传递，确保信息在不同层次之间的保留，从而在极端目标尺度变化的情况下实现高召回率和高精度，同时保持模型的轻量化。

随后，我们引入了一种轻量级的基于Transformer的外观提取器（Li-TAE），该模块旨在捕捉对象的全局上下文信息，以生成更加鲁棒的外观特征。Li-TAE采用自适应硬三元组训练方法，有效提升了在遮挡和低分辨率输入条件下的目标区分能力。此外，我们还设计了一个专门用于分离平台引起的运动和目标固有运动的分支，该分支通过构建投影变换，将得到的平台运动补偿应用到卡尔曼滤波更新中，从而稳定地恢复真实的目标轨迹。

为了进一步提升跟踪性能，我们还提出了一种基于聚类优化的特征融合机制（COFF）。该机制通过非线性距离度量、无偏动量更新和空间门控等方法，动态地融合运动和外观特征，确保在噪声、遮挡和轨迹漂移等复杂条件下，保持身份一致性。通过这些创新设计，DMSORT不仅在性能上达到了当前的最先进水平，还在保持身份一致性的同时，具备较强的抗抖动和抗遮挡能力。

从整体来看，DMSORT的提出解决了传统方法在处理海上多目标跟踪任务时所面临的诸多挑战。传统方法通常采用检测-跟踪分离（TBD）或联合检测与跟踪（JDT）两种范式。JDT框架通过在一个网络中统一检测和关联过程，实现端到端训练，从而提高跟踪的效率。然而，这种范式在学习共享特征表示方面存在困难，尤其是在海上环境中，由于目标尺寸小、分辨率低，导致特征学习效果不佳。同时，检测和外观特征提取网络的联合训练容易产生梯度干扰，从而限制了目标检测和外观建模的质量。

相比之下，TBD方法通过分离检测和跟踪阶段，采用稳健的检测器和模块化的跟踪算法，如卡尔曼滤波，从而提高系统的灵活性和可解释性。然而，TBD方法的顺序处理方式容易引入延迟，影响实时性。此外，在海上环境中，由于运动模糊、低分辨率、视觉干扰等因素，使得运动和外观特征的提取变得尤为困难。这些环境因素严重阻碍了目标的准确跟踪和匹配，导致TBD方法在长时遮挡或显著轨迹漂移的情况下，难以恢复正确的身份关联。

为了克服这些局限性，我们提出了一种新的海上多目标跟踪框架，该框架在资源受限的条件下，联合提升检测、跟踪和身份关联的能力。该框架的核心是双分支检测-跟踪架构（DDTA），它通过并行运行检测和跟踪任务，实现对平台和目标运动的分离，从而在保证实时感知的同时，不牺牲跟踪的准确性。DDTA的设计不仅提高了系统的处理效率，还增强了对动态环境变化的适应能力。

基于DDTA，我们开发了RCDN，这是一种紧凑的多列检测网络，通过可逆的特征优化，保留浅层特征，从而在资源受限的条件下实现对多尺度目标的稳健检测。RCDN通过优化特征传递，确保在不同层次之间的信息保留，从而在极端目标尺度变化的情况下实现高召回率和高精度，同时保持模型的轻量化。

为了应对传统外观建模方法的不足，我们进一步引入了Li-TAE，这是一种轻量级的基于Transformer的重识别模块，采用自适应硬三元组训练方法，有效提升了在遮挡和低分辨率输入条件下的目标区分能力。Li-TAE通过捕捉对象的全局上下文信息，增强了对复杂环境变化的适应能力，从而提高了重识别的鲁棒性。

最后，我们提出了一种基于聚类优化的特征融合机制（COFF），该机制通过非线性距离度量、无偏动量更新和空间门控等方法，动态地融合运动和外观特征，确保在噪声、遮挡和轨迹漂移等复杂条件下，保持身份一致性。COFF的设计不仅提高了特征融合的效率，还增强了对复杂环境变化的适应能力，从而提升了整体的跟踪性能。

在实验部分，我们对DMSORT方法在新加坡海上数据集（Singapore Maritime Dataset）上的表现进行了评估。该数据集是海上多目标跟踪（MOT）的基准测试数据集，包含了从静态港口监控摄像头和移动无人水面舰艇（USVs）中采集的视频序列，涵盖了多种环境条件（白天、夜晚、晴朗天气）和分辨率为1920×1080像素的图像。数据集中引入了与海上环境相关的挑战，如水面反射、密集的船舶交通、遮挡和低对比度目标，这些因素对多目标跟踪任务提出了更高的要求。

通过在这些数据集上的实验，我们验证了DMSORT方法的有效性。实验结果表明，DMSORT在保持身份一致性的同时，实现了在复杂环境下的鲁棒跟踪性能。值得注意的是，DMSORT在现有的基于重识别的MOT框架中，具有最快的运行速度，同时在噪声、遮挡和轨迹漂移等情况下，依然能够保持较高的跟踪精度和身份一致性。这一结果表明，DMSORT在海上多目标跟踪任务中具有显著的优势。

此外，DMSORT的提出还解决了传统方法在处理海上多目标跟踪任务时所面临的诸多问题。例如，传统方法在处理海上环境中的遮挡和目标尺度变化时，往往难以保持身份一致性。而DMSORT通过双分支架构和特征融合机制，有效克服了这些挑战。RCDN和Li-TAE的结合，使得检测和重识别模块能够在不同的环境条件下保持较高的性能，从而提升了整体的跟踪效果。

在海上环境中，由于摄像头运动和视觉信息的退化，使得目标的跟踪变得尤为困难。DMSORT通过引入仿射补偿机制和动态摄像头运动估计，有效减少了由于摄像头运动导致的轨迹漂移和预测误差。此外，COFF机制通过非线性距离度量和空间门控，使得在噪声和遮挡等复杂条件下，依然能够保持身份一致性，从而提高了整体的跟踪鲁棒性。

从实际应用角度来看，DMSORT方法在海上多目标跟踪任务中具有重要的意义。随着海洋资源的开发不断增长，对无人水面舰艇（USVs）和海洋机器人在预定义水域中进行船舶、渔船和海上平台的监控和轨迹跟踪的需求也在不断增加。DMSORT方法能够满足这些需求，为智能监控、自主导航和海洋态势感知等应用提供有力的技术支持。

此外，DMSORT方法在实际部署中也具备较高的可行性。由于海上环境中的通信条件不稳定，且信号质量较差，使得实时数据传输变得困难。因此，需要一种能够在资源受限条件下高效运行的解决方案。DMSORT方法通过轻量化的设计，确保了在实际部署中的可行性，同时在保持高跟踪精度和身份一致性的情况下，实现了快速的运行速度。

在方法的创新性方面，DMSORT的提出不仅提升了检测和跟踪的效率，还增强了对复杂环境变化的适应能力。RCDN和Li-TAE的结合，使得检测和重识别模块能够在不同的环境条件下保持较高的性能，从而提升了整体的跟踪效果。COFF机制通过非线性距离度量和空间门控，使得在噪声和遮挡等复杂条件下，依然能够保持身份一致性，从而提高了整体的跟踪鲁棒性。

综上所述，DMSORT方法在海上多目标跟踪任务中展现出了显著的优势。通过双分支架构和特征融合机制，DMSORT有效解决了传统方法在处理海上环境中的诸多挑战，实现了在复杂环境下的鲁棒跟踪性能。此外，DMSORT方法在保持身份一致性的同时，实现了快速的运行速度，为海上多目标跟踪任务提供了一种高效、可靠的解决方案。这些创新设计不仅提升了检测和跟踪的效率，还增强了对复杂环境变化的适应能力，为智能监控、自主导航和海洋态势感知等应用提供了有力的技术支持。