面向复杂海洋环境的视觉船舶检测与多目标跟踪框架——SeaTrack-DeepSORT

《Sensors》：SeaTrack-DeepSORT: A Vision-Based Ship Detection and Multi-Object Tracking Framework for Complex Maritime Environments

　　

随着智能海事系统和无人水面艇（USV）的快速发展，在复杂海洋环境中实现精确的船舶检测与多目标跟踪已成为自主感知与智能导航的关键需求。然而，尺度变化、背景干扰、光照变化、目标遮挡及相机运动等挑战显著降低了跟踪性能。为解决这些问题，本文提出SeaTrack-DeepSORT，一种将多尺度检测与置信度依赖的状态更新及运动补偿关联相结合的海事检测与跟踪框架。其SeaDet-YOLO检测器在YOLOv11中引入ADown下采样模块和一个额外的P2检测头。基于DeepSORT的跟踪器结合了二次测量噪声缩放、对预测目标中心进行ECC-Affine校正以及两阶段关联策略，利用检测置信度指导关联过程并对匹配观测值进行加权。在多个海事数据集上的大量实验表明，SeaTrack-DeepSORT在保持稳定连续轨迹的同时提升了检测与跟踪性能。该框架可为无人水面艇的自主感知与智能监控提供有力支撑。

研究背景与问题

随着海上交通密度的增加以及智能海事监控需求的增长，基于视觉的船舶检测与跟踪成为海洋工程、港口安全和水路监管等领域的重要研究方向。特别是在无人水面艇等无人海事平台上，可靠的视觉感知能力是实现环境理解、目标监控与自主导航的基础。相较于雷达和自动识别系统等传统传感手段，视觉传感器能够获取更丰富的目标外观、空间位置和运动状态信息，且具有成本低、信息维度高和环境适应性强的优势。

然而，现有方法在面对复杂海洋环境时仍面临诸多挑战。首先，远距离小尺度船舶目标像素占比极少，导致特征提取过程中精细信息易丢失；其次，海面反射和波浪扰动会降低检测置信度和帧间图像对齐的可靠性；此外，搭载于移动平台上的相机会产生全局图像位移，叠加在船舶自身运动之上，严重干扰轨迹预测和目标关联。现有的多目标跟踪算法大多针对陆地交通或行人场景设计，未充分考虑上述海事视频中的耦合效应，导致轨迹碎片化和身份切换频繁。

研究内容与意义

研究人员开发了一种集成的船舶检测与多目标跟踪框架SeaTrack-DeepSORT，旨在解决海事视频中小目标、不确定性检测和相机运动带来的挑战。SeaDet-YOLO检测器通过在YOLOv11中引入ADown操作和额外的P2检测分支来增强对小目标的感知能力。跟踪模块基于DeepSORT，集成了置信度依赖的状态更新、ECC-Affine相机运动校正和两阶段关联策略。该工作的主要贡献在于针对海事场景进行了特定适配和各组件的协调集成。实验结果表明，该框架在多个数据集上显著提升了检测与跟踪性能，保持了稳定的轨迹连续性，为无人水面艇的自主感知和智能监控提供了有效方案。

关键技术方法

1. 1.
   SeaDet-YOLO检测器：在YOLOv11骨干网络中采用ADown下采样模块替代原有卷积下采样，通过融合平均池化和最大池化分支保留更多目标结构信息；同时增加P2小目标检测头，形成P2至P5的四尺度检测架构，提升对远距离小尺度船舶的感知能力。
2. 2.
   NSA卡尔曼滤波：基于匹配检测的置信度分数，通过二次函数动态缩放测量噪声协方差。高置信度检测被赋予更小的测量噪声，从而在状态更新中获得更大权重；低置信度检测则保留较大协方差以减小其对状态修正的影响。
3. 3.
   ECC-Affine相机运动补偿：在数据关联前，利用增强相关系数（ECC）算法估计相邻帧间的仿射变换参数，仅对预测的目标中心坐标进行校正，减少因平台运动引起的空间错位，提高预测轨迹与当前帧检测的空间一致性。
4. 4.
   两阶段关联策略：将检测结果按置信度分为高低两组。第一阶段使用高置信度检测与现有轨迹进行外观和运动匹配；第二阶段利用低置信度检测对未匹配轨迹进行基于交并比（IoU）的恢复关联，低置信度检测仅用于恢复已有轨迹而不初始化新轨迹。

研究结果

船舶检测结果

SeaDet-YOLO在水面目标检测数据集（WSODD）上进行了评估，并与SSD、Faster R-CNN以及YOLOv5n、YOLOv6n、YOLOv8n、YOLOv10n、YOLOv11n等轻量级YOLO系列模型进行了比较。SeaDet-YOLO取得了最优检测性能，相比基线YOLOv11n，精确率（Precision）、召回率（Recall）、F1分数、mAP_0.5和mAP_0.5:0.95分别提升3.62%、3.46%、3.54%、3.76%和2.95%，而参数量仅为2.3M。消融实验表明，ADown模块在降低模型复杂度的同时提升了特征表达能力，P2检测头通过引入更高分辨率的浅层特征有效增强了小目标检测性能，两者组合达到最佳效果。

多目标跟踪结果

在ShipsMOT数据集上进行评估。对于包含平台诱导运动的船载视角序列46，SeaDet-YOLO+DeepSORT相比YOLOv11+DeepSORT将MOTA从34.40%提升至47.27%，HOTA从41.34%提升至53.33%，身份切换次数从13降至0。渐进式配置对比显示，引入NSA卡尔曼滤波后HOTA、MOTA和IDF1略有提升，假阳性从338降至335；加入ECC-Affine中心校正后进一步降低假阳性至330、假阴性至666；引入两阶段关联后获得最大增量改进，HOTA提升至55.00%，MOTA提升至54.31%，IDF1提升至74.05%，假阳性大幅降至207。完整SeaTrack-DeepSORT配置相比基线在HOTA、MOTA和IDF1上分别提升1.67、7.04和2.90个百分点。

在多序列测试中，面对强水面反射、前景遮挡、密集目标和低照度等挑战，SeaTrack-DeepSORT在所有四个序列上均优于基线DeepSORT，平均MOTA提升约17.32个百分点，平均HOTA提升约8.99个百分点。与五种代表性多目标跟踪算法（SORT、DeepSORT、ByteTrack、StrongSORT、BoT-SORT）在序列63上的对比显示，SeaTrack-DeepSORT取得最高HOTA（80.02%）、MOTA（94.16%）和IDF1（97.09%），身份切换次数为0。

跨数据集泛化验证在新加坡海事数据集（SMD）上进行。在岸基视频中，SeaTrack-DeepSORT将MOTA从40.89%提升至46.06%，HOTA从46.36%提升至48.08%，身份切换从15降至1。在船载视频中，MOTA从48.50%提升至58.93%，HOTA从60.13%提升至68.38%，身份切换从1降至0。平均而言，MOTA提升7.80个百分点，HOTA提升4.98个百分点。

研究结论

本研究开发了SeaTrack-DeepSORT框架，以应对海事视频跟踪中的观测变异性和平台诱导位移。该框架将改进的YOLOv11检测器与基于DeepSORT的跟踪流水线相结合，其设计连接了多尺度观测生成、置信度依赖的状态更新、预测目标中心的校正以及低置信度轨迹恢复。该工作为在所评估的海事条件下进行船舶检测与跟踪提供了特定的适配与集成方案。

首先，SeaDet-YOLO通过对YOLOv11架构进行适配，引入ADown操作和额外的P2检测分支，增强了多尺度特征表示能力，同时在保持轻量化特性的同时实现了更高的检测精度。其次，SeaTrack-DeepSORT克服了传统DeepSORT在海事条件下的局限性，整合了置信度依赖的卡尔曼更新、ECC-Affine相机运动补偿和两阶段关联策略，显著提升了HOTA、MOTA和IDF1等关键跟踪指标，同时减少了身份切换次数，实现了更好的轨迹连续性和身份保持能力。此外，在多个选定的ShipsMOT序列和SMD岸基及船载序列上的实验表明，SeaTrack-DeepSORT在所评估的海事条件下保持了对DeepSORT的优势。定性结果也显示了在选定帧中更少的冗余和错误跟踪输出。这些发现为跨场景和跨数据集迁移提供了初步证据，但在完整基准上的更广泛验证仍有必要。

总之，集成的SeaDet-YOLO和SeaTrack-DeepSORT框架在所评估的海事条件下改进了船舶检测与多目标跟踪性能。该框架可应用于无人水面艇自主感知、海上目标监视和智能水域管理等场景。未来研究将聚焦于进一步的轻量化优化、嵌入式部署以及在真实无人艇平台上的验证，以提高资源受限条件下的实时性能和工程适用性。