水下视频中鱼类分割与跟踪的数据集

《Scientific Data》：A Dataset for Fish Segmentation and Tracking in Underwater Videos

　　

水下图像中鱼类的自动监测在海洋生态学、渔业管理和环境监测中发挥着关键作用，然而，由于缺乏大规模、高质量的鱼类专用数据集，相关进展受到限制。研究人员提出了一个新的自然栖息地水下鱼类视频数据集，该数据集已标注像素级分割和多目标跟踪信息。数据采集于巴利阿里海（Balearic Sea），即西班牙马略卡岛（Mallorca）周边的西地中海区域，覆盖多种海洋环境，以捕捉物种、光照、浊度和背景复杂性的变化。每个视频帧均经过仔细标注，以确保空间和时间一致性，从而为开发和评估水下视觉算法提供具有挑战性且全面的资源。为展示该数据集的实用性，研究人员提供了使用Deep OC-SORT获得的基线跟踪结果，该结果既突出了数据集的挑战性，也显示了其未来方法评估的潜力。此外，研究人员发布了一个开源、基于浏览器的标注工具，该工具集成了Segment Anything Model（SAM2）和CUTIE，用于高效的半自动分割与跟踪。该工具有助于在无需专用硬件的情况下实现高质量标注，提高了海洋成像社区的可及性和可复现性。

**论文解读：SFISHTRACK——面向水下视频鱼类分割与跟踪的综合数据集**

**研究背景与问题**
随着计算机视觉与深度学习的发展，基于视频的水下生物观测已成为研究海洋生物行为、种群动态和生态交互的重要手段。然而，水下视觉算法的研发与评估长期受限于缺乏高质量、带标注的鱼类专用数据集。现有水下数据集多提供图像级标签或粗略边界框，例如部分检测类数据集，缺乏时间上一致的实例标注，难以支撑多目标跟踪任务。少数具有时序标注的数据集（如OzFish）仅包含图像而无时间信息，或如LifeCLEF 2015存在标注不一致、空间分辨率低等问题。此外，现有水下跟踪数据集（如UOT-100、WebUOT-1M）多针对单目标跟踪，其标注协议与多目标跟踪评估标准不兼容，且部分数据来自受控环境，无法反映自然海洋环境的复杂变化。与陆地大型基准（如MOT17、YouTube-VIS）相比，水下领域缺乏综合性强、标注质量高且生态代表性充分的数据集，这严重制约了多目标鱼类跟踪与分割方法的发展。因此，亟需构建一个覆盖多样自然生境、提供像素级分割与稳定身份标注的大规模水下鱼类数据集。

**研究内容与意义**
针对上述局限性，研究人员构建了SFISHTRACK数据集，这是一个来源于自然海域的水下鱼类视频数据集，专门用于支持分割与多目标跟踪任务。该数据集包含54个视频、共24,084帧，全部具有1920×1080分辨率的像素级分割掩码和跨帧一致的实例身份标注。数据采集自西班牙马略卡岛附近的巴利阿里海，涵盖海草床、岩石海底、沉船遗址和沙质平原等多种生境，深度范围5至40米，记录了不同物种、光照、浊度和背景复杂度的变化。数据集采用COCO JSON格式存储标注与元数据，并附带掩码图像文件夹，便于直接使用与验证。该数据集不仅为水下视觉算法提供了具有挑战性的基准，还通过发布集成了SAM2与CUTIE模型的开源浏览器标注工具，显著降低了高质量标注的技术门槛，增强了海洋影像研究的可复现性和可扩展性。研究成果发表于《Scientific Data》。

**主要关键技术方法**
研究团队设计了一套基于Web的半自动标注流程，核心技术包括：利用Segment Anything Model（SAM2）通过关键点提示生成初始实例分割掩码；采用Cutie模型在帧间传播掩码以保证时序一致性；随后由两名经过训练的标注员进行逐帧人工审查与修正，并通过多阶段验证（自动完整性检查、重复标识检测、交叉审核、定量一致性评估）确保标注质量。数据采集使用了索尼IPELA SNC-CH210、SAIS-IP-bullet、GoPro Hero 3及GoPro Hero 7四种摄像机，记录无人工光照，以避免干扰鱼类行为。所有视频以30 fps、1920×1080像素录制并统一缩放。样本队列来源为地中海研究所（IMEDEA）协调的长期生态监测项目，覆盖马略卡岛周边海域。

**研究结果**
数据集规模与特性：SFISHTRACK包含54个视频，平均时长15.13秒，每帧平均标注6.26条鱼，每个视频平均17.57条不同身份，平均轨迹长度5.2秒。深度分布显示多数序列采集于5至25米，具有明显的光照和色彩衰减差异。
标注质量控制：在随机选择的500帧独立重标注中，标注员间平均交并比（IoU）达到0.89，时间连续性超过90%。经过三轮迭代修正后，在1000帧子集中，自动掩码与人工验证掩码的平均IoU从0.84提升至0.92，身份不匹配减少37%。
数据集对比与分析：与现有水下检测数据集（如HODOR、RMAS、RUOD、OBSEA、OzFish）相比，SFISHTRACK提供了像素级分割和跨帧身份标注，支持多目标跟踪；与水下跟踪数据集（如LifeCLEF 2015、UOT100、WebUOT-1M、MFT25、Fish4Knowledge）相比，SFISHTRACK避免了单目标限制、标注不一致或受控环境等问题，更适合自然条件下的多鱼类追踪评估。
基线跟踪性能：使用Deep OC-SORT（结合运动与外观信息的多目标跟踪框架）与YOLOv8m检测器，在固定评估协议下对多个数据集进行比较。SFISHTRACK上的MOTA、MOTP、IDF1和HOTA等指标反映了其高密度目标、复杂背景和遮挡情况下的挑战性，同时展示了该数据集用于未来方法评估的潜力。

**讨论与结论**
讨论部分强调，SFISHTRACK通过高质量逐帧像素掩码和一致的身份标注，弥补了现有水下数据集在生态代表性、标注准确性和任务适配性方面的不足。其基于Web的标注工具集成了SAM2和Cutie，提高了标注效率，降低了硬件要求，有助于扩展数据集和社区协作。基线实验表明，在统一评估协议下，SFISHTRACK比其他水下跟踪数据集更接近真实的多目标跟踪场景，能够更公正地评估检测、定位和身份保持能力。研究结论指出，该数据集及配套工具为水下多目标鱼类跟踪与分割研究提供了可靠基准和实用基础设施，有望促进海洋生态监测、渔业资源评估和计算机视觉技术在自然水环境中的迁移应用。数据集以CC BY 4.0许可发布，代码与文档开源，确保了长期可访问性和可复现性。