鲁棒于遮挡的鱼类个体识别：一种适用于复杂水下环境的多模型视频识别框架

《Computers and Electronics in Agriculture》：Occlusion-Robust fish individual identification: a multi-model video recognition framework for complex underwater environments

　　• 一种用于水下环境中鱼类个体识别的视频级框架。• 通过融合全局和局部深度特征实现抗遮挡的身份嵌入。• 整合YOLOv9检测和SORT跟踪，以实现稳定的跨帧识别。• 在Fishdata数据集上的识别准确性高于98%，且对部分遮挡具有很强的鲁棒性。

引言
近年来，水生动物的个体识别已成为生态学和智能水产养殖管理中的关键研究课题。准确识别并持续跟踪每条鱼对于理解行为模式、监测种群动态、实施精确的健康管理（Li等人，2022年）以及优化繁殖策略至关重要。传统的识别方法，如标记、荧光染色（Blackburn等人，2011年）、RFID植入或声学跟踪（Sibley等人，2023年），通常涉及高昂的成本、复杂的操作以及对鱼体的物理干扰，这限制了它们在自然或密集水产养殖环境中的大规模应用（Cooke等人，2012年）。相比之下，基于计算机视觉的非侵入式图像识别技术作为一种高效、低成本且可扩展的解决方案，已经出现，用于自动鱼类识别和长期监控。
随着水下视频监控系统的广泛部署，大量真实世界的视频数据变得可用，为个体识别提供了丰富的视觉信息。然而，在自然或养殖环境中，鱼类识别仍面临多重挑战（如图1所示）。水下图像经常受到不均匀照明、浊度、运动模糊和分辨率限制的影响，这些因素会降低图像质量并阻碍可靠的特征提取。此外，同一物种的鱼个体通常外观非常相似，可区分的视觉线索有限，使得身份识别本身具有挑战性。而且，鱼类的三维移动性经常导致姿态变化、部分可见性和相互遮挡，从而导致视频帧中身体观察不完整。这些因素大大降低了传统视觉识别模型的性能，增加了在高密度水产养殖环境中保持一致身份跟踪的难度。与静态图像识别相比，基于视频的识别需要准确的分类和时间稳定性，这在概念上类似于行人重新识别和多目标跟踪任务。综合来看，这些因素使得鱼类视频识别成为一个复杂且具有挑战性的任务。其中，部分遮挡尤为关键，因为它会直接去除具有区分性的身份信息，并且经常导致视频序列中的识别失败和身份混淆错误。因此，提高抗遮挡能力已成为真实水下环境中可靠鱼类个体识别的关键要求。
早期的研究主要依赖于手工制作的特征与传统的分类器相结合，例如形态测量分析、颜色直方图和纹理描述符，但在复杂的自然条件下，它们的性能有限。随着深度学习的兴起，卷积神经网络（CNN）已被广泛用于鱼类分类和识别任务。例如，Rathi等人（2017年）提出了一种结合CNN与图像处理方法的混合技术，实现了高精度的鱼类分类；Mandal等人（2018年）应用Faster R-CNN进行鱼类检测和识别，展示了强大的跨数据集泛化能力；Siddiqui等人（2018年）将预训练的CNN与跨层特征池化和SVM分类器结合起来，在没有大规模标注数据的情况下实现了94.3%的分类准确率；Hridayami等人（2019年）开发了一个基于VGG16的模型，并采用多种图像预处理策略，实现了在混合RGB图像上的96.4%准确率。
后续的研究进一步专注于在具有挑战性的水下条件下提高鱼类识别能力。Olsvik等人（2019年）引入了Squeeze-and-Excitation（SE）机制，以增强对细粒度鱼类身体结构的敏感性，在杂乱的水下环境中实现了高分类准确率；Jiang等人（2022年）提出了一种基于迁移学习的鱼类识别方法，以提高在样本量少的情况下的适应性；Jain等人（2024年）在浑浊和低可见度条件下评估了EfficientDet、YOLOv5和YOLOv8，并通过BiFPN优化改进了特征融合；Zheng等人（2024年）开发了一种基于视频分割的鱼类识别方法，展示了分割对识别准确性的益处；Gao等人（2022年）通过引入CBAM、膨胀卷积和ArcFace损失改进了YOLOv4，增强了低质量图像的特征表示和区分能力；Liu等人（2023年）引入了FishFace损失，根据视觉可识别性对样本进行加权，以提高识别性能。最近，Liang等人（2025年）通过结合局部和全局特征表示，解决了水体遮挡下的鱼类个体识别问题，展示了互补特征信息在从部分可见的鱼类中恢复身份相关线索的潜力。
然而，仅依靠识别模型不足以在真实世界的视频应用中保持一致的身份，因此多目标跟踪成为一个重要的补充。近年来，相关研究致力于对象检测和时间关联算法的集成优化。Marini等人（2018年）展示了水下图像识别在鱼类数量监测中的应用，强调了自动化视觉分析对于连续水下观测的重要性；Lopez-Marcano等人（2021年）提出了一种结合对象检测和多个跟踪算法的自动化视频框架，用于自然珊瑚礁环境中Acanthochromis polyacanthus的非侵入性行为跟踪；Liu等人（2023年）引入了具有时间一致性约束和特征补偿的FishMOT，以减少遮挡下的身份混淆；同年，Liu等人（2023年）开发了FishTrack，该框架结合了时空编码和Pyramid Vision Transformer来处理遮挡和高个体间相似性；Li等人（2024年）提出了基于Transformer的TFMFT系统，使用多目标匹配和鱼类互动建模来提高跟踪性能；Ferone等人（2023年）使用合成数据进一步研究了水下环境中的光流学习，为水下运动建模提供了补充视角；更近期，Shah等人（2025年）研究了水下图像中改进的鱼类跟踪，以用于海洋生物多样性监测，进一步证明了可靠的时间关联在水下视觉分析中的重要性；Huang等人（2025年）发布了UD-MFT基准测试，重点关注身体变形和外观相似性等挑战，并提供了对多目标跟踪方法的系统评估。尽管这些方法改善了跨帧身份的保持，但它们的性能仍然依赖于底层识别模型的鲁棒性，而这些模型仍可能受到遮挡和部分可见性的影响。
在这些挑战中，遮挡仍然是鱼类个体识别的主要瓶颈，因为它在高密度水产养殖和自然水生环境中都很常见，并且会显著减少具有区分性的视觉信息。受到面部识别（Zhao等人，2003年）和人员重新识别（Tian等人，2015年）进展的启发，研究人员探索了局部感知和抗遮挡建模。例如，Sun等人（2018年）提出了基于部分的卷积基线（PCB），通过图像分割提取多个局部特征并在遮挡下提高识别能力；随后，Lu等人（2019年）开发了OFNet，通过遮挡边界信息和互补的背景-前景特征增强了遮挡推理；Feng等人（2021年）提出了OPNet，结合共享特征和任务特定特征以及正交遮挡表示，以解耦遮挡边界和方向信息；最近，Zhou等人（2023年）引入了一个双路径框架，通过特征交互和双条带卷积分别建模遮挡边界和方向，进一步改进了遮挡关系推理。
与此同时，最近的深度嵌入模型在大规模图像检索和细粒度识别方面取得了显著成功。CosPlace模型（Berton等人，2022年）学习了具有强语义表示能力的鲁棒全局嵌入向量，并已广泛应用于场景识别和视觉定位；相比之下，Deep Orthogonal Fusion of Local and Global（DOLG）模型（Yang等人，2021年）强调了局部结构细节和全局上下文信息之间的交互，在部分遮挡和结构变化下表现出强大的鲁棒性。虽然这些模型在各自的任务中表现出色，但在高度动态的水下环境中发生严重遮挡时，它们的有效性可能仍然有限。遮挡通常伴随着姿态变化和外观模糊，导致身份信息不完整和识别性能下降。
然而，在真实的水下视频中，遮挡不仅会导致瞬时的识别失败，还会导致时间误差累积，从而导致轨迹碎片化、身份模糊和频繁的身份切换。因此，在保持强大的抗遮挡能力和跨帧身份一致性的同时，有效地整合互补的视觉表示，仍然是动态水下环境中鱼类个体识别的一个关键挑战。
值得注意的是，本研究专注于鱼类个体识别而非物种级分类。尽管Fishdata数据集包含多种鱼类，但识别实验是在每个物种内分别进行的。每条鱼个体都被分配了一个唯一的身份标签，目标是区分属于同一物种的不同个体。因此，本研究中解决的问题被表述为一个封闭集鱼类个体识别问题，在评估过程中所有查询身份都在图库数据库中表示。
为了应对部分遮挡下的鱼类个体识别挑战，本研究提出了一个集成的视频级鱼类个体识别框架，将鱼类检测、对象跟踪、互补特征提取、特征融合和身份检索结合到一个统一的流程中。该框架不是引入新的检测或跟踪算法，而是将已建立的技术与专门的局部-全局特征融合策略结合起来，以在复杂的水下环境中改善部分遮挡下的鱼类个体识别。通过利用互补的局部和全局表示，该框架在鱼身体部分被遮挡时保留了具有区分性的身份信息，同时在真实的水下成像条件下保持了强大的识别性能。本工作的主要创新和贡献总结如下：
1. 视频级系统集成：YOLOv9、SORT、多模型特征提取和身份检索被集成到一个统一的框架中，用于水下视频中的鱼类个体识别，实现了在部分遮挡下的稳定身份关联和连续识别。
2. 局部-全局特征融合：通过MLP融合CosPlace提取的互补全局表示和DOLG提取的局部区分特征，提高了在部分遮挡、姿态变化和图像退化下的身份表示的鲁棒性。
3. 身份检索框架：采用基于余弦相似性的检索策略，利用融合的嵌入进行鱼类个体识别，提供了适合长期水下视频分析的解释性和高效识别过程。

在具有不同遮挡水平的水下鱼类视频上的实验评估表明，所提出的框架有效应对了部分遮挡的主要挑战，同时在真实的水下条件下保持了高识别准确性和时间稳定性。与单模型方法相比，所提出的集成框架通过有效结合互补特征表示，展示了更好的鲁棒性和识别一致性，为水下鱼类监测和行为研究提供了实用可靠的解决方案。

材料与方法
为了应对复杂水下环境中部分遮挡下的鱼类个体识别挑战，本研究提出了一种具有增强抗遮挡能力的视频级识别和跟踪框架。如图1所示，由于身体重叠、鱼群行为和背景物体，水下鱼类视频中经常出现部分遮挡，这是导致身份模糊和识别失败的主要原因之一。

数据集：为了支持本研究中的鱼类个体识别和分析任务，我们使用了之前构建的Fishdata数据集。该数据集整合了来自水产养殖设施和在线视频资源的图像，包括四种常见的鱼类：锦鲤、金鱼、河豚和小丑鱼，共计3,000张图像。所有图像都经过了严格的质量筛选，以平衡清晰度和环境复杂性，包括清晰无遮挡的鱼类图像。

消融研究
为了全面验证所提出的鱼类个体识别系统的关键组成部分及其设计原理，从两个角度进行了消融实验。首先，分析了各种特征提取方法在识别任务中的性能差异；其次，进一步研究了不同特征融合策略对系统最终检索性能的影响。实验系统地评估了每种配置。

讨论
本研究关注Fishdata数据集所代表的水下条件下鱼类个体识别在部分遮挡下的挑战。尽管水下鱼类监测受到多种因素的影响，包括照明变化、运动模糊、图像退化和姿态变化，但部分遮挡仍然是最关键的障碍之一，因为它直接移除了具有区分性的身份信息，并且经常导致识别失败。

CRediT作者贡献声明
Xuelan Liang：写作 - 审稿与编辑，概念化。
Junfeng Wu：写作 - 审稿与编辑，概念化。
Yida Sha：写作 - 原始草案，数据管理。
Miao Chen：写作 - 审稿与编辑。
Peihua Wu：监督，资源管理。
Saibei Zheng：可视化，调查。
Shaojiang Cheng：可视化，调查。
Yizhi Zhou：可视化，调查。
Yongzhi Xie：可视化，资源管理。洪宇：本文未包含任何由作者进行的涉及人类参与者或动物的研究。
伦理审批声明：
本文未包含任何需要伦理审批的研究内容。

资金来源说明：
本研究得到了大连市科技创新人才支持计划（2024RG008）、国家自然科学基金（31972846）以及辽宁省自然科学基金（2023-MSLH-008）的资助；同时还获得了2024年度基础研究业务经费（LJ212410158021、2024JBYBZ007）的支持。

利益冲突声明：
作者声明，他们不存在任何可能影响本文研究结果的已知财务利益冲突或个人关系。

致谢：
我们衷心感谢匿名审稿人和编辑们细致入微的评审工作。
梁雪兰 | 吴俊峰 | 沙一达 | 陈淼 | 吴培华 | 郑赛北 | 程少江 | 周一志 | 谢永志 | 洪宇