基于深度学习的水下物种识别技术：进展、基准测试与挑战

《Signal Processing: Image Communication》：Deep learning-based underwater species recognition: Advances, benchmarks and challenges

水下物种识别研究综述：系统梳理深度学习方法，提出数据级、模型级与知识级三维框架，揭示细粒度特征与长尾分布两大核心挑战，构建标准化基准数据集与对比实验，为海洋智能监测提供理论支撑与未来方向。

　　

陈国|陈伟玲|赵铁松

中国福州大学物理与信息工程学院，媒体信息智能处理与无线传输福建省重点实验室，福州350108

摘要

在水下环境中，由于海洋生物学和水下车辆的进步，计算机视觉和图像处理技术受到了越来越多的关注。作为一项基本任务，水下物种识别在各种实际应用中起着至关重要的作用。随着深度学习的快速发展，这一领域取得了显著进展。然而，现有的研究缺乏对数据相关挑战的系统性分析，且往往局限于小规模数据集。在本文中，我们全面回顾了基于深度学习的水下物种识别方法。我们将现有方法分为三大类，并对代表性方法进行了结构化的综述。此外，我们强调了细粒度识别和长尾分布作为关键但尚未充分探索的挑战，并通过实证评估分析了它们的影响。我们还介绍了大规模的基准数据集，并提供了统一的基线比较。最后，我们讨论了新兴的研究方向和开放性问题，以指导未来的研究。

引言

随着陆地资源开发的饱和，人们的注意力逐渐转向了广阔而未充分开发的海洋，海洋覆盖了地球表面的大约70%。海洋在资源开发方面具有巨大潜力，包括能源、矿产、生物和水资源，超过了陆地资源。此外，海洋还是人类获取食物、水、能源、医药等必需资源的重要来源[1]、[2]。在这种背景下，有效利用自主水下航行器（AUV）和遥控水下航行器（ROV）等水下平台，可以充分发挥先进的计算机视觉和图像处理技术的潜力。

图像识别使计算机能够自动识别图像中的对象、模式或特征，帮助计算机像人类一样理解视觉内容，从而实现自动理解、分析和决策。作为各种视觉任务的基础问题，识别为许多下游任务提供了强大的特征表示。它还在理解各种水生生物的行为和数量方面发挥着关键作用，这有助于海洋生物学、生物多样性监测、物种差异分析以及濒危物种的保护等。水下物种识别的主要目标是建立能够识别不同水生物种的稳健模型，这些物种包括不同的鱼类[3]、水生植物[4]和浮游生物[5]等。在过去十年中，这一领域经历了活跃的探索[6]、[7]，尤其是深度学习[8]及其强大的表示学习能力的应用推动了这一领域的显著进展。基于深度学习的水下物种识别极大地促进了这些方法在多种应用场景中的实际部署。

作为计算机视觉和图像处理研究中一个新兴且具有挑战性的课题，水下物种识别引起了研究界的日益关注。这一点从相关论文数量的增加以及在线竞赛中可以看出，例如用于鲸鱼分类的座头鲸识别竞赛[17]、用于鱼类物种分类的自然保护渔业监测竞赛[18]以及用于大规模自然物种识别的人工博物学家竞赛[19]。

尽管兴趣日益增加，但目前关于水下物种识别的研究仍然分散，缺乏一个统一和系统的框架来组织从不同角度开发的方法。特别是，现有的研究要么关注一般的水下视觉任务，要么关注特定技术，而没有专门针对基于深度学习的水下物种识别进行系统分析。为了解决这一差距，本研究从统一的角度提供了全面和结构化的综述。具体来说，我们将现有方法分为三个互补的范式：数据级增强、模型级表示学习和知识级迁移。这种分类法为理解不同方法如何应对水下环境中的独特挑战提供了原则性的框架。

与主要关注一般水下视觉任务、特定模型设计或有限应用场景的现有研究相比，本研究专门针对基于深度学习的水下物种识别进行了综述。如表1所示，以往的研究要么强调广泛的水下视觉问题，要么缺乏对物种级识别的深入分析。相比之下，我们的综述提供了统一的分类法、跨数据集的更全面的基准分析，以及对水下环境中细粒度和长尾挑战的专注研究。

本研究旨在不仅提供全面的综述，还提供关于水下物种识别的结构化和前瞻性的视角。主要贡献总结如下：

• $•$
  我们提供了从数据级、模型级和知识级角度出发的基于深度学习的水下物种识别方法的统一分类法，使人们对现有方法有了系统的理解。
• $•$
  我们对代表性方法和基准进行了全面的回顾和比较分析，以统一评估水下物种识别的最新进展。
• $•$
  我们重新审视了水下物种识别中的细粒度特征和长尾分布的关键挑战，并讨论了该领域的未来方向和潜在挑战。

其余部分安排如下：第2节介绍了水下物种识别的基本原理和挑战。第3节系统回顾了基于深度学习的现有先进方法。第4节介绍了常见的基准数据集以及更大规模、组织良好的数据集，并展示了广泛的基准测试结果。最后，第5节讨论了一些未来研究的潜在趋势和方向，第6节对本文进行了总结。

部分摘录

背景：初步知识和研究挑战

图像识别是计算机视觉中的一个长期且基础性的任务，旨在使计算机能够理解图像的内容。深度学习的出现，特别是神经网络[20]、[21]、[22]和大规模数据集[23]、[24]的发展，使得图像识别在准确性和效率方面取得了显著进步。在水下物种识别领域，具体来说，它是识别存在于水中的对象。

基于深度学习的水下物种识别

准确高效的物种分类是水下计算机视觉和图像处理研究的基础和前提。在过去十年中，该领域被广泛研究，用于自动区分复杂水环境中的各种生物，如鱼类[3]、[25]、[26]、浮游生物[5]、[27]、珊瑚礁[4]。传统的水生物种分类方法通常依赖于形状、颜色和纹理等手动视觉特征[28]。

基准数据集和结果

在本节中，我们详细回顾了基准数据集和识别准确性的实验结果、模型参数以及浮点运算（FLOPs）。由于水下物种识别社区缺乏组织和标准化，包括在骨干选择、数据集和数据预处理方面的不一致性，我们努力建立标准的实验设置以便进行公平比较。值得注意的是，我们提供了统一且强大的基准。

未来方向

在本节中，我们概述了深度水下物种学习的各种未来研究方向，包括方法论的进步和新的任务探索。

结论

我们对基于深度学习的水下物种识别的最新进展进行了全面调查。我们对现有工作的审查强调了细粒度和长尾分析在这一领域中的不可或缺的作用。此外，我们倡导在这一领域的研究应与统一标准和大规模数据集的发展趋势保持一致，通过引入相关技术来实现这一目标。我们期望这项调查有助于更好地理解水下物种分析。

CRediT作者贡献声明

陈国：概念化、形式分析、调查、撰写——原始草稿。陈伟玲：形式分析、项目管理、监督。赵铁松：项目管理、监督、撰写——审稿和编辑。

未引用的参考文献

[114], [115]

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。