基于ROV视频计算机视觉的巴斯克海岸12类大型底栖生物自动检测与计数

《Estuarine, Coastal and Shelf Science》：Automated Detection and Counting of 12 Macrobenthic Taxa on the Basque Coast using Computer Vision on ROV Videos

　　

• •
  开发了一条自动化流水线，用于从ROV视频中检测和计数13种底栖生物类群。
• •
  在具有挑战性的水下条件下实现了稳健的检测性能。
• •
  丰度估计值与人工计数结果吻合良好。
• •
  准确率水平适合管理和监测应用。
• •
  与传统方法相比，显著提高了效率和可扩展性。

引言

监测底栖生物多样性对于了解生态系统如何应对人类压力和气候变化至关重要。然而，要获得关于生物多样性及其动态的有意义的见解，需要扩展观测的空间和时间覆盖范围，统一采样方法，并改善采样工作的协调性（Muller-Karger等，2018；Chust等，2022；Valdez等，2023）。增强自动化数据收集和处理的能够显著提升向科学家和决策者提供的信息的数量和质量（Irigoien等，2009；Jetz等，2019）。然而，海量数据使得提取有价值的信息成为一项耗时且困难的任务。因此，开发具有成本效益的生物多样性监测工具对于识别和绘制脆弱栖息地以及建立保护高价值生态系统服务的管理策略至关重要。这些努力还支持评估国际承诺的进展，包括联合国可持续发展目标、生物多样性公约目标和欧盟生物多样性战略，并为基于证据的保护和管理行动提供支撑（Vinuesa等，2020；Palomares等，2021）。

监测底栖生物多样性的方法有很多，从传统的物理采样技术（如抓斗、取芯器、拖网和耙网）（Eleftheriou，2013），到较新的技术如声学测绘（Mooney等，2020）、环境DNA（eDNA）宏条形码分析（Pawlowski等，2022）、航空摄影和卫星影像（Zhang等，2013），以及水下数字成像平台，如自主水下航行器（AUVs）（Piechaud等，2019）、遥控潜水器（ROVs）（Tait等，2023）、拖曳视频系统（Prado等，2019；Liu和Wang，2021）和诱饵远程水下视频站（BRUVs）（Ghazilou等，2016；Devine等，2019）。本研究专注于利用ROV获取的水下数字图像自动绘制底栖生物类群地图。当结合计算机视觉（CV）技术时，水下图像为底栖生物类群监测提供了显著优势，促进了半自动计数，并实现了未来对类群密度的估算。

近年来，AI驱动的数字成像技术取得了重大进展，尤其是深度学习模型，在基于图像的底栖监测的效率、可扩展性和可重复性方面展现出巨大潜力（He等，2015；Esteva等，2017）。过去几十年来，计算机视觉领域经历了快速发展，从较传统的特征提取方法（Schoening等，2012；Seiler等，2012）发展到在各种视觉识别任务中取得最先进成果的深度学习方法。传统CV模型通过从图像中提取预定义的视觉特征，并使用经典机器学习算法在这些特征上识别模式来工作。相比之下，现代深度学习方法（特别是卷积神经网络CNNs）能够直接从原始图像中自动学习层次化特征。因此，深度学习相对于传统机器学习方法具有关键优势，如自动特征提取、减少对手工特征工程的依赖、在复杂视觉识别任务中的最先进性能，以及在不同数据集和成像条件下学习可迁移特征表示的能力（LeCun等，2015；Esteva等，2017）。这些特点使深度学习非常适合水下监测等挑战性环境，在这些环境中，物体外观、照明、浊度和背景复杂性可能会有显著变化（Rubbens等，2023）。

分析水下图像面临独特的技术挑战，包括不同帧之间物体外观不一致、低光照条件、频繁遮挡、复杂且异质的背景、水体浊度和图像噪声。此外，水柱中的色彩衰减和光散射通常会降低图像质量并改变底栖生物的视觉特征，使其识别特别困难。尽管存在这些挑战，已有多种自动化方法被提出用于底栖生物类群监测（Zhang等，2013；Ghazilou等，2016；Devine等，2019；Piechaud等，2019；Iyer等，2024；Trotter等，2025）。虽然这些方法显示出令人鼓舞的结果，但其泛化能力仍然有限，特别是当应用于新环境或未见过的类群时（Csurka，2017）。一个主要且持续存在的限制是针对特定区域和目标类群的高质量标注数据集的可用性，因为标注耗时且需要专业知识。

为解决这一监测挑战，本研究开发了针对比斯开湾东南部的站点特异性大型底栖生物数据集，使其能够开发一种自动CV方法来检测ROV视频画面中12种大型底栖生物类群并估计其丰度。主要目标是建立一个半自动工具，与传统的人工检测和计数方法相比，减少区域大型底栖生物监测所需的时间。需要注意的是，所提出的工作流程旨在重现专家得出的丰度计数，而非估计相对密度。尽管如此，当可获得可靠的调查面积或样线长度测量数据时，该方法论可以很容易地扩展以推导基于密度的指标（例如每单位面积或每单位样线长度的个体数量）。此外，据我们所知，这是首次使用此类方法对其中一些类群进行建模，包括Leptometra celtica、Funiculina quadrangularis、Gracilechinus acutus、Parastichopus regalis、Ophiothrix fragilis、Pennatulidae、Alcyonium palmatum、Gorgoniidae和海绵动物（Porifera）。因此，本研究可能有助于开发站点特异性的AI监测工具，这些工具可能支持未来比斯开湾东南部的海洋生态研究和管理举措。

章节摘要

材料与方法

开发和验证CV模型的方法论在图1中进行了说明。该工作流程包含六个主要阶段：数据收集、视频标注、数据划分、数据集预处理、模型训练和最终模型评估。以下各节将详细描述每个步骤。

标注结果

共标注了10373张图片，每类的实例数量如图5所示。类别分布显示出明显的失衡现象，少数类群占标注总数的较大比例。这种失衡可能会通过使预测偏向于主导类别而对模型训练产生不利影响。因此，类别失衡在数据预处理阶段得到了处理，如第2.3节所述。类群按

讨论

标注质量构成了一个关键的误差来源，特别是在试图将类群与其更广泛的分类组分开量化，或标注形成殖民体的类群（即D. cornigera）时。此外，本研究中的人工标注被作为参考观测值处理，然而它们不应被解释为无误差的基准。先前的研究表明，人类的检测成功率约为80%，分类准确率在84%–95%之间

结论

本研究证明，YOLOv8x、Faster R-CNN和WBF等CV模型能够成功识别ROV图像中的多种底栖生物类群，性能水平可比或超过先前研究中报告的结果。此外，这是首次使用半自动计算机视觉方法对比斯开湾东南海岸的12种底栖生物类群进行建模，突显了该方法的创新性和区域相关性。尽管该方法目前提供的

CRediT作者贡献声明

Igor Granado：写作–审阅与编辑，写作–初稿，可视化，验证，软件，方法论，调查研究，正式分析，数据管理，概念化。Xabier Lekunberri：写作–审阅与编辑，资源。Ibon Galparsoro：写作–审阅与编辑，资源，资金获取，概念化。Jose A. Fernandes-Salvador：写作–审阅与编辑，资源，资金获取，概念化。Natalia Montero：写作–审阅与编辑。Inma

未引用参考文献

Intel,; Jetz等，; Jocher等，; LeCun等，; MBARI,; Mooney等，; Muller-Karger等，; Pawlowski等，; Rubbens等，; Ultralytics,; Vinuesa等，。

数据声明

支持本研究的数据可向通讯作者I.G.合理请求获得。

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文所报告的工作。

致谢

本研究获得了以下项目的资金支持：BioBoost+项目（Biodiversa+欧洲生物多样性伙伴关系计划的一部分）；欧盟地平线2020研究和创新计划（资助协议编号101081642，OBAMA-NEXT）；以及IMPACPESCA（渔业对底栖栖息地影响的收集数据）项目，由巴斯克政府渔业和水产养殖司、西班牙农业、渔业和食品部和EUMAP资助

Igor Granado|Ibon Galparsoro|Xabier Lekunberri|Inma Martin|Natalia Montero|Joxe Mikel Garmendia|Jose A. Fernandes-Salvador