综述:基于深度学习的计算机视觉技术在集约化水产养殖中用于鱼类行为识别:综述

《Computer Science Review》:Deep learning-based computer vision for fish behavior recognition in intensive aquaculture: A comprehensive review

【字体: 大 中 小 】 时间:2026年01月15日 来源:Computer Science Review 12.7

编辑推荐:

  青轩何|慧慧余|韩香秦|玉鹏梅|凌旭|应倩柴|翠丽李|丽华宋|大亮李|应义陈中国农业大学数字渔业国家创新中心,清华大学东路17号,北京100083,中国摘要鱼类行为识别在评估鱼类福利和支持集约化水产养殖的可持续发展方面发挥着至关重要的作用。由于深度学习(DL)在提取复杂特征方面的

  
青轩何|慧慧余|韩香秦|玉鹏梅|凌旭|应倩柴|翠丽李|丽华宋|大亮李|应义陈
中国农业大学数字渔业国家创新中心,清华大学东路17号,北京100083,中国

摘要

鱼类行为识别在评估鱼类福利和支持集约化水产养殖的可持续发展方面发挥着至关重要的作用。由于深度学习(DL)在提取复杂特征方面的强大能力,计算机视觉(CV)已成为推动行为识别方法发展的主要驱动力。这些技术为智能水产养殖管理和水质监测提供了重要支持,有助于向可持续、集约化和大规模的养殖方式转变。本文全面概述了基于DL的CV技术在鱼类行为识别方面的发展与应用。重点介绍了五种代表性的行为类别:摄食、应激、疾病、繁殖和同类相食行为,并总结了最近的进展和重要的方法创新。此外,我们还介绍了七个公开可用的数据集、常用的评估指标和行为量化指数。本文最后指出了当前的研究挑战,并概述了未来支持水产养殖系统鱼类行为识别持续创新的方向。

引言

全球人口的快速增长导致了对水生蛋白的需求急剧增加,这突显了高效和可持续水产养殖系统的迫切需求[1]。尽管集约化和大规模水产养殖可以提高产量,但也带来了相当大的风险。为应对这些挑战,发展智能水产养殖技术变得越来越重要。在这些技术中,鱼类行为识别在实现智能水产养殖管理方面发挥着关键作用。它涉及通过整合时空特征和生物特征来系统分析行为模式。这种能力为构建适应性和响应性的水产养殖管理系统奠定了基础。鱼类行为识别支持多种应用,包括精准喂养策略[[2]]、[3]]、[4]]、早期疾病诊断[5,6]、水质评估[[7]]、[8]]、[9]]以及自动化死亡检测[10,11],并取得了显著的成果。
计算硬件和算法框架的最新进展为鱼类行为识别技术的发展创造了重要机会。如图1所示,现有研究主要采用CV[5,[12],[13],[14]]、声学[[15],[16],[17]]和传感器[[18],[19],[20],[21]]技术来通过提取图像、音频和时间序列特征来识别鱼类行为。然而,声学技术容易受到环境干扰,而基于传感器的方法具有侵入性。与这两种方法相比,CV技术由于其低成本、高重复性和非侵入性,在集约化水产养殖场景中具有更大的应用潜力。
水产养殖环境给基于CV的鱼类行为识别带来了许多挑战,包括复杂的环境条件、鱼类之间的高特征相似性、频繁的遮挡、光照变化和运动模糊[22](图2)。传统的CV方法通常通过从图像中提取手工制作的特征(如纹理、颜色和形状)来识别鱼类行为[23]。尽管这些方法可以在一定程度上识别鱼类行为,但它们严重依赖于针对特定应用场景的手动特征设计和调整,这限制了它们的泛化能力。
相比之下,基于DL的CV技术具有显著的优势。基于DL的CV技术通过利用局部感受野、空间上下文编码、权重共享和子采样等机制在提取图像特征方面表现出色[24]。近年来,DL的快速发展推动了多个领域的进步,鱼类行为识别也因此受益,显示出实际应用的强大潜力[25,26]。在这种情况下,使用基于DL的CV技术开发了鱼类行为识别模型。这些模型在带有注释的图像数据集上进行了训练,使它们能够自主从复杂的高维数据中学习区分性模式,而无需手动特征工程[27]。
同时,一些研究对鱼类行为识别的研究进展进行了全面回顾。如表1所总结的,[27]在2021年对使用CV分析鱼类个体和群体行为进行了全面回顾。在此基础上,[28]引入了一套用于鱼类行为定量分析的工具和算法。更近期的研究,如[29,30]和[31],综合了基于DL的CV在水产养殖中的应用进展,包括鱼类识别、检测、计数、生物量估计和行为识别等任务。此外,[26]和[32]研究了立体视觉系统在表型分析、生物量估计、行为识别和鱼类计数中的应用。像[33]和[34]这样的研究提供了基于CV的方法、基于声学的方法和基于传感器的方法在鱼类生物量估计和行为分析中的应用综述。
然而,尽管相关文献越来越多,现有的回顾尚未系统地总结基于DL的CV技术在鱼类行为识别中的应用。考虑到这一点,从行为模式分析的理论角度出发,本文对应用于鱼类行为识别的基于DL的CV技术进行了系统回顾。该回顾重点关注了该领域广泛研究的五个核心行为类别:摄食行为[35]、应激行为[36]、疾病行为[5]、繁殖行为[37,38]和同类相食行为[39](表2)。为了帮助研究人员在水产养殖中有效应用基于DL的CV技术,我们根据[40]将鱼类行为识别的当前进展分为三个层次:重大成功(具有显著影响的研究数量较多)、中等成功(具有有利结果的研究数量相对较多)和较小成功(具有初步有希望结果的研究较少)。此外,我们提供了公开可用的鱼类行为数据集、基于DL的方法的评估指标以及用于描述鱼类行为的量化指数的全面概述。最后,我们对该领域的未来研究方向和新兴挑战进行了批判性讨论。
重大成功:具有显著影响的研究数量较多;中等成功:具有有利结果的研究数量相对较多;较小成功:研究较少但初步结果有希望
与现有的回顾相比,我们的调查在三个关键领域具有独特贡献:
  • (1)
    我们提供了对基于DL的CV研究主要关注的五种鱼类行为的全面和结构化的回顾。虽然现有的回顾涉及水产养殖监测的各个方面,但它们往往缺乏对专门应用于鱼类行为识别的CV技术的系统分析。在这项工作中,我们根据已建立的行为模式对鱼类行为进行了分类,并确定了使用DL方法广泛研究的五个核心类别:摄食行为、应激行为、疾病行为、繁殖行为和同类相食行为。
  • (2)
    我们对基于DL的CV技术在识别这五种关键鱼类行为方面的最新进展进行了深入分析。本文综合了关于这些行为的现有文献,并强调了DL如何应用于每种行为。具体来说,我们首先回顾了与鱼类行为识别相关的关键DL架构的演变。然后,我们系统地分析了当前的研究进展,并概述了每个行为类别的潜在未来方向。该回顾旨在帮助研究人员更清楚地了解该领域,并有效地将基于DL的CV技术应用于鱼类行为的研究。
  • (3)
    我们详细讨论了基于DL的CV在鱼类行为识别中的关键挑战和潜在的未来研究方向。具体来说,我们从数据、方法论和应用三个关键角度探讨了这些问题,旨在为该领域的发展提供有价值的见解。此外,我们提供了可用的鱼类行为数据集、常用的模型评估指标和行为分析的量化指数的概述。这些资源旨在支持正在进行的研究并促进鱼类行为识别的进一步发展。
本文的其余部分结构如下。第2节总结了通过创新方法开发的用于鱼类行为识别的基于DL的CV技术。第3节概述了基于DL的CV技术的发展,重点介绍了核心技术的演变。第4节回顾了公开可用的鱼类行为数据集,讨论了对象分类和检测任务的评估指标,并介绍了用于量化鱼类行为的关键指标。最后,第5节深入讨论了该领域目前面临的主要挑战,并探讨了未来研究的有希望的方向。

章节片段

基于DL的鱼类行为识别方法概述

鱼类行为是一个基本属性,反映了生物对外部环境变化和内部生理状态的敏感性。迄今为止,鱼类行为分析已广泛应用于各个领域,包括高效的水产养殖管理[[41]]、[42]]、[43]]、[44]]、药理学研究[45]]、水质监测[7,[46],[47]],以及水力工程和设施设计的优化[[49]]、[50]]、[51]]。在集约化水产养殖中,

基于DL的CV模型

在CV领域,基于DL的技术受到人类视觉系统的启发,能够高效地分析图像并执行对象分类和检测等复杂任务。这些方法可以大致分为两种主要范式:基于CNN的方法和基于Transformer的方法(图9)[111,112]。每种方法都有其独特的优势,并在鱼类行为分析中表现出色。

数据集和评估指标

现有的基于DL的CV技术在一系列公共数据集上取得了显著的成功。在水产养殖领域,已经开发了几个公开可用的数据集,如Fish4Knowledge [149,150]和3D ZEF [151],以支持鱼类监测和分析的研究。具体关注鱼类行为识别,本研究介绍并总结了七个具有代表性的鱼类行为数据集,强调了它们的可访问性和实际相关性

挑战和未来工作

尽管基于DL的CV技术在提取鱼类行为特征和识别行为模式方面取得了显著突破,但在技术成熟度和发展进度方面,该领域仍远远落后于人类行为识别。这一差距主要是由于水生物种之间的固有生物学差异以及水产养殖环境特有的复杂性。在本节中,我们系统地总结了关键的科学

结论

近年来,基于DL的CV技术在水产养殖领域取得了显著进展,在推进集约化和可持续养殖实践中发挥了重要作用。本文全面回顾了它们在鱼类行为识别中的应用,重点关注五个关键行为类别:摄食、应激、疾病、繁殖和同类相食行为。通过系统地评估这些行为类型的当前研究,该回顾展示了DL

数据可用性

本文描述的研究没有使用任何数据。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号