全球人口的快速增长导致了对水生蛋白的需求急剧增加,这突显了高效和可持续水产养殖系统的迫切需求[1]。尽管集约化和大规模水产养殖可以提高产量,但也带来了相当大的风险。为应对这些挑战,发展智能水产养殖技术变得越来越重要。在这些技术中,鱼类行为识别在实现智能水产养殖管理方面发挥着关键作用。它涉及通过整合时空特征和生物特征来系统分析行为模式。这种能力为构建适应性和响应性的水产养殖管理系统奠定了基础。鱼类行为识别支持多种应用,包括精准喂养策略[[2]]、[3]]、[4]]、早期疾病诊断[5,6]、水质评估[[7]]、[8]]、[9]]以及自动化死亡检测[10,11],并取得了显著的成果。
计算硬件和算法框架的最新进展为鱼类行为识别技术的发展创造了重要机会。如图1所示,现有研究主要采用CV[5,[12],[13],[14]]、声学[[15],[16],[17]]和传感器[[18],[19],[20],[21]]技术来通过提取图像、音频和时间序列特征来识别鱼类行为。然而,声学技术容易受到环境干扰,而基于传感器的方法具有侵入性。与这两种方法相比,CV技术由于其低成本、高重复性和非侵入性,在集约化水产养殖场景中具有更大的应用潜力。
水产养殖环境给基于CV的鱼类行为识别带来了许多挑战,包括复杂的环境条件、鱼类之间的高特征相似性、频繁的遮挡、光照变化和运动模糊[22](图2)。传统的CV方法通常通过从图像中提取手工制作的特征(如纹理、颜色和形状)来识别鱼类行为[23]。尽管这些方法可以在一定程度上识别鱼类行为,但它们严重依赖于针对特定应用场景的手动特征设计和调整,这限制了它们的泛化能力。
相比之下,基于DL的CV技术具有显著的优势。基于DL的CV技术通过利用局部感受野、空间上下文编码、权重共享和子采样等机制在提取图像特征方面表现出色[24]。近年来,DL的快速发展推动了多个领域的进步,鱼类行为识别也因此受益,显示出实际应用的强大潜力[25,26]。在这种情况下,使用基于DL的CV技术开发了鱼类行为识别模型。这些模型在带有注释的图像数据集上进行了训练,使它们能够自主从复杂的高维数据中学习区分性模式,而无需手动特征工程[27]。
同时,一些研究对鱼类行为识别的研究进展进行了全面回顾。如表1所总结的,[27]在2021年对使用CV分析鱼类个体和群体行为进行了全面回顾。在此基础上,[28]引入了一套用于鱼类行为定量分析的工具和算法。更近期的研究,如[29,30]和[31],综合了基于DL的CV在水产养殖中的应用进展,包括鱼类识别、检测、计数、生物量估计和行为识别等任务。此外,[26]和[32]研究了立体视觉系统在表型分析、生物量估计、行为识别和鱼类计数中的应用。像[33]和[34]这样的研究提供了基于CV的方法、基于声学的方法和基于传感器的方法在鱼类生物量估计和行为分析中的应用综述。
然而,尽管相关文献越来越多,现有的回顾尚未系统地总结基于DL的CV技术在鱼类行为识别中的应用。考虑到这一点,从行为模式分析的理论角度出发,本文对应用于鱼类行为识别的基于DL的CV技术进行了系统回顾。该回顾重点关注了该领域广泛研究的五个核心行为类别:摄食行为[35]、应激行为[36]、疾病行为[5]、繁殖行为[37,38]和同类相食行为[39](表2)。为了帮助研究人员在水产养殖中有效应用基于DL的CV技术,我们根据[40]将鱼类行为识别的当前进展分为三个层次:重大成功(具有显著影响的研究数量较多)、中等成功(具有有利结果的研究数量相对较多)和较小成功(具有初步有希望结果的研究较少)。此外,我们提供了公开可用的鱼类行为数据集、基于DL的方法的评估指标以及用于描述鱼类行为的量化指数的全面概述。最后,我们对该领域的未来研究方向和新兴挑战进行了批判性讨论。
重大成功:具有显著影响的研究数量较多;中等成功:具有有利结果的研究数量相对较多;较小成功:研究较少但初步结果有希望
与现有的回顾相比,我们的调查在三个关键领域具有独特贡献:
- (1)
我们提供了对基于DL的CV研究主要关注的五种鱼类行为的全面和结构化的回顾。虽然现有的回顾涉及水产养殖监测的各个方面,但它们往往缺乏对专门应用于鱼类行为识别的CV技术的系统分析。在这项工作中,我们根据已建立的行为模式对鱼类行为进行了分类,并确定了使用DL方法广泛研究的五个核心类别:摄食行为、应激行为、疾病行为、繁殖行为和同类相食行为。
- (2)
我们对基于DL的CV技术在识别这五种关键鱼类行为方面的最新进展进行了深入分析。本文综合了关于这些行为的现有文献,并强调了DL如何应用于每种行为。具体来说,我们首先回顾了与鱼类行为识别相关的关键DL架构的演变。然后,我们系统地分析了当前的研究进展,并概述了每个行为类别的潜在未来方向。该回顾旨在帮助研究人员更清楚地了解该领域,并有效地将基于DL的CV技术应用于鱼类行为的研究。
- (3)
我们详细讨论了基于DL的CV在鱼类行为识别中的关键挑战和潜在的未来研究方向。具体来说,我们从数据、方法论和应用三个关键角度探讨了这些问题,旨在为该领域的发展提供有价值的见解。此外,我们提供了可用的鱼类行为数据集、常用的模型评估指标和行为分析的量化指数的概述。这些资源旨在支持正在进行的研究并促进鱼类行为识别的进一步发展。
本文的其余部分结构如下。第2节总结了通过创新方法开发的用于鱼类行为识别的基于DL的CV技术。第3节概述了基于DL的CV技术的发展,重点介绍了核心技术的演变。第4节回顾了公开可用的鱼类行为数据集,讨论了对象分类和检测任务的评估指标,并介绍了用于量化鱼类行为的关键指标。最后,第5节深入讨论了该领域目前面临的主要挑战,并探讨了未来研究的有希望的方向。