一种用于识别鱼群进食强度的双流时空融合方法

《Aquaculture International》：A dual-stream spatiotemporal fusion method for fish school feeding intensity identification

精准识别鱼群进食强度对循环水养殖系统（RAS）精准投喂至关重要。现有单模态方法难以有效捕捉时空动态并受环境干扰影响判断。本文提出双流时空融合方法（DSSFM），通过MobileNetV3提取RGB与光流特征，结合时空连接模块（TCM）和跨模态融合模块（CMFM）实现高效时空特征融合，实验表明其准确率达95.52%，参数量7.47M，有效解决复杂环境下高精度实时识别难题。

　　

摘要

准确识别鱼群的进食强度是实现工厂循环水养殖系统（RAS）精准喂养的关键步骤。在进食过程中，鱼类会表现出一系列时间动态特征，如运动和瞬时姿势变化。然而，现有的单一模态视觉方法无法有效从视频中捕捉时间信息，并且容易受到严重环境噪声和水流干扰的影响，从而导致对进食强度的误判。为此，提出了一种双流时空融合方法（DSSFM）用于识别鱼群的进食强度。首先，在时间分割网络中使用MobileNetV3的特征提取网络从RGB视频和光流图序列中提取特征。然后，提出时间连接模块（TCM）来建立各时间段之间的时间相关性。接下来，提出跨模态融合模块（CMFM）以实现光流和RGB特征的深度融合，该方法引入了一种选择性状态空间模型，以线性效率来模拟跨模态的时空一致性。在该模块中，提出了时间增强瓶颈（TEB）块，用于关注时间信息，包括鱼类的运动和方向信息。为了评估所提出的方法，在鱼群进食行为视频数据集上进行了大量实验。实验结果表明，我们的方法在准确性（95.52%）和参数数量（7.47百万）方面优于其他主流的单一模态和多模态方法。因此，所提出的方法为在复杂的工厂循环水养殖环境中实现高精度、轻量化和实时的鱼类进食强度识别提供了有效的解决方案。