基于LightHybridNet-Transformer-FFIA的多模态融合深度学习模型在水产养殖鱼类摄食强度分类中的应用研究

本文推荐一种创新的轻量化混合神经网络LightHybridNet-Transformer-FFIA，通过融合声呐图像与梅尔频谱（Mel spectrograms），实现水产养殖鱼类摄食强度的高精度分类（准确率95.42%）。该模型结合CNN空间特征提取与Transformer时序建模优势，通过特征融合交互聚合模块（FFIA）实现多模态协同分析，仅需0.102M参数量即可超越现有复杂模型，为智能投喂与可持续养殖提供实时监测方案。

　　

亮点

• 提出LightHybridNet-Transformer-FFIA——一种创新轻量化混合架构，巧妙整合CNN（卷积神经网络）与Transformer，仅用0.102M参数实现鱼类摄食强度分类

• 消融实验证明：声呐与声学多模态融合使准确率提升超5%，显著优于单模态方案

• 首次将Transformer网络应用于梅尔频谱分析领域，开创摄食行为分类新范式

• 设计特征级融合策略，充分挖掘声呐空间信息与声学时序动态的互补价值

• 在MRS-FFIA数据集上验证：模型以95.42%验证准确率媲美大型多模态SOTA模型

模型性能评估

LightHybridNet-Transformer-FFIA在验证集上展现卓越性能：分类准确率95.42%，宏平均F1值95.40%。关键指标（精确度、召回率）均显示模型能稳定识别不同摄食强度等级，尤其对"激烈摄食"与"停止摄食"状态的区分灵敏度达96.3%。

讨论

实验结果证实：

1）多模态融合显著提升鲁棒性——声呐弥补声谱在低可见度场景的不足，声谱修正声呐对咬合动作的误判

2）FFIA模块通过交叉注意力机制实现特征交互，比传统拼接法提升3.2% F1值

3）参数效率归功于深度可分离卷积与Transformer蒸馏技术的结合

结论

LightHybridNet-Transformer-FFIA为水产养殖智能化提供突破性解决方案：

? 实现毫米级实时监测（单帧处理耗时<15ms）

? 投喂量优化使饲料浪费降低18.7%

? 模块化设计支持扩展至其他水生生物行为分析