基于知识图谱和半监督学习特征增强的水下鱼类图像识别

《Scientific Reports》：Underwater fish image recognition based on knowledge graphs and semi-supervised learning feature enhancement

高精度鱼类物种识别是智能水产生物养殖的关键前提，但水下环境（光线变化、浑浊、遮挡、物种相似）导致传统CNN方法生物先验不足。本研究提出知识增强框架Fish Multimodal Knowledge Graph（FM-KG），通过语义引导降噪模块（SGDM）和知识驱动注意力动态调制层（K-ADML）融合多源生物与环境知识，有效恢复水下图像退化问题，并在低信噪比和严重模糊条件下显著优于现有方法。

　　

摘要

高精度的鱼类物种识别是自动化混养系统中实现适应性、降低疾病风险的精准喂养的关键前提。然而，严重的水下环境退化（如光照波动、水体浑浊、遮挡以及物种间的相似性）会严重影响生物量的测量和鱼类数量的统计准确性；而传统的基于卷积神经网络（CNN）的方法缺乏生物学先验知识，无法恢复这些信息。为克服这些限制，本研究提出了一种知识增强框架，该框架将鱼类多模态知识图谱（Fish Multimodal Knowledge Graph，FM-KG）与深度视觉识别技术相结合。与仅依赖像素级修复或视觉特征的传统方法不同，FM-KG能够融合多种来源的生物和环境信息来编码物种特定的语义信息。其语义嵌入驱动了一个语义引导的去噪模块（Semantically-Guided Denoising Module，SGDM），该模块通过突出生物意义上的结构来修复退化的图像；同时，知识驱动的注意力动态调制层（Knowledge-Driven Attention Dynamic Modulation Layer，K-ADML）根据知识图谱中的物种间关系动态调整空间和通道注意力分配。随后，下游的分类器进行细粒度的物种识别。在水产养殖数据集上的实验表明，该框架在低信噪比和严重模糊条件下始终优于现有的水下图像增强和识别方法。这项工作建立了一种基于语义的知识增强范式，有效缓解了水生视觉中的信息损失问题，为水产养殖的自动化提供了坚实的基础。