基于对比语言-图像预训练的精准鱼类个体细粒度重识别模型CLIP-AFIR研究

【编辑推荐】针对水产养殖中鱼类个体识别精度低、ID切换频繁等问题，天津农学院团队创新提出CLIP-AFIR模型。该研究通过两阶段微调范式（PLM模块+FFEM模块）融合跨模态对比学习与细粒度特征增强，在石斑鱼数据集上实现mAP 59.3%（较基线提升13.2%），非连续识别准确率达98.6%，为智能养殖中的生长监测与疾病分析提供关键技术支撑。

　　

在水产养殖智能化进程中，准确识别鱼类个体（Fish Re-identification, ReID）是疾病分析、生长监测等应用的核心技术。尽管现有方法如FIRN（基于YOLOv4改进）在锦鲤识别中达到98.7%准确率，但面对同物种个体间细微差异（如石斑鱼体表斑点分布）、复杂水下成像环境时，仍存在特征判别力不足、跨场景泛化性差等瓶颈。

天津农学院研究团队受多模态大模型启发，提出CLIP-AFIR模型。该研究创新性地将对比语言-图像预训练（Contrastive Language-Image Pretraining, CLIP）框架引入鱼类识别领域，通过两阶段训练策略：第一阶段冻结视觉-文本编码器参数，利用可学习文本令牌（Prompt Learner Module, PLM）建立图像-ID描述关联；第二阶段解冻图像编码器并集成轻量化细粒度特征增强模块（Fine-grained Feature Enhancement Module, FFEM），通过重叠窗口的局部自注意力机制捕捉鳞片纹理等微观特征。实验采用363尾杂交石斑鱼（♀Epinephelus fuscoguttatus × ♂E. lanceolatus）的14,510张图像构建数据集，结合三重余弦相似度损失优化特征空间分布。

关键技术包括：1）基于CLIP的两阶段微调范式实现跨模态知识迁移；2）FFEM模块通过shifted window局部自注意力增强细粒度特征；3）非连续识别任务验证（实验室30尾石斑鱼多时期影像）。

主要结果

1. 模块有效性验证：FFEM使Rank-1准确率提升4.8%，PLM缩短跨模态特征对齐迭代次数40%。
2. 跨物种对比：在石斑鱼数据集上，CLIP-AFIR的mAP达59.3%，显著高于ArcFish（46.1%）和FishFace（53.4%）。
3. 实际应用测试：非连续识别任务中，模型准确率98.6%（较SOTA提升5.4%），特征可视化显示同类个体在降维空间紧密聚类。

结论与意义
该研究首次将语言-图像对比学习框架应用于水产领域，FFEM模块的局部特征提取能力有效解决了传统方法对全局特征依赖过强的问题。在天津市循环水养殖实际场景中，模型对个体生长轨迹追踪的稳定性（ID切换率<1.2%）为精准投喂、亲本溯源等应用奠定基础。未来研究可扩展至多鱼种联合识别及动态环境适应性优化。

（注：全文数据及方法细节均引自原文，未添加外部引用；专业术语如mAP、Rank-1等均为计算机视觉标准评估指标）