《Aquaculture Reports》：An enhanced model for accurate fish keypoint detection and tracking in intensive aquaculture
编辑推荐：
摘要翻译：监测鱼类生长对集约化水产养殖至关重要，然而传统的人工称重方法劳动强度大且效率低下。本研究提出了FishPose-tracking，一种增强型深度学习模型，可自动实现鱼类关键点检测与追踪，提高复杂水产养殖环境中生长监测的效率和准确性。FishPose-
摘要翻译：监测鱼类生长对集约化水产养殖至关重要，然而传统的人工称重方法劳动强度大且效率低下。本研究提出了FishPose-tracking，一种增强型深度学习模型，可自动实现鱼类关键点检测与追踪，提高复杂水产养殖环境中生长监测的效率和准确性。FishPose-tracking基于YOLOv8-Pose模型构建，集成了多项先进组件：水下图像增强、精确关键点检测、姿态估计和连续鱼类追踪。通过多级双边滤波和区域暗通道去雾优化图像质量，解决了浑浊和低光照水下条件带来的挑战。为改进特征提取，FishPose-tracking引入了Swin Transformer编码器，其具备强大的多尺度能力，同时采用STIAU模块增强视频帧间的时间一致性，以减少运动模糊和遮挡造成的检测误差。该模型在包含多个鱼类物种、不同遮挡程度的10,000张图像的多样化数据集上进行了训练。实验评估表明，FishPose-tracking提升了检测与追踪精度，平均精度均值（mAP50）达到99.37%，mAP50:95达到87.39%，分别较基线模型提高了13.74%和8.86%。残差分析证实了模型的高精度，五个物种的关键点中位数误差小于等于±2像素（四分位距≤3像素）。FishPose-tracking提供了一种鲁棒且具备实时能力的监测解决方案，可适应多种水产养殖环境。未来工作将探索进一步增强方向，包括多源数据集成和大规模部署。
论文解读：面向集约化水产养殖的鱼类关键点检测与追踪增强模型
一、研究背景与问题提出
随着长江流域"十年禁渔"政策的实施，集约化水产养殖已成为优质淡水产品的主要来源。在养殖生产中，鱼类生长监测是核心环节，养殖户需要根据鱼类的体型和重量调整投喂策略。然而，传统的监测方法依赖人工捕捞和称重，不仅效率低下、劳动强度大，而且难以实现实时精准监测。称重仪器对环境变化敏感、鱼体表面水分差异以及个体重量较小等因素，都制约了精确评估的开展。为此，部分研究尝试分析鱼类形态特征与体重之间的关系，确定了全长（TL）、体长（BL）、头高（HH）和体高（BH）四个与体重显著相关的形态参数。但传统测量方法仍依赖人工操作，亟需一种自动化、非侵入式的解决方案。
近年来，深度学习技术在动物和植物表型提取方面取得了显著进展，例如利用计算机视觉自动测量鱼类尺寸、估算猪只体重、检测葡萄茎关键点、预测拖拉机驾驶员姿态等。然而，将姿态估计技术应用于水下鱼类仍面临独特挑战：水下场景能见度低、颜色失真严重；不同鱼种形态差异显著；鱼类运动快速且轨迹不可预测。尽管YOLOv8-Pose等基于深度学习的关键点检测器和Swin Transformer等编码器在人体及动物姿态任务中表现优异，但将其集成应用于复杂水产养殖环境中的鱼类监测尚属空白。因此，研究人员提出了FishPose-tracking框架，旨在实现集约化水产养殖环境下鱼类关键点的实时检测与追踪。
二、研究内容与技术方法概述
研究人员构建了一个包含10,000张图像的数据集，涵盖红罗非鱼（Oreochromis mossambicus）、加州鲈（Micropterus salmoides）、鳙鱼（Aristichthys nobilis）、鲫鱼（Carassius auratus）和青鱼（Mylopharyngodon piceus）五个物种，共约40,595个样本。图像采集自湖北省咸宁市农业高新技术区养殖基地，采集时间为7月至9月，涵盖了强光、弱光、浑浊和清澈四种水质条件，以及无遮挡、轻度、中度和重度遮挡四种遮挡程度。图像统一调整为640×640像素分辨率，按80%、15%和5%的比例划分为训练集、验证集和测试集。数据标注采用LabelMe软件，参考鱼类结构和游泳特征，在鱼体一侧标注11个关键点，每个关键点包含坐标（x，y）和可见性状态v（v=0表示不存在，v=1表示存在但被遮挡，v=2表示存在且未被遮挡）。数据增强操作包括随机翻转、随机裁剪、HSV亮度调整和噪声添加。
FishPose-tracking模型以YOLOv8-Pose为基础架构，包含三个主要模块：改进的YOLO-Pose、STIAU模块和DeepSORT追踪器。在图像预处理阶段，采用区域暗通道去雾和信噪比自适应双边滤波增强水下图像质量。在特征提取阶段，将Swin Transformer编码器嵌入YOLOv8-Pose骨干网络P6层的C3模块中，形成C3STR模块，利用其分层结构和滑动窗口自注意力机制捕获多尺度特征。STIAU模块通过交互、聚合和更新三个操作显式建模鱼类运动的空间-时间依赖关系，提高跨帧关键点预测的一致性。在追踪阶段，改进的DeepSORT算法结合自适应卡尔曼滤波和匈牙利算法，实现多目标鱼类的身份分配与轨迹追踪。
三、研究结果
（一）训练动态、预测精度与残差分析
研究未使用预训练模型，输入图像尺寸统一为640×640像素，采用随机梯度下降（SGD）优化器，初始学习率0.01，批量大小16，迭代500次。使用目标关键点相似度（OKS）评估关键点相似性。结果表明，训练迭代达到500次时所有指标逐渐稳定，训练集关键点相似度损失值为0.0269，验证集损失值为0.0185。改进后模型mAP50达到99.37%，mAP50:95达87.39%，精确率达96.78%，召回率达94.63%。残差分析显示，五个物种的中位数残差均落在±2像素范围内，四分位距≤3像素；加州鲈在关键点8处存在少量高尾离群值，推测与其游动速度较快导致尾部运动模糊有关。
（二）消融实验
消融实验验证了各改进模块的贡献。基线YOLOv8的召回率为83.76%、精确率84.36%、mAP50为85.63%、mAP50:95为78.53%。逐步添加去雾、双边滤波、Swin Transformer编码器和STIAU模块后，各项指标逐步提升。最终完整模型的召回率提升至94.63%（+10.87%），精确率达96.78%（+12.42%），mAP50为99.37%（+13.74%），mAP50:95为87.39%（+8.86%）。可视化测试表明，原始模型在鱼群密集和遮挡条件下存在误检和漏检，而改进算法能更准确估计关键点位置。
（三）追踪与计数性能比较
研究选取30秒、60秒和120秒三种时长视频评估追踪和计数性能。完整模型在不同时长的视频中计数精度分别达88.57%（30秒）、88.33%（60秒）和92.18%（120秒），平均精度最高达89.70%。其中STIAU模块对追踪和计数性能的提升贡献最大。改进的卡尔曼滤波算法在各类视频时长下均保持88%以上的计数精度，而标准DeepSORT算法精度随视频时长增加显著下降，从30秒的56.67%降至120秒的40.23%。使用标准多目标追踪指标评估，完整模型的多目标追踪精度（MOTA）达0.68，多目标追踪精确率（MOTP）为0.66，IDF1为0.63，均优于基线和仅添加Swin Transformer的模型。
（四）关键点定位精度测试
研究将算法部署在开发板上，使用OAK-D双目摄像头测量从关键点0到关键点6（吻端到尾鳍与身体连接处）的体长。五个物种的测量精度均超过90%，总体平均精度达97.45%。其中，鳙鱼和青鱼等体型较大的鱼类精度最高，这可能归因于其解剖特征更明显、体长较长，关键点更易检测且不易受噪声干扰。相对较小型的加州鲈精度略低，可能与测量时姿态变化或身体弯曲程度较大有关。
四、讨论与结论
讨论部分将FishPose-tracking与主流姿态估计算法（如OpenPose、AlphaPose、YOLOv9-Pose、YOLOv10-Pose）以及鱼类专用框架进行了对比。FishPose-tracking在推理速度（45 FPS）和内存占用（392MB）方面具有综合优势，适合部署在资源受限的边缘设备上。相比仅使用旋转框或两阶段检测-回归框架的方法，FishPose-tracking通过STIAU进行时间建模，以及将检测与关键点定位统一在单阶段框架中，在保持高精度的同时实现了实时推理能力。此外，该方法集成了水下图像增强和定制化DeepSORT追踪器，弥补了现有研究的不足。
研究结论指出，FishPose-tracking集成了水下图像增强（光谱自适应暗通道去雾和信噪比加权双边滤波）、先进特征提取（C3STR模块中的Swin Transformer编码器）、时空建模（STIAU）以及具有自适应卡尔曼滤波的优化DeepSORT追踪器。实验验证了该模型在精度上的优越性：mAP50为99.37%（提升13.74%），mAP50:95为87.39%（提升8.86%），STIAU增强的追踪器在30-120秒视频中实现了88%-92%的计数精度。部署在配备双目摄像头（OAK-D）的嵌入式系统上，五个物种的体长测量精度达97.45%，实时处理速度为45 FPS，验证了该方法在集约化水产养殖智能化监测中的实际应用价值。
