基于跨尺度内容自适应网络的三维多目标鱼类追踪与活动量化研究

本文提出了一种创新的跨尺度内容自适应网络（Cross-scale Content Adaptive Network），用于实现三维（3D）空间内的多目标鱼类追踪（MOT）及活动量化分析。该方法通过融合多视角特征，有效解决了鱼类外观尺度差异和身份（ID）匹配难题，在追踪精度（MOTA: 97.68%, IDF1: 97.93%）和活动量化误差（MAE: 0.088, RMSE: 0.1064 unit weight·(cm/s)2）方面表现优异，为鱼类行为监测、健康评估与选育育种提供了强有力的技术工具。

　　

Highlight

鱼类多目标追踪

鱼类多目标追踪有助于同时定位和识别多个鱼类对象。该能力是分析鱼类行为、诊断疾病和量化活动的基础要素。目前，多鱼类目标追踪可分为二维平面追踪和三维空间追踪（Liu et al., 2024b, Xu et al., 2023）。如图1所示，本文提供了二维平面追踪与三维追踪的示意图比较。

框架概述

鱼类多目标追踪的过程与人类追踪在多个方面存在差异。首先，鱼类在三维空间内自由游动，而非局限于固定平面，因此需要从多个视角进行监测。其次，鱼类在不同视角下外观差异显著，个体识别极具挑战。此外，不同鱼类可能外观相似，而同一鱼类在运动过程中形态变化巨大。为解决上述问题，本文提出……

数据集与实验设置

实验设计

本文实验分为两部分。第一部分专注于鱼类的三维多目标追踪，通过消融实验和对比实验验证本文所提追踪方法的有效性，详见第4.2节。第二部分聚焦于鱼类活动量化，具体分析测试视频数据集内鱼群的活动指标，并比较二维与三维观测维度下的量化差异，详见第4.3节。

三维与二维追踪对比

为探究三维与二维鱼类追踪在效果上的关联与差异，本文分别对三维追踪和二维追踪（俯视图和侧视图）的轨迹进行了可视化，如图16所示。为进一步分析二维与三维追踪在性能指标上的差异，将多种方法在二维和三维追踪中的多目标追踪准确率（MOTA）、识别F1分数（IDF1）、多目标追踪精度（MOTP）等性能指标进行可视化，如图17和图18所示。在图17中，五边形的五个顶点分别代表……

结论

为量化鱼类运动行为，支持健康水产养殖实践和种群选育，本文提出了一种基于跨尺度内容自适应融合的三维多目标追踪与活动量化方法。设计了一种利用跨尺度内容自适应融合的网络，能够从俯视图和侧视图中准确识别鱼类位置。此外，采用分层追踪框架解决了跨视角鱼类身份关联的难题。经实验验证……