《Information Processing in Agriculture》：Fish seg-tracker: mask-propagation based tracking and feed intake estimation in fish schools
编辑推荐：
提出了一种结合增强型RT-DETR和SAM2分割的新型追踪框架，用于在复杂水产养殖环境中实现稳健的鱼类追踪。引入动态滑动窗口掩膜注意力机制和动态记忆库，以实现对个体鱼类的连续、高精度追踪。开发了一种基于头部定位和接近角度分析的摄食量量化方法，能够对摄食行为进行
提出了一种结合增强型RT-DETR和SAM2分割的新型追踪框架，用于在复杂水产养殖环境中实现稳健的鱼类追踪。引入动态滑动窗口掩膜注意力机制和动态记忆库，以实现对个体鱼类的连续、高精度追踪。开发了一种基于头部定位和接近角度分析的摄食量量化方法，能够对摄食行为进行细粒度测量。在摄食量估计中实现了76.3%的MOTA和91%的F1分数，优于传统追踪方法。智能水产养殖、目标检测与追踪、摄食量估计。
一、研究背景与问题提出
随着消费者购买力提升和营养意识转变，水产品已成为人类餐桌不可或缺的组成部分。凭借高蛋白、低脂肪的特性，水产品在健康膳食结构中占据日益重要的份额。在各类水产品中，鱼类因其优质蛋白质和广泛营养价值而备受青睐。养殖鱼类在海产品市场中的比例持续攀升，近期报告估计水产养殖将供应全球约三分之二的鱼类消费量。
饲料管理是水产养殖的关键环节：它决定生长性能、影响生产者的经济收益，并影响养殖水体的生态状况。传统投喂主要依赖人工操作。尽管机械投喂器已被广泛采用，但投喂过程仍需要操作人员手动预设投喂位置、配给量和时间表，导致主观判断主导投喂策略。投喂不足或过量现象普遍存在，造成生长迟缓或饲料浪费及水质恶化。因此，亟需科学依据的投喂配给标准。制定此类标准需要多因素信息，并依赖于对动物食欲的持续感知。在个体层面准确量化摄食量，将使生产者能够根据实际消耗和摄食强度动态调整投喂策略。
现有鱼类摄食量测量方法包括：(i)基于RFID的方法，识别进入摄食区的标记鱼类并记录其摄入量；(ii)计算机视觉方法，从视频数据推断摄食行为。计算机视觉因其非侵入性、易于部署且受水生环境物理约束影响较小而具有吸引力。
基于计算机视觉的水产养殖摄食识别方案分为两大类：第一类是水面扰动分析，通过顶置摄像头记录鱼群摄食时产生的波纹，利用光流算法、纹理特征匹配或神经网络分析捕获帧，量化水面波动的时空强度，间接推断鱼群的整体食欲；第二类是个体追踪与饲料颗粒融合，摄像头先追踪和重识别每条鱼，再将轨迹与实时饲料颗粒检测结果融合，计算每个个体的直接摄食量。水面方法成本低廉且安装简单，但其间接性质使其易受风、增氧机湍流和非摄食性水花等混杂因素影响，可能降低准确性。直接的个体追踪提供更细粒度的摄食数据并支持个性化投喂策略，但需要在遮挡条件下进行稳健的多目标追踪，并在资源受限的边缘设备上实现实时推理。大多数视觉系统将目标检测器与边界框追踪器耦合；在实际池塘中，此类流程仍存在目标切换、身份保持精度低和饲料颗粒计数不精确等问题，尤其是在严重遮挡或鱼类快速游动的情况下。
二、研究内容与结论
为克服上述局限，研究人员提出了一种用于精确、个体级摄食量估计的计算机视觉系统。与传统的边界框流程不同，该研究采用改进的Segment-Anything框架实现Fish Seg-Tracker，通过跨帧传播像素级精确的分割掩膜来追踪每条鱼类实例。与此同时，改进的实时检测Transformer同时检测饲料颗粒和鱼体，既为分割追踪器提供鱼类目标提示，又实现精确的颗粒计数。
为验证所提出的框架，研究人员开发了受控鱼类投喂试验的实验平台，并收集了带详细标注的视频数据集用于算法评估。该研究的主要贡献有四个方面：
检测器模型。 采用RT-DETR实现鱼类个体和饲料颗粒的联合检测。通过将Poly Kernel Inception和归一化Wasserstein距离回归损失集成到多尺度RT-DETR骨干网络中，所提出的检测器在频繁边界框重叠的拥挤场景中实现了高精度，同时避免了非极大值抑制及其相关抑制误差。
追踪器模型。 设计了基于SAM2的视频目标分割追踪器，用于长期水下鱼类追踪。引入滑动窗口注意力机制和动态身份记忆，以在长视频序列中维持像素级掩膜和个体的一致身份，同时允许暂时离开并重新进入视野的鱼类在商业水产养殖池塘中被可靠地重新识别。
摄食量模型。 在检测器和追踪器基础上，提出了一种规则驱动的摄食量分析模型。通过定位鱼头并估计每条鱼与附近饲料颗粒之间的接近角度和相对速度，制定数学上明确的准则来确定个体层面的颗粒摄入事件，从而提供每条鱼摄食量的细粒度估计。
数据集。 构建了一个带标注的鱼类投喂视频数据集，联合涵盖鱼类检测、长期追踪和颗粒级摄食事件，能够在真实水下水产养殖场景中对检测、追踪和摄食量分析算法进行全面评估。
三、关键技术方法
研究人员采用了三项主要的关键技术方法。第一，改进的RT-DETR检测器：采用PKI模块替代原始ResNet50骨干网络，通过小卷积核捕获局部细节，再通过并行深度可分离卷积聚合多尺度上下文信息，以增强对尺度差异显著目标的检测能力；同时引入NWD损失替代传统IoU度量，利用其尺度不变性实现对密集、非重叠微小目标的有效分布相似性评估。第二，改进的SAM2传播机制：通过检测器自动生成边界框提示替代人工提示输入，实现全自动追踪推理；采用滑动窗口限制掩膜注意力传播范围，仅在当前帧与最近若干历史帧之间传播，实现固定视频内存消耗；动态管理记忆库中的目标记忆数量，支持新目标的实时注册和消失目标的删除。第三，规则驱动的摄食量分析模型：基于追踪和检测结果，通过鱼头定位和接近角度分析制定摄食事件判定准则。
四、研究结果
检测器模型。 改进的RT-DETR在实验评估中展现出更高的精确率和召回率，优于基线模型。PKI骨干网络使局部和上下文特征在不同感受野下融合，产生更丰富的特征表示，显著提升了对尺度差异剧烈目标的检测精度；NWD损失的引入有效解决了IoU在微尺度检测任务中的固有限制。这些改进为后续SAM2分割模型提供了高精度的边界框提示，确保水产养殖环境中鱼类个体追踪的可靠性。
追踪器模型。 通过检测提示器、滑动窗口传播和动态记忆库三项增强，实现了全自动的视频掩膜目标追踪。检测提示器将上一帧传播的掩膜与当前帧检测结果通过IoU计算进行比较，当检测框与所有传播掩膜的IoU低于阈值τ时，该检测被归类为新目标，其边界框作为新目标提示提供给SAM2追踪器并纳入当前追踪序列，实现自动目标添加。滑动窗口传播机制克服了原始SAM2对所有历史帧进行重新处理的巨大计算复杂度，使模型能够添加新目标和删除视野外目标。动态记忆库支持追踪目标的动态增减。
摄食量模型。 在检测器和追踪器基础上，通过鱼头定位和接近角度分析，实现了个体层面的颗粒摄入事件判定，提供了每条鱼摄食量的细粒度估计。在摄食量估计中实现了76.3%的MOTA和91%的F1分数，优于传统追踪方法。
五、讨论与结论
该研究摒弃了基于边界框的追踪范式，转而采用掩膜传播方法，即使在目标变形和遮挡情况下也能实现精确追踪。从根本上说，边界框范式无法完全解决高度交互场景中严重遮挡和快速移动带来的挑战。当目标之间的IoU变得过大时，现有方法——即使通过补充外观建模来保持身份——也倾向于在追踪器失败后进行重识别，这最终是治标而非治本。掩膜传播方法利用目标的时序一致性，在遮挡、变形或运动模糊场景中超越了传统边界框追踪器。
研究结论表明，所提出的Fish Seg-Tracker框架通过结合增强型RT-DETR检测器和改进的SAM2分割追踪器，实现了复杂水产养殖环境中鱼类个体的高精度长期追踪，并通过基于头部定位和接近角度分析的摄食量量化方法，提供了个体层面的细粒度摄食行为测量。该系统在摄食量估计中达到76.3%的MOTA和91%的F1分数，验证了其在智能水产养殖中实现数据驱动的精准投喂决策的潜力。
