密集养殖场景下奶牛多目标跟踪方法

《Animals》：A Multi-Object Tracking Method for Dairy Cows in Intensive Farming Scenarios

　　

为了更好地分析个体奶牛的健康与福利状况，本研究提出了BR-Tracker，一种专为密集监控环境设计的多目标跟踪方法，旨在解决漏检、跟踪失败以及频繁的身份切换（ID switch）等问题。在目标检测阶段，研究人员在YOLOv10s的颈部网络（neck network）中引入了感受野注意力下采样（Receptive Field Attention Downsampling，RFADown）模块，通过动态调整感受野，有效处理被遮挡奶牛仅局部可见的区域。研究人员在骨干网络（backbone network）中融入了改进的部分双层级路由注意力（Partial Bi-Level Routing Attention，PBRA）模块，以同时提取全局与局部特征，并采用带有高效层聚合网络的空间金字塔池化（Spatial Pyramid Pooling with Efficient Layer Aggregation Network，SPPELAN）模块，以增强多尺度特征聚合能力。在目标跟踪阶段，研究人员设计了一种基于MPDIoU的匹配算法，以提高匹配精度与轨迹关联的可靠性。数据集包含用于目标检测的15,420张图像以及用于多目标跟踪的130个独立视频，其中选取40个视频用于最终跟踪评估。实验结果表明，BR-YOLOv10s的精确率（precision）、召回率（recall）和平均精度均值（mean average precision，mAP）分别达到95.7%、90.3%和95.2%。与YOLOv10s-ByteTrack基线相比，所提方法的HOTA、MOTA、MOTP和IDF1分别提升了4.4、5.7、3.0和6.1个百分点，同时身份切换次数减少了23.19%。此外，该跟踪器的处理速度达到43.2 FPS。上述结果表明，所提方法能够在复杂的集约化养殖环境中，对密集分布的奶牛进行有效的实时检测与跟踪。

密集养殖场景下奶牛多目标跟踪方法研究解读

一、研究背景与意义

随着经济发展，高蛋白乳制品需求持续增长，奶牛养殖业日益受到关注，智能养殖产业因此获得重要地位。其中，智能监控设备在评估奶牛健康、提升奶牛福利、降低人工成本和提高养殖效率等方面发挥着关键作用。大量研究表明，监测奶牛日常行为与活动有助于疾病分析和诊断，从而提升奶牛的生产效率、福利水平和健康状况。

现有智能监控设备分为接触式和非接触式两类。接触式设备包括基于物联网（IoT）开发的GPS项圈、安装在奶牛耳朵上的信号发射器等，但这类设备使用成本高，且可能干扰奶牛日常活动决策。此外，现有可穿戴设备仍面临多传感器集成不足、与现有牧场管理系统互操作性有限、能源自主性不足以及运行成本高等实际限制。相比之下，非接触式监控设备虽然检测精度略低，但具有成本低、部署简便、不干扰奶牛正常活动等优势。

尽管现有研究在畜禽目标检测和多目标跟踪方面取得了良好进展，但将其应用于半封闭式集约化奶牛养殖环境仍面临若干亟待解决的问题。在目标检测方面，实际牛舍中大量奶牛共存，不同奶牛与监控设备间距离各异，目标间相互遮挡不可避免。这不仅造成图像中奶牛目标的尺度差异，还使部分遮挡目标仅保留有限的局部可见区域。在特征提取和空间下采样过程中，这些局部有效信息容易被削弱，增加了遮挡目标漏检和相邻目标混淆的风险。在目标跟踪方面，半封闭式集约化牛舍中奶牛分布更为密集，个体外观相似，频繁遮挡和目标重叠不仅降低了外观特征的判别能力，还导致检测框的位置、尺寸和形状发生变化。对于主要基于检测框与预测框重叠程度进行轨迹关联的方法，当边界框重叠关系发生显著变化时，匹配可靠性趋于下降，从而增加错误关联、轨迹中断和身份切换的风险。

针对上述问题，本研究提出了一种面向半封闭式集约化养殖环境中密集分布奶牛的多目标跟踪方法，从目标检测和目标跟踪两个角度进行改进，旨在提高密集遮挡条件下奶牛检测与跟踪的可靠性。

二、主要技术方法

研究人员构建了包含目标检测数据集和多目标跟踪（MOT）数据集的实验数据。检测数据集包含15,420张图像，来源于中国河南省新乡市原阳县奶牛养殖基地和开封市淇县奶牛场的13台海康威视固定监控摄像机，安装高度约4.5米，视频分辨率为1920×1080像素，帧率为30 FPS。MOT数据集包含130个独立监控视频，每个视频约5分钟，其中40个视频被随机选取用于标准MOT评估。

在检测方法方面，研究人员以YOLOv10s为基线检测网络，进行了三方面改进：第一，在颈部网络中用RFADown模块替换原有的SCDown下采样模块，该模块由感受野注意力卷积（RFAConv）和双分支池化结构组成，在空间压缩过程中兼顾局部特征保留与感受野内自适应特征加权；第二，在骨干网络中采用PBRA模块替换原有的部分自注意力（PSA）模块，该模块保留了PSA的部分通道处理与特征融合框架，将其中自注意力单元替换为双层级路由注意力（BRA），通过粗粒度区域级语义相关性评估和细粒度注意力计算增强密集和部分遮挡目标的特征表征与判别能力；第三，在骨干网络中用SPPELAN模块替换原有的SPPF模块，通过三个级联的5×5最大池化层逐步扩大有效感受野，增强多尺度特征融合能力。

在跟踪方法方面，研究人员设计了BR-Tracker跟踪框架。该框架采用卡尔曼滤波器预测现有轨迹的运动状态，使用8维匀速运动状态向量。在轨迹关联阶段，首先采用MPDIoU对高置信度检测框与预测轨迹进行关联，匹配阈值设为0.90；随后对未匹配的轨迹采用IoU与低置信度检测框进行二次关联，匹配阈值设为0.50。MPDIoU在传统IoU重叠度的基础上，额外考虑了边界框对应角点之间的几何距离，提高了遮挡和重叠条件下轨迹匹配的可靠性。

三、研究结果

3.1 不同检测模型对比

研究人员在YOLOv5s、YOLOv8s、原始YOLOv10s、YOLOv5s-CA和Pruned YOLO等模型上进行了对比实验。每个模型使用五种不同随机种子进行独立重复试验。结果显示，BR-YOLOv10s取得了最佳综合检测性能，精确率（P）、召回率（R）和平均精度均值（mAP）分别达到95.7±0.3%、90.3±0.2%和95.2±0.2%。与原始YOLOv10s相比，P、R和mAP分别提升2.3、1.9和1.3个百分点，参数量仅增加0.47M，计算量增加2.3 GFLOPs。可视化结果进一步表明，BR-YOLOv10s在密集遮挡场景中成功检测出所有可见奶牛，有效减少了漏检。

3.2 热力图分析

研究人员采用Grad-CAM++对检测结果进行可视化分析。与原始YOLOv10s相比，改进后的BR-YOLOv10s对奶牛目标的关注更加集中和全面，高响应区域更完整地覆盖奶牛主体，背景区域干扰显著减少，注意力区域边界更清晰，表明模型能够更准确地区分复杂牛舍环境中的奶牛目标与背景信息。

3.3 消融实验与注意力模块对比

消融实验结果表明，RFADown、SPPELAN和PBRA三个模块各自从局部特征保留、多尺度信息聚合和目标特征表征三个角度提升了模型性能。在单模块配置中，PBRA单独引入时P和mAP分别达到94.6±0.5%和94.6±0.2%，为三个单模块配置中的最高值。在注意力模块对比中，当RFADown和SPPELAN保持不变时，使用PBRA的模型mAP比使用原始PSA提升0.6个百分点，比使用BRA提升1.7个百分点。当三个模块同时引入时，模型取得最佳性能，P、R和mAP分别达到95.7±0.3%、90.3±0.2%和95.2±0.2%。

3.4 多目标跟踪性能对比

在跟踪性能评估中，研究人员将不同检测模型与BR-Tracker组合进行对比。BR-YOLOv10s+BR-Tracker组合取得了最高的IDF1、MOTA、MOTP和HOTA，分别达到79.2±0.4%、80.5±0.7%、79.1±0.5%和67.6±0.6%，同时取得了最低的IDS为1446.4±32.2。与YOLOv10s+ByteTrack基线组合相比，IDF1、MOTA、MOTP和HOTA分别提升6.1、5.7、3.0和4.4个百分点，IDS减少23.19%，处理速度为43.2 FPS。

3.5 典型监控场景对比

研究人员选取五个代表性监控视频进行分析，涵盖不同监控视角、光照条件、奶牛空间分布和遮挡程度。结果显示，奶牛分布相对稀疏、白天光照稳定的视频03取得最佳跟踪性能，MOTA、MOTP和HOTA分别达到85.9%、83.7%和73.4%，IDS仅为9。而夜间光照不均匀的视频04各项指标均为五段视频中最低，IDF1、MOTA和HOTA分别为77.1%、73.7%和61.5%，IDS增加至53。这表明稳定光照、清晰目标边界和较大个体间距有助于提高跟踪连续性和身份关联可靠性。

3.6 不同跟踪算法对比

研究人员将BR-Tracker与DeepSort、StrongSort和ByteTrack进行对比。在相同检测器条件下，ByteTrack的整体跟踪性能优于基于ReID的DeepSort和StrongSort，原因是不同个体奶牛外观高度相似，频繁遮挡导致判别性外观信息丢失。当使用BR-YOLOv10s作为检测器时，BR-Tracker的IDF1、MOTA和MOTP分别达到79.2±0.4%、80.5±0.7%和79.1±0.5%，IDS降至最低的1446.4±32.2。与使用相同检测器的ByteTrack相比，IDF1、MOTA和MOTP分别提升2.5、3.4和1.8个百分点，IDS减少18.15%。定性对比结果显示，BR-Tracker在密集分布和部分遮挡场景中能够更好地维持奶牛身份一致性。

四、讨论与结论

讨论部分指出，本研究提出的BR-Tracker框架在检测组件中通过RFADown增强下采样过程中的局部细节信息保留，通过PBRA提升密集分布目标的区分能力，通过SPPELAN增强多尺度上下文特征融合能力。在跟踪组件中，MPDIoU的引入综合考虑了边界框重叠度和对应角点几何距离，有助于减少因姿态变化和边界框形状变化引起的错误匹配。实验结果表明，所提方法在白天和夜间场景中均保持总体稳定的跟踪性能。

研究仍存在一定局限性：数据仅来源于河南省两个奶牛场，跨区域泛化能力有待验证；涉及的奶牛品种和养殖环境相对单一；43.2 FPS的处理速度虽可满足单路30 FPS视频的实时处理需求，但在低算力边缘设备或多路视频并行处理条件下的实时性仍需验证；目前仅关注单摄像头场景，跨摄像头身份关联尚未研究。

研究结论指出，在目标检测实验中，BR-YOLOv10s的精确率、召回率和mAP分别达到95.7±0.3%、90.3±0.2%和95.2±0.2%，相比基线YOLOv10s分别提升2.3、1.9和1.3个百分点。在基于40个视频的多目标跟踪评估中，BR-YOLOv10s与BR-Tracker组成的完整框架实现了IDF1为79.2±0.4%、IDS为1446.4±32.2、MOTA为80.5±0.7%、MOTP为79.1±0.5%和HOTA为67.6±0.6%的性能。总体而言，本研究提出的BR-Tracker框架在奶牛密集分布和部分遮挡等复杂养殖条件下展现出良好的鲁棒性和适应性，可为智能奶牛监控提供技术支持，在精准畜牧业领域具有潜在应用价值。该论文发表于《Animals》期刊。