基于解耦融合与实例感知细化的奶山羊多标签时空行为检测

《Smart Agricultural Technology》：Multi-label Spatio-temporal Behavior Detection of Dairy Goats with Decoupled Fusion and Instance-aware Refinement

　　

摘要：奶山羊是重要的家畜动物，其日常行为与个体健康、福利和产奶性能密切相关。然而，在复杂的室内环境中准确识别和定位其行为仍然是智能畜牧养殖中的一项挑战。为解决这一问题，研究人员提出了一个涵盖数据集构建和模型设计的综合框架。考虑到高昂的标注成本，研究人员提出了一种半自动标注流程，并构建了一个用于监控视频中多标签时空山羊行为检测的基准数据集，命名为GoatBehav，为模型训练和评估提供了坚实基础。为缓解2D空间特征与3D时间特征之间固定融合的局限性，研究人员进一步提出了时空山羊行为检测框架，命名为STGBD，其中包含两个新颖模块。第一个是解耦自适应局部注意力（DALA）模块，该模块自适应地整合运动信息并增强对运动敏感的通道，以同时服务于分类和回归任务。第二个是实例级特征细化（IFR）模块，该模块利用回归分支提供的实例特定几何线索来细化分类表示。研究人员设计的STGBD具有轻量级特性，在密集畜牧养殖基准GoatBehav上取得了与主流模型相当的精度，同时计算成本显著降低。研究人员还进行了大量消融实验以分析模型设计的有效性，并揭示了其不足，以供未来研究参考。

论文解读：基于解耦融合与实例感知细化的奶山羊多标签时空行为检测

**研究背景与问题**

在现代畜牧业中，奶山羊作为重要的产奶家畜，其日常行为如站立、躺卧、行走、采食和反刍等，直接反映其健康状况、环境适应能力和福利水平。然而，当前多数养殖场仍依赖人工观察和手写记录收集动物行为数据，难以实现大规模畜禽群体的连续、客观、精准监测。尽管深度学习与计算机视觉方法已在安防和制造业取得显著成功，但在复杂养殖场景中的应用仍面临挑战。现有基于传感器的方法需要为每只动物佩戴设备，不仅威胁动物福利，也增加了投资负担，限制了大规模部署的可扩展性。基于视觉的方法虽提供非接触式监测方案，但多数现有研究集中于帧级动作分类，缺乏对视频序列中时空动态的建模能力。此外，复杂养殖场景中普遍存在的高动物密度、频繁遮挡和快速动作转换等问题，进一步降低了现有方法的性能。虽有研究尝试多模态视觉框架以利用更丰富的行为表征，但其依赖多个大规模模型，导致高计算成本和推理延迟，阻碍了在计算资源受限的实际农场环境中的部署。同时，现有行为数据集在规模、物种多样性或标注粒度上存在局限，多针对图像分类或帧级识别，难以支持时空行为检测技术的开发与严格评估。因此，亟需一个大规模、基于视频的精细家畜行为检测基准，并发展能有效利用时空信息的高效框架。

**研究内容与结论**

针对上述挑战，研究人员提出了一个涵盖数据集构建和模型设计的综合框架。首先，研究人员构建了GoatBehav数据集，这是一个大规模基于视频的奶山羊细粒度多标签时空行为检测基准，包含约60,000个标注帧，覆盖10个重要行为类别（2种姿态：站立、躺卧；8种动作：行走、奔跑、采食、反刍、蹭墙、爬跨、自舔、其他）。该数据集通过半自动标注流程构建，视频来自中国北方某大学畜牧试验基地，使用两台海康威视监控摄像头以2560×1440分辨率、25 FPS帧率采集，共84个1小时视频，经均匀采样得到228个片段（约7.6小时），其中159个训练片段（42,296帧）和69个测试片段（18,535帧）。每个目标同时携带一个姿态标签和一个动作标签，采用多标签标注格式，参考AVA数据集的设计理念。标注团队由中国某综合大学兽医学院和信息工程学院的六名研究生组成，并通过约20%的数据交叉检查确保质量。基于该数据集，研究人员提出了时空山羊行为检测框架STGBD，其包含两个关键模块：解耦自适应局部注意力（DALA）模块和实例级特征细化（IFR）模块。DALA模块通过生成运动显著性图实现空间引导融合，并采用基于联合响应的通道注意力，自适应地整合2D空间特征和3D时间特征，增强运动敏感通道。IFR模块利用回归分支预测的边界框几何线索生成实例感知的空间注意力，细化分类特征，从而提升密集场景中的实例级判别能力。在GoatBehav基准上的实验表明，STGBD在精度上与主流模型相当，但计算成本显著降低。具体而言，STGBD达到43.5%的mAP@0.5，参数为51.2M，计算量为13.4 GFLOPs。相比之下，单帧检测器YOLOv8l、YOLOv9c和YOLOX分别达到40.6%、40.5%和39.9%的mAP，但计算量更高；融合2D和3D特征的YOWOv2达到41.1%的mAP，但参数和计算量分别为52.0M和13.7 GFLOPs；两阶段方法SlowFast达到43.9%的mAP，但参数和计算量高达76.0M和44.5 GFLOPs；基于Transformer的VideoMAE和TubeR分别达到44.1%和45.2%的mAP，但计算量超过74.0 GFLOPs和78.0 GFLOPs。STGBD在保持竞争力的同时显著降低了复杂度，验证了其解耦与自适应融合设计的有效性。该研究发表在《Smart Agricultural Technology》。

**主要技术方法**

研究人员采用的主要关键技术方法包括：基于双骨干网络的架构设计（2D CNN骨干网络ELANet-Large与PaFPN颈部提取多尺度空间特征，3D CNN骨干网络ShuffleNetV2提取时空特征）；解耦自适应局部注意力（DALA）模块用于运动引导的2D-3D特征融合；实例级特征细化（IFR）模块利用回归分支的几何先验生成实例感知空间注意力；基于SimOTA的标签分配策略和多标签二值交叉熵损失函数；IoU感知的软目标用于分类损失，GIoU用于回归损失。数据集构建采用半自动标注流程，包括基于Grounded-SAM的自动检测、DeepSORT跟踪和人工行为标注。样本来源为某大学畜牧试验基地的84个监控视频。

**实验结果与分析**

研究人员进行了多组实验验证模型有效性。在对比主流检测器方面（表3），STGBD在GoatBehav数据集上达到43.5%的mAP@0.5，优于单帧检测器YOLOv8l（40.6%）、YOLOv9c（40.5%）、YOLOX（39.9%），也优于时空检测器YOWOv2（41.1%），且计算成本更低。虽然SlowFast和基于Transformer的方法（VideoMAE、TubeR）精度略高，但STGBD在计算效率上具有显著优势。

在消融实验方面（表5），研究人员通过设置基线（无DALA和IFR）和三个变体评估各模块贡献。结果显示，仅添加IFR模块使mAP从38.2%提升至39.3%，仅添加DALA模块使mAP提升至42.7%，完整模型达到43.5%，证明DALA和IFR具有互补性。IFR模块不增加额外参数和计算量，因为其重用检测头的预测结果。

在时间长度影响方面（表6），研究人员比较了3D骨干网络输入8、16、32帧的性能。结果表明，随着时间长度增加，整体mAP从42.7%逐步提升至43.2%和43.5%。动态行为（如行走、蹭墙）受益显著，其中蹭墙类别的AP从3.9%提升至7.2%；而静态行为（如躺卧、采食）表现稳定。

在特征聚合方法比较方面（表7），研究人员对比了逐元素相加、逐元素绝对差和通道拼接三种方式。逐元素相加取得最佳性能（43.5%），优于绝对差（43.3%）和通道拼接（43.1%），表明加法操作能更有效地保留共享语义和互补响应。

在通道注意力机制比较方面（表8），研究人员在排除IFR模块的条件下对比了CSAM（来自YOWOv2）、SE、CBAM和DALA。DALA取得最高mAP为42.7%，优于CSAM（41.1%）、SE（40.0%）和CBAM（40.6%），同时参数和计算量最低，验证了运动引导注意力在2D-3D融合中的有效性。

在定性评估方面，研究人员可视化了DALA的运动显著性图和IFR的注意力图。运动显著性图能随帧间山羊位置变化自适应调整，并在不同金字塔层级（P3、P4、P5）呈现尺度感知特性。IFR注意力图能更精确地聚焦实例区域，在P3层级对小目标尤其有效。检测结果可视化显示，模型在夜间休息场景中能正确识别“躺卧”和“反刍”，在白天采食场景中能同时识别“站立”和“采食”，展现出多标签预测的鲁棒性。

在错误分析方面，研究人员识别出四种典型失败模式：遮挡（部分遮挡导致姿态误判）、快速运动（32帧窗口不足以捕捉突然的动作转变）、细粒度类别混淆（视觉相似或共存行为如“蹭墙”与“其他”难以区分）、小目标漏检（远处山羊因空间占用过小而未被检测到）。这些失败模式与定量结果中稀有动态类别（奔跑、蹭墙）AP较低的现象一致，表明长尾分布是影响性能的重要因素。

**讨论与结论**

讨论部分指出，显式时空建模对细粒度奶山羊行为检测具有重要价值，STGBD在GoatBehav上取得了与主流单帧检测器竞争的精度，验证了时间线索在区分视觉相似但运动动态不同的行为中的重要性。消融结果将成功归因于DALA和IFR的互补优势：DALA促进了跨尺度的运动敏感特征融合，IFR增强了拥挤环境中的实例级判别。然而，模型在稀有和短时动作（如奔跑、蹭墙）上仍难以达到满意精度，主要归因于真实养殖场景中长尾分布和稀有动作正样本稀缺。此外，模型在区分运动模式相似的细粒度动作（如行走与奔跑）时效果有限，表明某些精细运动特征未被充分捕捉。未来工作将集中于三个方面：扩充稀有类样本以缓解长尾分布；设计更合适的3D骨干网络以学习关键运动特征并保持实时性；探索多摄像头协同推理和跨场景泛化，以提高实际畜禽监控中的鲁棒性。

研究结论部分总结如下：本文提出了一个涵盖数据集构建和模型设计的室内养殖场景下多标签时空奶山羊行为检测综合流程。研究人员通过半自动标注开发了GoatBehav数据集，为细粒度家畜行为理解提供了实用基准。基于YOWOv2，研究人员提出了STGBD模型，包含两个关键模块：用于运动引导的2D-3D特征融合的解耦自适应局部注意力（DALA），以及用于增强实例感知分类的实例级特征细化（IFR）。在GoatBehav上的大量实验显示了一致的性能提升和良好的精度-效率平衡，凸显了将时间信息与运动引导和实例感知细化相结合用于识别拥挤、未裁剪视频中复杂行为的有效性。研究人员还讨论了工作的局限性，并期望所提出的数据集和方法将推动该领域的进一步研究。