基于改进YOLOv11的野牦牛行为识别方法

《Information》：Wild Yak Behavior Recognition Method Based on an Improved Yolov11 Jun Tie, Basang Dunzhu, Lu Zheng, Jin Xie, Shasha Tian and Shuangyang Li

　　

牦牛的日常行为，包括进食（feeding）、站立（standing）、躺卧（lying down）和行走（walking），与其健康状况密切相关，因此准确的行为识别对于牦牛养殖业的智能监测与管理至关重要。然而，实际放牧环境由于背景复杂、遮挡、小目标或远距离目标以及行为类别之间的高度视觉相似性，带来了显著挑战。为解决这些问题，研究人员提出了一种基于增强型YOLOv11n（YOLOv11n）架构的、问题驱动的多尺度行为识别框架，专门用于户外牦牛监测。研究人员构建了一个专用的真实世界数据集，以捕捉不同自然条件下的四种基本行为。基于该数据集，研究人员开发了DPAP-YOLOv11n（DPAP-YOLOv11n）模型，该模型融合了动态卷积（Dynamic Convolution）进行自适应特征调制，以及风车卷积（Pinwheel-shaped Convolution, PConv）进行细粒度空间表征。此外，引入了YOLOv7辅助训练头（YOLOv7-Aux auxiliary training head）以加强中间特征学习，并采用焦点PIoU损失函数（Focal-PIoU loss）以提升对困难或模糊样本的鲁棒性。实验结果表明，DPAP-YOLOv11n优于基线YOLOv11n，在mAP@50（平均精度均值@IoU阈值0.5）和mAP@50–95（平均精度均值@IoU阈值0.50–0.95）上分别提升了2.4%和2.8%。这些发现证明了所提方法在复杂野外环境下实现高精度、实时牦牛行为识别的实际潜力。

**研究背景与问题**
牦牛是青藏高原及其周边地区的重要畜种，为牧民提供肉、奶、皮毛等资源，同时维持高山生态系统的稳定性。随着牦牛养殖规模扩大，放牧强度与畜群数量增加，对脆弱草场生态系统造成压力，经济发展与生态保护需平衡。有效监测牦牛健康与行为对实现可持续牧区管理至关重要。进食、行走、站立、休息等日常行为直接反映牦牛生理状态与环境适应能力，异常行为模式常是疾病或环境胁迫的早期指标。传统监测方法（如人工观察、传感器追踪）存在空间覆盖有限、劳动成本高、可扩展性不足等问题，尤其不适合高寒、开阔、牦牛广泛分布且环境多变的放牧区域。计算机视觉与深度学习的快速发展提供了自动化、非接触式的牲畜行为识别方案，成为大规模牧区监测的替代途径。

**研究内容与结论**
现有研究在牦牛行为识别方面取得进展，但实际场景仍面临挑战：站立与行走等视觉相似行为难以区分；小尺度或远处牦牛在高维特征图中表征不足导致漏检；群体交互与部分遮挡降低识别稳定性。为克服这些局限，研究人员提出基于改进YOLOv11框架的增强型牦牛行为识别方法，引入自适应特征提取、细粒度空间建模与优化损失设计。论文提出了DPAP-YOLOv11n模型，在YOLOv11n基线基础上集成动态卷积（Dynamic Convolution）、风车卷积（PConv）、YOLOv7辅助训练头（Aux Head）以及焦点PIoU损失（Focal-PIoU loss）。实验表明，该模型在mAP@50上达到94.1%，比基线提升2.4%；mAP@50–95达到83.9%，提升2.8%。模型参数量轻量（8.1 MB），计算复杂度低（6.2 GFLOPs），在TensorRT加速下半精度推理速度达105 f/s，适合边缘设备部署。论文发表在《Information》。

**关键技术方法**（不超过250字）
研究人员主要采用以下关键技术：
1. **动态卷积（Dynamic Convolution）**：在C3k2模块中集成，通过注意力机制生成自适应权重，使卷积核根据局部特征内容调整参数，增强对多尺度牦牛目标的特征提取能力。
2. **风车卷积（Pinwheel-shaped Convolution, PConv）**：在YOLOv11骨干网络第一层引入，将标准卷积分解为1×3和3×1方向滤波器，形成风车形采样模式，强化方向性特征感知与边缘结构提取，提升小目标检测。
3. **YOLOv7辅助训练头（Aux Head）**：在主干和颈部生成的中间尺度特征图上添加额外检测分支，提供多级监督，仅在训练时激活，推理时移除，增强中间层对判别性行为区域的学习。
4. **焦点PIoU损失（Focal-PIoU loss）**：将Focal Loss的难度加权机制与预测IoU相结合，对低预测IoU的困难样本施加更大梯度，抑制简单样本主导训练，提高遮挡与困难样本定位精度。
数据集来源：部分来自ImageNet，部分来自实地采集（西藏那曲市比如县香曲乡吉瓦村康宗牧场，2024年9月15日至10月15日，使用vivo X100 Pro手机拍摄，涉及60头牦牛，49个视频片段）。经去重与增强后，最终数据集含2291张训练图、654张验证图、329张测试图。

**研究结果**
**3.1 模型结果比较（Comparison of Model Results）**
通过对比DPAP-YOLOv11n与YOLOv11系列（n, s, m, l, x）模型，结果显示DPAP-YOLOv11n精确率0.933、召回率0.891、mAP@50 0.941，模型大小8.1 MB。相比YOLOv11n精确率提升0.032，召回率提升0.201，mAP提升0.024。与YOLOv11x相比，模型尺寸减小93%，mAP仅低0.004，证明其在性能-规模上取得良好平衡。

**3.2 损失函数对比分析（Comparative Analysis of Loss Functions）**
在DPAP-YOLOv11n模型上对比CIoU、EIoU、GIoU、DIoU、SIoU和PIoU损失，PIoU损失表现最优，mAP@50和mAP@50–95分别为94.1%和83.4%。进一步集成分类Focal Loss形成Focal-PIoU后，mAP@50–95提升至83.9%，较CIoU变体分别提高0.5和0.6个百分点，表明Focal-PIoU有助于缓解类别不平衡并改善困难样本检测。

**3.3 DPAP-YOLOv11n消融实验（DPAP-YOLOv11n Ablation Study）**
基线YOLOv11n对进食、躺卧AP较高（94.3%、92.7%），但站立和行走较低（88.9%、91.1%）。逐步添加模块：
- 引入C3k2_DynamicConv使站立AP升至91.3%，行走升至92.9%，进食升至94.8%，躺卧升至93.1%。
- 加入PConv后进食和站立AP分别升至95.1%和92.2%。
- 加入Aux Head后进食、站立、行走AP升至95.6%、92.8%、93.4%。
- 使用Focal-PIoU损失后躺卧和行走AP升至94.1%和94.3%。
最终模型AP：进食95.5%、站立92.4%、躺卧94.1%、行走94.3%，相比基线分别提升1.3%、3.5%、1.4%、3.2%。mAP@50和mAP@50–95分别为94.1%和83.9%，优于基线2.4%和2.8%。

**3.4 多种YOLO模型对比分析（Comparative Analysis of Various YOLO Models）**
与YOLOv3-tiny、YOLOv5n、YOLOv6、YOLOv10n、YOLOv11n对比，DPAP-YOLOv11n取得最高mAP@50（94.1%），分别高出1.6、1.2、0.4、0.8个百分点。计算复杂度6.2 GFLOPs，模型大小8.1 MB，仅比基线YOLOv11n增加2.6 MB，但精度显著提升，适合边缘设备。

**3.5 TensorRT推理加速测试（TensorRT Inference Acceleration Testing）**
在NVIDIA GeForce RTX 3060及PyTorch 2.7.1环境下，DPAP模型原始推理时间14.7 ms，平均帧检测时间17.5 ms，速度57 f/s。经TensorRT优化为单精度Engine模型后推理时间减少8.2 ms，速度达93 f/s（1.6倍加速）；半精度模型推理时间再降0.1 ms，速度达105 f/s（1.8倍加速），满足实时要求。

**3.6 DPAP-YOLOv11n可视化与分析（DPAP-YOLOv11n Visualization and Analysis）**
在简单场景和复杂场景下，DPAP-YOLOv11n均准确识别牦牛行为，检测精确度明显优于基线YOLOv11n。基线在近景、远景和遮挡场景中出现漏检或误判，而DPAP-YOLOv11n显著减少误检，提高行为识别准确性，验证了其在非结构化环境中的鲁棒性和可靠性。

**总结讨论**
研究人员提出DPAP-YOLOv11n模型在复杂自然环境下表现出色。动态卷积的集成使卷积核根据局部特征自适应调整，增强多尺度特征提取，减少远距离和遮挡下的漏检与虚警；风车卷积建立多方向感受野，提升对进食、站立、行走等行为细粒度姿态变化的感知；辅助头引入多级监督，增强中间层判别性区域学习，加速收敛；焦点PIoU损失聚焦困难样本，维持高检测精度。模型保持轻量（8.1 MB）与低计算复杂度（6.2 GFLOPs），经TensorRT加速可达105 fps，适合边缘与无人机平台实时部署。未来工作将扩展数据集时空多样性，集成轻量架构与增量学习策略，以提升泛化能力。

**翻译研究结论**
实地采集的牦牛行为数据具有背景复杂、姿态多样、小目标多和部分遮挡等特点，限制了现有识别方法的效果。为应对这些挑战，本研究提出了DPAP-YOLOv11n模型用于自然野外的多尺度行为识别。通过在C3k2模块中引入动态卷积（Dynamic Convolution）、集成风车卷积（PConv）以增强细粒度结构感知，并加入辅助头（Aux Head）和焦点PIoU损失（Focal-PIoU loss），该模型显著提升了自适应特征提取、小目标检测和定位精度。实验结果表明，DPAP-YOLOv11n相比YOLOv11n平均精度提升了2.4个百分点，其中进食、站立、躺卧和行走行为分别提升了1.3、3.5、1.4和3.2个百分点。模型还达到了83.9%的mAP@50–95，提升了2.8个百分点。这些结果证实了DPAP-YOLOv11n在复杂野外条件下准确、可靠地识别牦牛行为的有效性。