基于单目视频的大规模半自动动物行为推断框架及其在斑马行为研究中的应用

这篇研究论文提出了一种创新的半自动化工作流程，通过结合智能标注工具Smarter-Labelme和深度卷积神经网络(DCNN)，实现了从单目视频中快速、大规模地推断动物行为。该方法通过最小化人工标注工作量，显著提高了斑马(Equus quagga和Equus grevyi)四种基本行为(站立、行走、奔跑和进食)的识别效率，为野生动物行为研究提供了可扩展的技术方案。

　　

动物行为研究的革新方法

引言

传统动物行为研究依赖耗时的人工观察，难以捕捉大规模复杂行为模式。随着无人机(UAV)和摄像技术的普及，视频数据激增与人工分析能力之间的矛盾日益突出。本研究提出了一套创新框架，通过结合计算机视觉和深度学习技术，实现了从单目视频中半自动推断动物行为，为生态学研究开辟了新途径。

材料与方法

数据采集

研究团队在肯尼亚Mpala保护区使用消费级无人机(DJI Mavic 2 Pro和Parrot Anafi 4K)拍摄了平原斑马和格氏斑马的高清视频(4K分辨率)，建立了DAZZLE数据集。视频记录在白天(8:30-18:00)进行，无人机飞行高度10-20米，总时长5-20分钟。

智能标注系统

核心工具Smarter-Labelme整合了SSD Multibox检测器和RE³跟踪算法，通过以下流程实现高效标注：

1. 初始标注：人工标注少量视频帧(979帧，4283个标注)

2. 检测器训练：结合MS-COCO数据集训练改进的SSD Multibox

3. 半自动跟踪：利用RE³算法维持个体身份连续性

4. 行为标注：专家仅需标注行为变化的关键帧

行为分类模型

采用ResNet34架构构建行为分类器，输入为动物周围1.3倍边界框的区域(调整为300×300像素)。训练时采用数据增强策略，包括随机裁剪(1.25-1.67倍)、翻转和色彩调整，以提高模型鲁棒性。

技术突破

1. 全局运动补偿：通过图像对齐算法校正无人机运动导致的画面偏移，显著提升了跟踪稳定性。

2. 自适应检测：针对空中视角优化检测器训练，增强对小目标的识别能力。

3. 高效标注流程：将平均标注时间从22.69秒/个降至2.55秒/个。

实验结果

跟踪性能

在24,432帧测试视频中，改进后的跟踪系统表现优异：

• 使用S1数据训练的检测器使跟踪稳定性提高2倍

• 25%的目标可实现超过100帧的连续自动跟踪

• 中位数跟踪持续时间显著延长

行为分类准确率

10个随机初始化的ResNet34模型在独立测试集上表现：

• 最佳模型整体准确率：78%(测试集1)和81%(测试集2)

• 各类别准确率：

  • 进食：最高达95%

  • 奔跑：约85%

  • 站立与行走：存在约30%的相互混淆

• 网络关注区域分析(CAM)显示：

  • 进食行为通过头部位置判断

  • 运动状态主要通过腿部姿态识别

讨论与应用

行为研究的革新

该方法实现了从单帧行为识别到长期行为模式分析的跨越(图9)。通过连续帧分析，可构建个体活动预算，进而研究：

• 物种间行为差异

• 性别特异性行为模式

• 繁殖状态相关行为变化

技术优势

1. 效率提升：相比全人工标注，效率提高近10倍

2. 质量保证：专家主导的标注流程确保数据可靠性

3. 扩展性强：框架可适配多种物种和行为类型

局限与展望

当前系统存在以下待改进方向：

1. 单帧分析的局限性：需开发时序分析方法以区分相似行为

2. 罕见行为样本不足：需探索合成数据生成技术

3. 三维定位能力：未来可整合无人机遥测数据实现空间行为分析

这项研究不仅提供了实用的技术工具，更为理解动物行为与环境互作开辟了新途径。通过开源代码和数据集，该框架有望推动整个领域向更大规模、更高精度的行为研究迈进。