编辑推荐:
这篇研究开发了基于多视角(multi-view)的三维(3D)无标记运动捕捉系统,实现了群居猴类社会行为的自动化定量分析。通过整合深度学习算法与跨视角匹配技术,系统能精准追踪多个自由活动猴子的三维姿态,并自动检测8类基本社会行为事件(如Proximity、Groom、Observe等)。验证实验表明其关键点定位误差<50 mm,个体追踪精度达97.5%,成功揭示了青春期雌猴与幼年雄猴群体的社会性差异。该系统突破了传统人工观察的瓶颈,为灵长类社会行为研究提供了高通量、高可重复性的新范式。
Abstract
研究团队开发了一套创新的三维无标记运动捕捉系统,通过八台同步摄像机采集自由活动猴群的多视角数据。该系统采用三个深度神经网络(Detection Net、Pose Net和ID Net)进行二维视频处理,结合改进的MVPose算法实现跨视角匹配,最终通过Anipose软件包完成三维姿态重建。验证实验显示,该系统关键点定位中位误差<50 mm,面部方向误差14.0°,个体追踪精度(IDP)达97.5±1.3%,显著优于传统单视角方法。
The pipeline for the 3D motion capture of multiple monkeys
系统核心流程包含四大模块:
- 二维处理:YOLOv3检测猴子边界框,HRNet w32估计15个关键点(如鼻、耳、关节),ResNet50识别颈圈颜色标签(B/G/R/W)。
- 跨视角匹配:每0.5秒选取关键帧,计算几何亲和力(基于关键点射线距离)与外观亲和力(基于颈圈颜色),通过优化算法建立多视角关联。
- 跨帧追踪:利用单视角轨迹片段(tracklets)的时间连续性,构建全局最优的多视角轨迹。
- 三维重建:采用Anipose整合时空滤波器,显著提升姿态估计鲁棒性。
Performance validation in monkey groups
在两组日本猕猴(青春期雌猴组I和幼年雄猴组II)中验证发现:
- 个体识别:通过姿势模式(k-means聚类)和社交行为模式(SVM)区分个体的准确率分别达98.5%和91.8%。
- 社交事件检测:自动识别的8类行为(如追逐Chase、瞪视Glare)与人工标注的一致性(Cohen’s κ)为0.71-0.92。
- 多视角优势:减少摄像头数量至4台时,ID召回率(IDR)仍保持>70%,而对照组(单视角整合)性能下降20%。
Automatic detection of social behavioral events and behavioral characterization
系统揭示了猴群社会关系的动态特征:
- 青春期雌猴组:体型最小的B猴观察行为(Observe)最频繁(P<0.001),而外来个体R猴回避冲突但表现出对G猴的亲和行为。
- 幼年雄猴组:嬉戏行为更活跃,但个体差异较小(Observe时长标准差1.9% vs. 雌猴组6.2%)。
- 长期变化:雌猴组中G-R配对 proximity 时长在后期显著增加(P=0.0094),反映社会关系重构。
Analysis of social looking
对社交凝视的量化分析发现:
- 注视偏好:雌猴组中,面部注视倾向(Face preference index)与Observe时长呈负相关(r=-0.63),符合从属个体回避直视的生态观察。
- 凝视互动:当被注视者回看面部时,观察者会更快终止凝视(潜伏期缩短,P<0.01),尤其在B-W配对中差异显著。
- 事件关注:猴子更倾向观察第三方的激烈行为(如Chase,P<0.001),且面部方向会追踪追逐轨迹(角度差<20°,P<0.01)。
DISCUSSION
该系统突破了传统灵长类行为研究的三大局限:
- 技术层面:相比单动物研究或2D工具(如DeepLabCut),多视角整合解决了自由活动猴群的遮挡和ID切换问题。
- 行为解析:首次实现社交凝视等微观行为的自动化检测,为理解等级制度(如从属个体避免直视)提供量化依据。
- 应用前景:可扩展至面部识别(替代颈圈)和野外研究,为自闭症(autism)等神经精神疾病的动物模型提供更自然的行为评估范式。
研究团队指出,未来需结合发声分析和无监督行为分割(如MOCO)进一步提升复杂社交行为的检测能力。这套系统将推动从实验室约束环境到自然社会场景的神经机制研究范式转变。