《Animals》：A Multimodal Dual-Stream Framework for Sheep Behavior Recognition Using Skeletal and Local Visual Fusion
编辑推荐：
智能绵羊行为监测对现代畜牧业至关重要，但在自然牧场中面临高密度羊群遮挡的严重挑战。传统基于二维（2D）骨架的网络常受深度模糊与特征坍塌困扰，将静态震颤误分类为动态位移。为克服该问题，研究人员提出了一种基于骨架与局部视觉融合的鲁棒多模态双流框架。架构上游空间感知
智能绵羊行为监测对现代畜牧业至关重要，但在自然牧场中面临高密度羊群遮挡的严重挑战。传统基于二维（2D）骨架的网络常受深度模糊与特征坍塌困扰，将静态震颤误分类为动态位移。为克服该问题，研究人员提出了一种基于骨架与局部视觉融合的鲁棒多模态双流框架。架构上游空间感知阶段采用YOLOv11m-Pose。为降低标注成本并提升鲁棒性，研究人员引入主动难例挖掘（Active Hard-Example Mining）机制，显式保留严重重叠或边缘截断的困难样本。下游行为决策采用多模态双流架构处理目标：时空运动学流配备运动学去噪引擎（Kinematic Denoising Engine），在将2D坐标送入双向长短期记忆（BiLSTM）网络前，通过一维（1D）高斯滤波与位移死区门控净化坐标；空间视觉流基于裁剪RGB图像块使用ResNet-50骨干网络捕捉关键空间上下文，弥补纯坐标局限；最终加权Softmax层融合双流。在复杂真实数据集实验中，基线纯运动学模型总体精度仅69.05%、行走精确率68.18%；双流融合网络总体精度达93.26%，行走精确率提升至97.14%，采食F1分数达94.29%。该方法有效解耦相似静动态行为，证明局部视觉特征不可或缺，为智慧畜牧监测建立高精度基线。
研究背景与动机：在现代规模化、集约化与智能化畜牧业中，基于机器视觉与深度学习的行为识别技术是智慧农场发展的关键基础。绵羊的生长状况、健康水平与日常行为模式直接影响养殖效率、疾病防控与动物福利。然而在自然放牧与圈养条件下，羊群空间分布密集、个体间遮挡严重、表型相似且姿态复杂，给传统检测与识别方法带来巨大挑战。现有非接触方案如人工巡检、可穿戴传感器及早期背景建模算法，受限于劳动强度、部署成本、动物应激及多目标遮挡鲁棒性不足；近期三维重建与多相机方案虽细致却需严格空间标定、硬件成本高且对自然牧场动态光照敏感，难以商业规模化。即便引入基于目标检测与姿态估计的深度学习，纯2D骨架方法仍面临三大根本限制：严重遮挡下检测失败与特征丢失、上游检测继承的时间噪声与空间抖动、纯2D坐标缺乏深度与视觉上下文导致静态抖动与真实动态位移混淆而产生误报。因此，研究人员在《Animals》发表本研究，提出融合视觉上下文与骨架动力的双流框架，以解决高密度牧场中站立、行走、采食三类核心行为的鲁棒识别问题。
主要关键技术方法：研究人员于2025年1月至3月在呼和浩特某商业绵羊场，使用PoE相机（2560×1920，30fps）采集约200只小尾寒羊（1.5至3岁成年为主）40小时视频，按连续视频序列级严格时序隔离划分训练（80%）与测试（20%）。上游感知阶段以主动难例先验（Hard-Example Prior）引导半自动两阶段筛选：先以1fps抽取约14.4万原始帧，用边界框交并比（IoU）>0.3过滤保留密集场景约1.85万候选帧，再人工保留严重肢体遮挡、边界截断与极端姿态样本，最终得3358个高价值难例目标，用Labelme按11关键点拓扑标注站立（1072）、采食（1106）、行走（1180）；下游行为表征数据集含2089个有效动作实例。技术核心包括：YOLOv11m-Pose上游定位；运动学去噪引擎对 ego-centric 归一化坐标做1D高斯低通滤波与位移死区门控（阈值0.02，置信度<0.2时相邻帧线性插值）；BiLSTM处理44维时空特征；空间视觉流将边界框裁剪RGB块重采样至标准像素张量送入ImageNet预训练ResNet-50；决策级晚融合以加权Softmax（权重0.7与0.3）输出最终分类。
研究结果：
3.1 多模态双流框架分类结果：在测试集上双流架构总体精度93.26%，行走精确率97.14%，采食召回率100.00%且F1分数94.29%，证明深度卷积捕捉头部与地面空间重叠特征与运动学低频垂直运动互补。
3.2 复杂真实场景可视化：尽管光照非理想且多目标相互遮挡严重，上游YOLOv11m-Pose鲁棒定位并连接骨架关键点，框架在边界框上方稳定输出可靠行为标签，展现常规农场环境强泛化能力。
3.3 核心模态消融研究：纯运动学单流总体精度69.05%、行走精确率68.18%，因无场景上下文致原位震颤被误判为行走；纯视觉单流总体精度92.13%；双流融合达93.26%，证实视觉与运动学高度互补非冗余。
3.4 与前沿及轻量基线跨对比：随机森林、GRU、1D-CNN等纯坐标轻量模型F1低于70%、Kappa一致性弱；ST-GCN利用空间拓扑将F1升至78.50%仍缺环境上下文；C3D与SlowFast处理全RGB视频F1达89.80%与91.50%但推理仅18.5与12.5 FPS；本研究双流BiLSTM获最高F1 92.15%、Kappa 0.89且维持32.4 FPS（单帧延时约31ms），满足边缘实时连续监测。
3.5 特征可视化机制分析：t-SNE对比显示纯坐标单流中慢速踱步与摇头样本数学方差近似、流形严重重叠；双流架构下空间视觉流主导纹理/空间识别、运动学流作时间低通抑制偶发姿态畸变，成功解耦静态与动态行为流形。
讨论部分总结：研究人员指出从受控室内到自然高密度牧场的过渡存在严峻物理与计算挑战。理论层面证实局部视觉上下文解决纯2D骨架深度模糊——消融中纯运动学行走精确率仅68.18%源于Z轴缺失使径向微动与位移不可分，融合ResNet-50后行走精确率升至97.14%，局部RGB块提供自我运动参考解耦静态抖动。架构层面双流BiLSTM以32.4 FPS兼顾高精度，规避可穿戴传感器应激与3D-CNN/多相机标定功耗瓶颈，主动过滤机制保障严重遮挡下持续高置信拓扑先验。农业应用层面站立/行走解耦为非接触式早期病害（如跛行、代谢障碍致行走频次骤降）提供可靠指标，采食/行走比辅助牧场利用与轮换优化。局限在于ResNet-50带来边缘端算力压力，未来将用知识蒸馏与INT8量化压缩，并将行为集扩展至反刍、饮水、发情等，跨域迁移时运动学流因仅依赖2D拓扑几何不变性仍可保底。
结论部分翻译：综上，本研究论证了在高密度牧场中准确识别绵羊行为时多模态局部视觉上下文的必要性。捕捉相对背景位移的空间视觉流对抑制误报与区分细粒度动作起核心作用，而处理净化后2D坐标的时空运动学流有效建模基础骨架运动。反之，轻量纯运动学基线因固有深度模糊局限常将静态物理震颤误判为动态位移。双模态融合成功解耦高度相似的静动态行为，总体精度93.26%，行走精确率与采食F1分数分别达97.14%与94.29%。此外，所提主动过滤机制显著缓解严重遮挡引发的感知瓶颈，优先难例以降低标注成本同时保障鲁棒定位。该研究从多模态融合视角为群养牲畜行为混叠提供缓解思路，为精准农业非接触行为监测提供算法与理论基底；双流架构虽增边际计算开销，却为后续模型压缩研究奠基，促进系统在低功耗农业边缘设备大规模实时部署。
