《Smart Agricultural Technology》:Lameness detection in dairy cows using pose estimation and bidirectional LSTMs
编辑推荐:
跛行是奶牛中普遍存在的健康状况,对动物福利和生产力产生负面影响。自动跛行检测能够以较少的人力实现及时检测和治疗。本研究提出了一种结合姿态估计(pose estimation)和双向长短期记忆(Bidirectional Long-Short-Term Memo
跛行是奶牛中普遍存在的健康状况,对动物福利和生产力产生负面影响。自动跛行检测能够以较少的人力实现及时检测和治疗。本研究提出了一种结合姿态估计(pose estimation)和双向长短期记忆(Bidirectional Long-Short-Term Memory, BLSTM)神经网络的跛行检测方法。该方法结合了无标记姿态估计、通过从关键点轨迹学习时序运动特征以消除手动特征工程,以及利用短序列和小训练数据集工作的优势。研究人员利用T-LEAP姿态估计模型从行走奶牛的视频中提取了九个关键点(位于牛蹄、头部和背部)的运动序列。随后,将这些关键点序列作为输入传递给BLSTM分类器,用于执行二分类跛行分类。研究人员尝试了不同的模型架构以及1、2和3秒的序列长度。最佳模型架构由三个大小为128的BLSTM层组成,实验表明,仅需1秒的视频数据,BLSTM分类器即可检测跛行。此外,研究人员与基于手动设计的运动特征和SVM(Support Vector Machine)分类器的既定方法进行了直接比较。既定方法的分类准确率为80%,而在同一数据集上,BLSTM分类器表现更优,达到了85%的准确率。
论文解读:基于姿态估计与双向LSTM的奶牛跛行自动检测研究
研究背景与意义
跛行是奶牛群中一种常见的健康问题,主要由蹄部或肢体病变引起,对奶牛的福利、产奶量及繁殖性能造成显著的负面经济影响。传统的跛行检测依赖于训练有素的人员进行视觉运动评分,这一过程耗时且难以频繁实施,导致治疗往往滞后。随着精准畜牧业的发展,利用视频摄像头进行连续监测以实现早期自动跛行检测成为研究热点。然而,现有的基于计算机视觉的方法通常受限于手工设计特征(hand-crafted features)的局限性以及对噪声数据的敏感性。为此,来自瓦赫宁根大学与研究中心(Wageningen University & Research)的研究人员Helena Russello、Rik van der Tol、Eldert J. van Henten及Gert Kootstra在《Smart Agricultural Technology》上发表论文,提出了一种结合无标记姿态估计与深度学习时序建模的创新方法,旨在克服现有技术的瓶颈。
关键技术方法
研究人员采用了一种两步走策略。首先,利用T-LEAP姿态估计模型从侧视视频中提取奶牛身体9个关键点的时空轨迹,这些关键点分布于蹄部、头部和背部。数据集源自包含272段视频的公开数据集,涉及98头荷斯坦-弗里兹兰奶牛,视频帧率为30 FPS。其次,将提取的关键点坐标序列输入至双向长短期记忆(BLSTM)神经网络进行分类。研究设置了不同的BLSTM架构(层数2或3层,隐藏单元数128或256)以及不同的输入序列长度(30、60、90帧,分别对应1、2、3秒)进行对比实验。训练过程中采用了分层5折交叉验证(grouped 5-fold cross-validation)以防止数据泄露,并使用AdamW-AMSGrad优化器进行模型参数更新。
研究结果
3.1 不同BLSTM架构的表现
研究人员评估了四种BLSTM架构在处理90帧序列时的性能。结果显示,BLSTM 3 × 128(三层,每层128个隐藏单元)和BLSTM 2 × 256(两层,每层256个隐藏单元)表现最佳,总体准确率达到约84.5%,宏F1分数(macro F1-score)为83.70%。相比之下,BLSTM 2 × 128架构表现稍逊。统计检验表明,除BLSTM 2 × 128外,其余高性能架构间差异不显著。
3.1.1 与参考模型的比较
在同一数据集上,研究人员将提出的方法与支持向量机(SVM)参考模型进行了直接对比。SVM模型基于经过滤波处理的六项手工运动特征(如背部姿势、步长等)进行训练,其最佳准确率为80.07%,F1分数为78.70%。而未经过滤波处理的SVM模型性能进一步下降。BLSTM分类器在所有指标上均显著优于SVM模型,证明了端到端学习特征的优越性。更重要的是,BLSTM模型在处理未经过滤波的原始关键点轨迹时即表现出色,显示出其对噪声数据的鲁棒性,而SVM模型则严重依赖预处理步骤。
3.2 不同序列长度的影响
研究人员进一步评估了最佳架构(BLSTM 3 × 128)在不同序列长度下的表现。尽管90帧(3秒)序列取得了最佳整体性能(准确率84.47%),但使用60帧(2秒)和30帧(1秒)的较短序列时,性能下降幅度极小(准确率分别降至83.08%和83.07%),且在统计学上无显著差异。这表明即使是非常短暂的视频片段也足以捕捉到区分跛行与非跛行的关键运动学特征。
讨论与结论
讨论部分总结
研究人员在讨论中指出,BLSTM模型之所以优于传统的基于特征工程的方法,在于其能够直接从原始关键点轨迹中学习复杂的时空模式,减少了对人工干预的依赖。关于序列长度的有趣发现表明,尽管健康奶牛与跛行奶牛的步速存在差异(健康牛约1.03秒/步,严重跛行牛可达1.5秒/步),但30帧的窗口仍能提供足够的判别信息,这可能是因为模型捕捉到了代偿性运动或整体行走速度的变化。此外,通过与现有文献的对比,研究人员指出虽然其他研究使用了物理标记或光学流(optical-flow)图,但本文提出的基于关键点的方法在数据效率、计算成本及部署便捷性方面具有显著优势。研究也承认了局限性,包括数据集仅包含二进制标签(正常/跛行)、缺乏三维深度信息以及视频中奶牛行为单一(无停顿)等问题。
结论翻译
综上所述,研究人员开发了一种结合姿态估计和BLSTM的跛行检测方法。利用T-LEAP姿态估计模型从行走奶牛的视频中提取了九个关键点(位于牛蹄、头部和背部)的运动序列,并将其作为BLSTM分类器的输入以执行二分类跛行分类。实验比较了四种不同的BLSTM架构以及不同的序列长度。结果表明,BLSTM 3 × 128和2 × 256架构表现最佳,准确率达84.5%,优于基于特征的方法(80.1%)。此外,BLSTM分类器在不同序列长度下表现相似,使用1秒视频数据的准确率为83.1%,表明仅需极短的视频片段即可实现有效检测。将无标记姿态估计与BLSTM相结合,不仅消除了手动特征工程的需求,还展示了对噪声的鲁棒性,为农场环境下的自动跛行监测提供了高效且实用的解决方案。