利用多任务框架提升猪跛行检测能力:融合多视角3D姿态估计和小波卷积技术

《Biosystems Engineering》:Advancing pig lameness detection with a multi-task framework: Leveraging multi-view 3D pose estimation and wavelet convolution

【字体: 大 中 小 】 时间:2026年01月16日 来源:Biosystems Engineering 5.3

编辑推荐:

  多视角3D姿态估计结合多任务学习用于猪跛行检测,有效解决传统方法视角受限和3D系统成本高问题,通过时空特征(sTRK/HBA/JFA)和WTConv提升模型鲁棒性,实验显示严重程度分类准确率94.7%,受影响肢体识别准确率95.7%,独立测试集表现稳定。

  
李翔|王海东|胡子轩|托马斯·诺顿|江天|薛月菊
中国广东省广州市华南农业大学人工智能与低空技术学院,510642

摘要

猪的跛行对动物福利和牲畜生产力构成了重大挑战,因此需要精确检测跛行的严重程度以及受影响的肢体。传统的单视图2D方法常常受到动态农场环境中遮挡和视角变化的限制。尽管基于3D相机的方法具有更高的准确性,但其高昂的成本和无法支持长期监测的特性限制了其实用性。为了解决这些问题,本研究采用多视图3D姿态估计技术,从多视图2D视频中重建猪的3D骨骼模型,有效缓解了遮挡和视角依赖性问题。在此基础上,提出了一种新的多任务分类框架PoseGait-MT,用于同时检测跛行的严重程度和受影响的肢体。该框架提取了3D步态的时空特征,包括空间跟踪距离(sTRK)、头部摆动幅度(HBA)和关节屈曲角度(JFA)。这些特征被整合到一个统一的低维特征图中,其中包含了3D全局和相对运动轨迹。为了增强低频特征的提取并抑制高频噪声,采用了小波卷积(WTConv)技术。实验结果表明,PoseGait-MT在5折交叉验证下的跛行严重程度分类准确率为94.7%,受影响肢体识别准确率为95.7%,证明了其有效性。此外,在另一个猪圈收集的独立测试集上,该模型的准确率分别为89%和91.4%,显示出其在实际条件下的鲁棒性。所提出的方法为畜牧业中的自动跛行检测提供了实用且高效的解决方案。

引言

跛行是养猪业中普遍存在的健康问题,其原因包括遗传倾向、疾病、营养缺乏和不良环境条件。它严重影响生长性能、整体健康和动物福利(Grethe, 2017; Heinonen et al., 2013; Kilbride et al., 2009; Singh, 2024)。跛行的典型表现为步态或姿势异常,包括肢体运动不对称、步幅缩短和承重能力下降。在严重情况下,可能导致猪完全卧倒(Ala-Kurikka et al., 2017; Forseth et al., 2023; Wells, 1984)。跛行的严重程度和受影响的肢体对其影响至关重要。前肢跛行会降低支撑能力,使重量转移到后肢上,增加后肢的负担,从而限制其移动能力。相反,后肢跛行会直接影响承重和运动模式,限制行走、进食和社会互动等基本行为(Kilbride et al., 2009, KilBride et al., 2009)。如果不加以治疗,跛行可能导致姿势异常、肌肉萎缩,甚至骨骼损伤。因此,准确评估跛行的严重程度和受影响的肢体对于早期干预和精准管理至关重要。这也是现代畜牧业系统中改善动物福利的关键指标。
现有的跛行检测方法大致可分为单视图2D方法和基于3D相机的方法。单视图2D方法通常提取运动学参数,如步幅、步宽和背部姿势曲率,然后通过机器学习分类器进行识别(de Paula et al., 2024; Pluym et al., 2013)。然而,这些方法由于依赖于固定的侧视角度,在动物行为多变且视角不一致的动态农场环境中效果较差(Boakye et al., 2020; Netukova et al., 2021; Russello et al., 2024; Zhao et al., 2023)。奶牛的跛行检测通常依赖于在开阔空间中的直线行走,通过侧视视频从固定角度捕捉步态参数。然而,在实际养殖环境中,猪通常被限制在更狭窄的活动区域内。即使为跛行检测专门设计了通道,通道内的遮挡和视角变化也会给获得可靠结果带来挑战。这些局限性凸显了单视图2D方法在养猪环境中的不足,强调了需要能够应对这些复杂情况的替代方法。
相比之下,基于3D相机的方法利用RGB-D(颜色-深度)相机捕捉奶牛的背部视图,或结合侧视图2D关键点,显著提高了检测性能(Jabbar et al., 2017; Salau et al., 2017; Tun et al., 2024; Van Hertem et al., 2014)。Viazzi等人(2014)证明,与2D方法相比,3D算法的特异性提高了4%,敏感性提高了6%。此外,3D相机能够更精确地检测奶牛的背部姿势,同时减轻了由光照条件引起的噪声、眩光和阴影等常见成像问题(Kang et al., 2021)。尽管有这些优势,但由于高昂的成本和无法支持长期监测,3D相机系统在畜牧业中的广泛应用仍受到限制(Wang et al., 2023; Williamson & Hartley, 2024; Yang et al., 2025)。因此,在检测性能和成本之间找到最佳平衡仍是一个关键的研究挑战。
一种有前景的替代方法是多视图3D估计,该方法使用少量2D相机从多个视角捕捉动物运动,并重建准确的3D骨骼模型。与单视图方法相比,多视图方法减少了对固定侧视角度的依赖,整合了来自不同视角的信息,从而解决了遮挡或缺失数据等问题,提高了系统的鲁棒性(Waldmann et al., 2024)。此外,多视图系统比3D相机系统更实用,适用于在养猪场的部署。重要的是,3D骨骼模型提供了详细的深度信息和运动轨迹,同时捕捉了异常步态的关键运动特征,为跛行检测提供了有力支持。研究已经验证了3D骨骼特征在识别步态异常和提高分类准确性方面的有效性(Guo & Ji, 2023, pp. 19627–19638; Jun et al., 2021; Liao et al., 2020; Rao et al., 2022)。
本研究提出了一个综合框架,结合多视图3D姿态估计和多任务学习,以解决在真实养殖条件下检测自由移动猪的跛行问题。通过融合多个监控摄像机的2D图像,该框架能够估计猪的3D骨骼模型,有效处理遮挡、光照变化和视角变化,同时捕获稳定且语义丰富的运动特征。与依赖高维图像数据的外观基方法不同(Li et al., 2024),所提出的方法侧重于结构化的3D骨骼数据,降低了计算复杂性,并提高了对环境变化的鲁棒性,非常适合动态农场条件。在此基础上,采用多任务学习策略共同建模跛行严重程度评估和受影响肢体识别,从而提高了模型对细微步态异常的敏感性和对个体差异的适应性。这项研究的总体目标是验证多视图3D姿态估计与多任务学习的结合潜力,并阐明它们在提高复杂实际养殖环境中猪跛行检测的准确性、鲁棒性和实用性方面的关键作用。

部分摘要

动物和数据收集

本研究的数据收集于2023年5月、2024年9月和2025年2月,在中国广东省梅州市的一个养猪场进行。该养猪场有三个完全铺设了混凝土地板的猪圈,为猪提供了足够的自由活动空间。猪圈的尺寸分别为:2023年5月的猪圈为5.16米×3.5米×1.12米,2024年9月的猪圈为4.8米×3.5米×1.1米,2025年2月的猪圈为5.1米×3.1米×1.1米。使用了四台Hikvision监控相机(型号

多视图3D姿态估计的性能

所提出的多视图3D姿态估计方法在具有挑战性的条件下表现出良好的空间准确性和时间一致性。实验结果表明,均方根误差(RMSE)为21.5像素,标准化均方根误差(NRMSE)为0.102,平均每个关节的时间偏差(MPJTD)为0.037。这些指标强调了该方法在处理遮挡和动态环境中的低置信度检测方面的有效性。

所提出方法的优势和影响因素

据作者所知,本研究是首次应用多视图3D骨骼估计来检测猪的跛行。此外,该研究还探讨了受影响肢体是前肢还是后肢时的预测和建模问题,这是一个尚未得到充分研究的领域。以往的研究主要使用单视图方法来检测奶牛的跛行,这些方法关注的是从围栏到

结论

本研究提出了一种新的猪跛行检测框架,采用多视图3D姿态估计,并引入了PoseGait-MT模型。PoseGait-MT是一个多任务分类系统,旨在同时评估跛行的严重程度和识别受影响的肢体,适用于在无需受限通道的情况下检测自由移动的猪的跛行。通过从多视图视频中重建可靠的3D骨骼结构,该框架提取了低维特征

CRediT作者贡献声明

李翔:撰写 – 审稿与编辑,撰写 – 原始草稿,可视化,验证,方法论,形式分析,数据整理。王海东:撰写 – 审稿与编辑,可视化,验证。胡子轩:撰写 – 审稿与编辑,可视化,验证。托马斯·诺顿:撰写 – 审稿与编辑,监督。江天:撰写 – 审稿与编辑,监督。薛月菊:撰写 – 审稿与编辑,监督,项目管理,资金获取。

数据可用性声明

本研究中生成和分析的标注和估计的多视图数据集及骨骼数据可从M3DPigset仓库获取:https://github.com/shirleyanan/M3DPigset。
关于在写作过程中使用生成式AI和AI辅助技术的声明。
在准备本工作时,作者使用了ChatGPT来提高表达的可读性和流畅性。使用该工具/服务后,作者根据需要审查和编辑了内容

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。
致谢
本工作得到了广东省国际合作项目(2021A0505030058)和国家自然科学基金(32302801 和 32202733)的支持。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号