《Computers and Electronics in Agriculture》:Two Decades of Computer Vision in Precision Livestock Farming: an Umbrella Review of Applications, Benchmarking Evidence, and the Performance-to-Deployment Gap Across Cattle, Pig, and Poultry Systems
编辑推荐:
过去二十年间,全球对动物源性食品的需求持续增长,而畜牧系统在土地、劳动力、气候韧性、生物安全及福利保障等方面面临多重约束(Yin et al., 2023;Tedeschi et al., 2026)。精准畜牧业(Precision Livestock Far
过去二十年间,全球对动物源性食品的需求持续增长,而畜牧系统在土地、劳动力、气候韧性、生物安全及福利保障等方面面临多重约束(Yin et al., 2023;Tedeschi et al., 2026)。精准畜牧业(Precision Livestock Farming, PLF)通过连续、自动化且日益实时化的监测来应对这些压力,将动物层面的信息与健康、福利、生产及环境绩效的决策相连接(Larsen et al., 2026)。在这一背景下,计算机视觉(Computer Vision, CV)尤为重要,因其能够在无需反复接触动物或佩戴动物携带设备的情况下,实现对个体动物及动物群体的非接触式监测(Li et al., 2022;Nidhi et al., 2025)。在PLF中,基于CV的动物监测已从个体识别拓展至更广泛的生物特征与行为应用,涵盖身份识别、表型分析、体态形态、体况、运动能力、采食与饮水行为、健康状况、生理应激、死亡率、繁殖及资源利用等方面(Zhang et al., 2023a)。这一更广泛的框架反映了视觉动物生物特征从稳定识别特征向动物形态、功能、行为及福利综合描述符的演变。
早期的基于视觉的动物监测主要依赖随时间保持视觉可识别性的解剖学特征,包括鼻纹纹理、视网膜血管模式、虹膜结构、面部构型及皮毛斑纹。这些特征最初主要用于动物识别,但也帮助建立了从基于身份的生物特征到更广泛的动物形态、状态及生产性能视觉指标的PLF监测概念路径(Awad, 2016;Kumar et al., 2016)。尽管早期及后续综述报告了受控条件下的高精度,但也明确指出该领域缺乏共享数据集、跨农场验证协议及通用基准标准,限制了所报告结果的可比性与可迁移性(Qiao et al., 2021b;Fernandes et al., 2020)。
在过去二十年中,该证据基础已从手工设计的视觉描述符和单一用途识别系统,发展到深度学习模型、多模态传感、姿态估计、行为分析及面向部署的评估。图1展示了从2005年到2026年的这一进展,并将所综述文献置于现代PLF CV研究日益以应用为导向的时期。同样的进展也解释了为何该领域已不能再仅通过精度值进行评估,而需关注基准透明度、外部验证及农场就绪性证据(Ruchay et al., 2026;Rajagukguk et al., 2025)。
所综述的证据在牛、猪和禽类系统中的发展路径并不相同。每个物种及生产环境都构成不同的视觉问题:牛通常作为可识别的个体被观察,猪在视觉上相似且经常相互遮挡,而禽类通常以密集群体而非独立个体被监测。因此,CV在PLF中的价值不仅取决于模型性能,还取决于各系统如何处理动物运动、饲养条件、相机位置、光照、遮挡,以及养殖户或饲养员需要做出的最终决策(Zhang et al., 2023b)。
奶牛及牛类应用受益于相对稳定的个体观察条件,这推动了视觉识别、体况评分、体重估计、跛行检测、乳腺炎识别及行为推断方面的进展(Qiao et al., 2021a;Qiao et al., 2021b;Antognoli et al., 2025)。然而,正是在这一物种组中,技术性能与实际部署之间的差异尤为明显(Gritsenko et al., 2023)。近期综述表明,主要障碍已不仅是高精度模型的可用性,还包括传感器集成、数据治理、外部验证及多相机标定(Xu et al., 2026;Palma et al., 2025)。
体型形态、体重及体况评估很好地说明了这一转变。综述报告了牛和猪体重估计中较高的R2值,以及深度相机、三维重建和非线性模型使用的增加,但当畜舍几何结构、相机位置、关键点标注及品种多样性变化时,跨农场迁移仍然困难(Dohmen et al., 2021;Bhoj et al., 2022;Ma et al., 2024b)。健康与运动应用也呈现类似模式。牛跛行和蹄病综述报告了受控条件下的高精度,但主观视觉评分作为参考标准的持续使用限制了外部验证的强度(K?í? et al., 2021;Siachos et al., 2024)。热成像在监测牛、猪和禽类的热应激及疾病相关指标方面也显示出价值,但这些系统仍需针对生理或病理参考标准进行纵向多农场验证,方可视为可常规使用(Islam et al., 2021;Schaefer et al., 2025;Zhang et al., 2019)。
猪和母猪系统则构成另一组挑战。动物在视觉上相似,常近距离接触,且经常被圈舍结构或其他猪只部分遮挡。这些条件使得保持身份的追踪及稀有事件检测尤为困难。尽管如此,CV在计数、姿态识别、活重估计、热监测、攻击行为检测、分娩、仔猪存活及发情检测方面仍取得了进展。剩余障碍主要是实践性的:圈舍级标定、连续追踪、事件稀有性及有限的经济证据(Tzanidakis et al., 2021;Arulmozhi et al., 2021;Buonaiuto et al., 2026)。这些约束在步态分析、攻击行为及繁殖行为中尤为明显,受控数据集中的高精度并不能自动转化为可靠的农场警报(Ne?uková et al., 2021;Hasan et al., 2026;Cornou, 2006)。
禽类系统则将监测问题进一步从稳定的个体身份转向群体层面推断。高饲养密度、遮挡、垫料条件及同步化的群体行为使得持续的个体再识别变得困难(Carraro et al., 2025)。因此,综述日益聚焦于在群体层面更具可扩展性的视觉终点,如光流、空间分布、步态、活动、死亡率、热应激、采食及生长(Li et al., 2019;Neethirajan, 2025;Paneru et al., 2026)。肉鸡体重估计和自动化追踪显示出显著的技术进展,但重叠的个体和较短的观察窗口仍限制个体层面的解读。与牛和猪一样,部署取决于数据集多样性、外部农场验证、光照鲁棒性以及与管理系统或机器人系统的集成(Nyalala et al., 2021;Han et al., 2025)。
尽管存在这些物种特异性差异,整个领域仍存在若干反复出现的问题。多动物追踪和姿态估计支持许多PLF视觉应用,但基于人类基准开发的方法往往难以迁移至牲畜,因为动物视觉上相似、运动非线性且经常相互遮挡。现有的牲畜基准也往往过短或过窄,无法支持对福利、生长和行为的长期解读(Liu et al., 2024;Rajagukguk et al., 2025;Nidhi et al., 2025)。基于无人机(Unmanned Aerial Vehicle, UAV)和室内饲养的综述在放牧和舍饲系统中均确认了同样的问题,其中模型-平台权衡、身份保持及外部验证仍是核心障碍(Adam et al., 2025;Alanezi et al., 2022;Liu et al., 2022)。
异质性的基准加剧了这些生物学和运营挑战。对异常检测、姿态估计和关键点检测的综述表明,仅报告精度是不够的,除非同时报告任务特定指标、验证设计、推理速度、延迟、标定需求、边缘兼容性及与农场工作流程的集成(Deng et al., 2025;Menolotto et al., 2026;Wang et al., 2026)。禽类和可持续农业综述从实践角度得出了相同结论:相机位置、光照变化、镜头或畜舍污染、饲养密度、经济证据及养殖户信任即使在模型性能看似较高时也往往报告不足(Zin and Tin, 2026;Fan et al., 2025;Wu et al., 2025)。图2总结了连接传感器、图像或视频采集、标注、模型架构、指标协调、领域级输出及农场决策支持的视觉管道概念。该管道有助于解释为何应用映射、基准质量和部署就绪性需要综合考虑,而非作为证据基础的独立部分。
综合来看,所综述文献支持围绕六个应用领域进行综合:检测、计数、识别、定位与追踪;体型形态、体重、体况与生长;采食、饮水、反刍与资源利用;姿态、运动、跛行、休息与一般活动;健康、疾病、损伤、死亡率、卫生与生理应激;以及社会、攻击性、异常、繁殖与母性行为。这些领域有意采用非排他性设计,因为许多综述涵盖多个应用领域。该结构保留了112篇纳入综述作为文献语料库,而328个综述-领域分配则提供了领域级综合所需的分析层面。
之所以需要二次综合,是因为现有综述通常围绕单一物种、传感器或应用组织,因此使用不同的分母、任务指标和验证定义。这使得难以判断反复出现的性能声明是否得到透明基准、可信综述方法及跨文献的农场实施证据的支持。选择牛、猪和禽类是因为每个物种都有大量的综述级CV文献,且在观察尺度、饲养条件、遮挡程度、个体可识别性和运营终点方面存在显著差异。因此,该比较的目的不是按模型精度对物种排序,而是识别模型开发与常规PLF部署之间共同的和物种特定的障碍。
在此背景下,本总括性综述的目的是确定PLF中的计算机视觉在多大程度上已从应用开发和性能报告,迈向可信、有基准且具备农场就绪性的证据。综述连接了四个证据层面:哪些应用已被综述、性能基准的透明度、综述级证据的方法学可信度及候选参考文献重叠,以及所报告性能在多大程度上得到部署就绪性证据的支持。
为将该逻辑转化为结构化综合,综述提出了四个研究问题:
RQ1. 牛、猪和禽类系统中哪些计算机视觉应用已被综合,且它们在六个领域级类别中如何分布?
RQ2. 综述在多大程度上完整且一致地报告了基准信息,包括视觉模态、数据集特征、标注协议、模型任务、验证设计、性能指标及外部泛化性?
RQ3. 当AMSTAR 2、ROBIS及候选参考文献重叠敏感性综合考量时,综述级证据可被赋予何种方法学置信水平?
RQ4. 所报告的模型性能在多大程度上转化为部署就绪性,哪些技术、方法学和实施障碍最常解释性能-部署差距?
这些研究问题共同构成一个序列化综合。RQ1映射应用景观,RQ2评估性能声明是否得到透明基准支持,RQ3评估综述级可信度及潜在文献重叠,RQ4考察有前景的视觉模型是否已向稳健、可解释且可部署的商业畜牧系统技术迈进。
1. 引言
论文引言部分阐述了精准畜牧业(Precision Livestock Farming, PLF)面临的全球性挑战,即动物源性食品需求增长与土地、劳动力、气候韧性、生物安全和福利保障等约束并存。计算机视觉(Computer Vision, CV)作为非接触式监测技术,在PLF中具有独特优势,其应用范围已从个体识别拓展至表型分析、体态形态、体况、运动能力、采食饮水行为、健康状况、生理应激、死亡率、繁殖及资源利用等广泛领域。论文指出,早期基于视觉的动物监测依赖鼻纹、视网膜血管、虹膜等稳定解剖特征,但该领域长期缺乏共享数据集、跨农场验证协议和通用基准标准。过去二十年中,该领域经历了从手工设计特征到深度学习、多模态传感、姿态估计及部署导向评估的演进。牛、猪、禽类系统各自面临不同的视觉问题:牛作为可识别个体被观察,猪视觉相似且频繁遮挡,禽类以密集群体被监测。论文强调,PLF中CV的价值不仅取决于模型性能,还取决于对动物运动、饲养条件、相机位置、光照、遮挡及最终决策需求的适应能力。综述围绕六个应用领域组织:检测/计数/识别/定位/追踪、体型形态/体重/体况/生长、采食/饮水/反刍/资源利用、姿态/运动/跛行/休息/活动、健康/疾病/损伤/死亡率/卫生/生理应激、社会/攻击性/异常/繁殖/母性行为。论文提出四个研究问题(RQ1-RQ4),分别涉及应用分布、基准报告完整性、综述级方法学置信度及性能-部署差距的解释。
2. 材料与方法
2.1 综述设计与方法学工作流程
该总括性综述遵循预定义工作流程,包括数据库检索、去重、标题与摘要筛选、全文资格评估、综述级提取、多标签领域编码、方法学评估、基准评估、重叠敏感性分析及部署就绪性综合。112篇纳入综述作为筛选、提取、AMSTAR 2和ROBIS评估的文献学单元。随后创建第二分析层以支持领域特定综合,形成328个综述-领域分配。该两层结构旨在保持证据基础透明,同时保留综合所需的应用级细节。每篇综述仅提取一次,但被分配至其包含实质性可提取视觉证据流的每个D1-D6领域。综述级百分比以112为分母,领域级构成仅在明确标注为综述-领域分配时使用328作为分母。
2.2 检索策略与资格标准
最终Scopus检索于2026年6月13日进行,检索到2168条综述类型记录。Web of Science核心合集在2026年6月检索更新中贡献860条记录。经DOI优先和标准化标题去重后,2838条唯一记录接受标题、摘要和元数据筛选。资格要求四项条件:记录须为综述类型文件或具有记录检索和综合的结构化综述;须聚焦活体畜牧或禽类系统;视觉数据须为综述核心或可作为独立证据流清晰提取;须覆盖六个应用领域中的至少一个。植物表型、屠宰后胴体分级、肉类检验、伴侣动物、野生动物、水产养殖或人类医学影像的综述被排除,除非包含可清晰分离的活体PLF组成部分。
2.3 数据提取与两层编码结构
综述级提取对每篇纳入综述执行一次,提取字段包括综述标识符、标题、年份、DOI、期刊、综述类型、物种组、CV聚焦状态、报告的主要研究数量、检索数据库、检索时段、陈述目标及主要结论。物种分层基于牛、猪和禽类定义,综述在覆盖至少两个部门或涉及更广泛畜牧CV方法时被编码为多物种或通用。综述被编码为CV聚焦型或CV可提取型,以支持综述覆盖范围的透明报告。领域级分配仅在综述为该领域提供实质性且可提取的视觉证据流时创建。六个领域在提取前定义并一致应用于牛、猪和禽类系统。跛行在视觉任务聚焦步态、姿态、运动或移动性分类时编码于D4,在综述明确将跛行与蹄部病理、损伤、疾病诊断或更广泛健康评估关联时也可贡献于D5。
2.4 方法学评估、偏倚风险与重叠
综述级方法学质量使用AMSTAR 2评估,综述级偏倚风险使用ROBIS评估。两工具互补,AMSTAR 2通过16个项目(含7个关键领域)评估方法学实施和报告质量,ROBIS聚焦综述过程中的偏倚风险。首次评估后经四周洗脱期进行独立二次检查。AMSTAR 2精确一致率为83.9%,ROBIS为86.6%。参考文献重叠作为敏感性分析而非正式主要研究CCA执行,因为从完整参考文献目录恢复的候选参考文献不能假定代表纳入的主要研究。仅在可重现地重建纳入研究成员身份的子集中计算正式CCA。语料库级候选参考文献重叠估计值为0.122%,不被解释为主要研究独立性证据。
2.5 基准与指标协调
基准评估在综述-领域层面进行,因广泛综述常在同一论文中报告多个任务族。指标提取区分六个任务族:分类或识别、检测或定位、分割、追踪、回归或估计、时间事件检测。分类指标包括敏感性、特异性、精确率、召回率、F1分数、准确率、ROC曲线下面积及机会校正一致性。检测指标包括IoU、AP、mAP及PASCAL VOC或COCO风格平均精度。分割指标包括Dice、Jaccard、像素精度和掩膜AP。追踪指标包括CLEAR MOT、MOTA、MOTP、身份切换、IDF1及mostly tracked或mostly lost比率。回归指标包括R2、RMSE、MAE、MAPE和一致性相关系数。基准完整性使用14项标准编码,每项评分Yes=1.0、Partial=0.5、No=0.0。验证相关标准包括标注协议、参考标准、训练-测试或验证设计、外部验证、农场或场地级报告及类别平衡。
2.6 部署就绪性与性能-部署差距
所有性能和就绪性变量均从纳入综述报告的信息中推导,不被视为合并的主要研究效应估计或商业部署的直接测量。部署就绪性使用PLF特定框架评估,该框架参考技术就绪水平(Technology Readiness Levels, TRL)和平衡就绪水平评估(Balanced Readiness Level Assessment, BRLa)。框架区分五个就绪性维度:技术、市场/经济、监管/数据治理、接受度/用户、组织/集成。每个BRLa维度按1-5序数量表评分。性能映射至独立的1-4序数层级。性能-部署差距计算为G=P?R,正值表示记录的性能证据超过记录的部署证据。语料库均值0.63为328个综述-领域分配中序数对比的描述性平均值,不应被解释为效应量、概率或推断统计量。运营线索如实时或边缘处理及决策支持集成作为报告指标提取,仅在实验评估或部署证据层面贡献于部署就绪性评分。
2.7 综合策略
综合结构保持分母透明度,并将每个证据层匹配至适当分析单元。综述级分析使用112篇综述语料库描述物种覆盖、发表时段、CV聚焦状态、AMSTAR 2和ROBIS评级及候选参考文献重叠敏感性。分配级分析仅在明确评估领域特定构成、基准完整性或部署就绪性时使用328个综述-领域分配。采用叙述性定量综合而非元分析,因纳入综述在物种、传感器类型、应用领域、资格标准、主要研究范围及性能指标方面差异显著,直接效应量合并将产生有限的解释价值。
3. 结果
3.1 跨物种的应用领域覆盖
112篇纳入综述追溯了CV在PLF中二十年的扩展。最早时期(2006-2019)包含10篇综述(8.9%),以手工设计的稳定解剖特征描述符为主。语料库在物种间分布不对称:牛28篇(25.0%)、猪22篇(19.6%)、禽类27篇(24.1%)、多物种或通用35篇(31.3%)。2020-2022年期间包含32篇综述(28.6%),标志着从经典特征工程向深度学习的过渡。2023年后激增包含70篇综述(62.5%),反映围绕生成式增强、边缘推理、多模态融合、姿态估计和目标追踪的快速整合。六个应用领域遵循不同历史轨迹:检测/识别/追踪(D1)早期出现;体型形态/体重评估(D2)随RGB-D成像和三维重建实用化而扩展;姿态/活动(D4)和健康/应激(D5)获得最大综述覆盖;采食/资源利用(D3)和社会/繁殖行为(D6)覆盖较少,因资源竞争、站立发情、爬跨和产前行为稀疏、依赖情境且标注成本高。
3.2 物种特定应用景观
3.2.1 奶牛和牛类系统
奶牛和牛类系统贡献28篇综述(25.0%)和71个综述-领域分配(21.6%)。该物种组提供语料库中最长的时序轨迹。动物识别方面,基础综述报告RFID将识别读取错误从约6%降至0.1%,但存在安全和隐私问题。面部识别方面,Kumar等人(2016)在120头牛参考数据集上报告92.50%的识别准确率。深度学习显著提高了报告识别性能,但未消除对采集条件和评估协议的依赖。体况和活重评估方面,综述报告受控采集条件下97-100%的观察在0.5体况评分(Body Condition Score, BCS)单位内一致。多相机Morpho3D配置对个体牛产生约20kg的预测误差。跛行检测方面,Mask R-CNN关键点提取结合CatBoost分类针对视觉移动性评分,但主观评分作为参考标准限制外部验证强度。热应激监测方面,自动化红外热成像与温湿度指数和视频推导呼吸率相关,但个体喘息反应差异可超过80%。乳腺炎和蹄病检测方面,乳房热成像在受控协议下对亚临床乳腺炎实现有用敏感性、特异性和准确率,蹄病证据因发射率、观察角度和环境条件影响而更不稳定。犊牛福利和传感器-视觉集成方面,自动哺乳系统和三维加速度计广泛代表,眼眶区域红外热成像被确定为非接触温度评估的敏感方法。多模态传感器集成方面,CV通常被定位为补充而非独立模态,有限数据可用性、算法泛化不足和系统集成薄弱是跨农场实施的持续障碍。
3.2.2 猪和母猪系统
猪和母猪系统代表CV PLF中长期存在的非反刍动物分支,但证据深受群体饲养、频繁遮挡和有限记录时长影响。语料库包含22篇综述(19.6%)和64个综述-领域分配。传感模态方面,相机、麦克风和附着传感器被识别为主要猪类PLF模态,基于图像的监测日益受青睐,因商业规模下连续个体观察困难。环境与建筑因素方面,2022年系统综述详细编目了猪生产设施中影响CV的约束:保育和生长育肥猪通常饲养于群体圈舍,个体无法从单一相机视角隔离;妊娠和分娩母猪常通过围栏、栏杆或管道观察,视觉场部分受阻;昼夜光照变化、水和金属配件反射、垫料变异及低相机高度进一步限制算法性能。活重估计方面,RGB和深度管道日益用于非接触式体重和生长评估,神经模型扩展了早期回归和成像方法。近期形态测量综合显示向结构健全性、体重和生长监测的转变。强场内性能不保证跨圈舍、光照制度、品种、年龄或饲养密度迁移。由于大多数综述数据集为私有且来自有限圈舍,孤立的R2或准确率值不可直接比较。