利用树莓派(Raspberry Pi)、红外成像技术以及基于深度学习的头部位置和身份识别技术,实现24小时自动化的牛只喂养行为分析
《Biosystems Engineering》:Automated 24-h cattle feeding behaviour analysis using Raspberry Pi, infrared imaging, and deep learning-based head position and ID classification
【字体:
大
中
小
】
时间:2026年05月04日
来源:Biosystems Engineering 5.3
编辑推荐:
G. Wager-Jones | M. Butler | W.E. Harris | M. Rutter | E. Bleach | K. Behrendt
哈珀亚当斯大学,新港,什罗普郡,TF10 8NB,英国
**摘要**
监测牛的进食行为对于评估动物福利至关重
G. Wager-Jones | M. Butler | W.E. Harris | M. Rutter | E. Bleach | K. Behrendt
哈珀亚当斯大学,新港,什罗普郡,TF10 8NB,英国
**摘要**
监测牛的进食行为对于评估动物福利至关重要。尽管基于视觉的系统在行为分析方面取得了进展,但许多系统无法将行为与饲料摄入量联系起来,也无法在白天和夜晚运行,或者检测到如牛嘴与饲料接触之类的互动。此外,这些系统依赖于规模较小、代表性不足的数据集和复杂的架构,这阻碍了跨学科的合作。本研究提出了一种低成本、可扩展的框架,利用红外成像和运动触发视频捕捉技术来识别牛在饲料槽前的进食行为和存在情况。通过使用配备红外相机的Raspberry Pi和开源运动检测软件,在不同的光照条件下收集了503段视频记录。基于这些数据,训练了两个模型:一个是用于头部位置分类的卷积神经网络(CNN),包括牛嘴与饲料接触的检测(测试准确率为94.86%,损失值为0.17);另一个用于个体识别。该动物识别模型在10,103帧的数据上进行训练,能够在测试集上实现高准确率(98.52%,损失值为0.05),但在评估25,453帧手动标注的外部数据集时准确率降至89.5%。这种差异凸显了将模型推广到实际应用环境中的挑战。这两个模型将进食事件与个体动物联系起来,并结合饲料桶的重量来估算饲料摄入量。未来的工作将进一步完善进食行为的检测,同时模块化设计使得该系统能够部署在边缘设备或基于服务器的农场管理系统上。研究结果表明,简单的系统能够通过降低技术门槛,促进动物科学家的跨学科合作,实现稳健的行为监测。该框架支持可扩展的、数据驱动的牲畜管理,并能与精准农业系统集成。
**科学影响声明**
这项研究强调了全面、高质量的训练数据集的必要性,这些数据集能够捕捉到现实世界中的变化情况,从而实现白天和夜晚对牛进食行为的监测。通过区分“抬头”和“低头”的头部位置(而不仅仅是检测动物是否在饲料槽前),这种方法为更准确、24小时的行为分析提供了关键见解。这种细致的观察有助于早期发现疾病、更精确地估算饲料摄入量,并提高福利监测效果。在验证低成本、配备红外设备的系统时,我们强调了数据收集协议、稳健的标注以及持续模型优化的重要性。这种以科学为导向的解决方案有望普及可操作的见解,缩小行为学研究与精准农业技术实际应用之间的差距。
**术语表**
**缩写** | **定义**
- **ABA** | 自动行为分析(Automated Behavioural Analysis)——利用计算机视觉或传感器自动识别和量化动物行为。
- **PLF** | 精准农业(Precision Livestock Farming)——以技术驱动的牲畜管理系统,旨在提高生产力、福利和可持续性。
- **RFID** | 射频识别(Radio-Frequency Identification)——一种使用标签和读取器进行动物追踪和识别的无线系统。
- **TMR** | 全混合日粮(Total Mixed Ration)——一种将所有饮食成分混合在一起的喂养策略,以确保营养摄入的一致性。
- **VGG16** | 一种具有16层的卷积神经网络(CNN)架构,常用于图像分类任务和迁移学习。
- **VNC** | 虚拟网络计算(Virtual Network Computing)——一种通过网络访问图形界面的远程桌面共享系统。
**1. 引言**
精准农业技术旨在通过早期发现行为异常来改善动物健康、福利和效率。这些系统支持对跛行(Maselyne等人,2017年)、发情(Knight,2020年)和早期疾病(Dittrich等人,2019年)的持续监测,尽管大多数系统仅跟踪少数变量(Van Erp-van der Kooij & Rutter,2020年)。例如,摄像头系统通常仅能检测到动物是否在饲料槽前(Bresolin等人,2023年),而像GrowSafe(GrowSafe Systems Ltd.,加拿大艾尔德里)这样的商业平台则提供访问频率和低头持续时间的数据。由于进食行为与饲料摄入量相关(Schwartzkopf-Genswein等人,1999年),基于视觉的系统可能具有预测潜力。然而,当前的摄像头和摄入量监测系统忽略了行为的复杂性。为了解决这一问题,本研究提出了一种24小时自动行为分析(ABA)系统,以丰富精准农业的喂养评估。
动物行为的研究采用了可穿戴传感器的数据(如加速度计来测量下颌运动(Van Erp-Van der Kooij,2021年),以及直接观察(无论是现场观察还是通过视频记录(Tolkamp等人,2000年))。虽然直接观察可以捕捉到广泛的行为,但它劳动密集、主观性强且受时间限制,不利于长期分析(Sowell等人,1998年)。相比之下,如下颌运动跟踪等自动化系统提供了更一致、大规模的数据。将适当的视频技术与深度学习结合,开发出自动行为分析(ABA)系统,为传统可穿戴方法提供了一种详细、计算机化且侵入性较小的替代方案(Dawkins,2004年)。进食行为通过计算机化喂养系统和基于摄像头的方法进行监测。计算机化系统测量诸如个体进食事件、每次访问饲料槽的持续时间和每天在饲料槽前的总时间等参数(Schwartzkopf-Genswein等人,1999年)。这些系统通常依赖物理识别方法(如RFID标签)将数据与个体动物关联起来(Rushen等人,2012年)。而基于摄像头的系统则需要识别算法来区分个体动物,例如Achour等人(2020年)开发了一种系统,通过顶部视图在白天检测动物在饲料槽前的头部位置。当动物头部在饲料槽中时,将其视为进食行为。然而,大多数现有系统仅能检测到动物是否在饲料槽前,而无法识别具体的进食状态(Porto等人,2015年;Yang等人,2018年)。进食模式的早期变化可能预示着疾病的发作,从而允许及时干预,缩短疾病持续时间,改善治疗效果,并提高福利,从而减少经济损失(Urton等人,2005年;González等人,2008年)。进食行为还反映了社会动态,因为占优势的动物会先获得饲料。分析这些模式有助于评估群体饲养或喂养协议对竞争的影响(DeVries等人,2004年)。此外,进食行为还可以反映饮食不足,这可能影响生育能力和后代健康(Dunn和Moss,1992年)。进食模式还与饲料效率相关(Schwartzkopf-Genswein等人,1999年;Haskell等人,2019年;Tolkamp等人,2000年),表明行为监测可以作为估算摄入量和选择更高效动物的成本效益方法(Seymour等人,2019年)。
最近的基于视觉的方法已经证明了使用面部区域分析和几何标准在饲料槽处识别个体牛和估算进食时间的可行性(例如Kawagoe等人,2023年)。这些系统提供了有关进食时间的宝贵信息,但通常将进食视为二元状态,并未明确将观察到的行为与测量的饲料摄入量联系起来。这些局限性表明,需要能够捕捉更多行为细节的方法,并支持与摄入量相关数据流的集成。
计算机视觉和深度学习的最新进展大大扩展了自动化牲畜监测系统的范围,实现了实时行为识别、个体识别和多摄像头跟踪,适用于商业农场环境。最先进的平台越来越多地集成多模态传感器、多摄像头融合和复杂的推理流程,以支持整个牛舍的连续、高分辨率监测(例如Moe等人,2025年;Nasir等人,2025年)。虽然这些系统表现出令人印象深刻的能力,但它们通常依赖于广泛的基础设施、专用硬件和高计算资源,这可能限制了其可访问性和可扩展性。与此同时,更专注的基于视觉的方法已经展示了使用面部或头部区域分析进行高效识别和进食时间估算的能力,尽管行为表示简化且与摄入量相关结果的关联有限(Kawagoe等人,2023年;Yu等人,2024年)。最近的综述指出,在实际部署AI驱动的牲畜监测系统时,平衡模型复杂性、鲁棒性、成本和可解释性仍然是一个核心挑战(Mahato和Neethirajan,2025年)。在这种背景下,仍需要低成本、模块化的框架,这些框架能够利用现代计算机视觉技术,同时适合研究驱动的发展和未来的农场集成。
开发自动行为分析(ABA)系统需要考虑环境因素,如温度、灰尘、湿度、光线以及牲畜、机械或啮齿动物可能造成的物理损坏。这些因素会影响系统的可靠性、寿命和安全性,因为暴露的组件可能会危及动物或工人。一致的图像质量和物理耐用性对于准确的数据收集、可扩展性和安全部署至关重要。为鲁棒性设计也有助于在不同养殖条件下支持可重复性,使ABA系统既耐用又具有适应性(Nasirahmadi等人,2017年)。正确的设备放置同样重要,以确保目标行为的可见性,同时便于维护和校准(Neethirajan,2020年)。关于数据存储(本地存储还是云存储)的决定也会影响系统性能和灵活性。ABA实施中的一个关键挑战是管理和分析大型视频数据集,这需要高计算能力和分析工作量(Siegford等人,2023年)。系统的有效性还取决于能够准确捕捉个体行为的高质量训练数据。然而,复杂的架构可能会阻碍工程师和行为学家之间的合作,限制了行为知识向技术设计的整合。解决这些问题有助于确保ABA系统生成可靠、可操作的见解。ABA系统有两个主要作用:作为独立的监测工具或作为新兴精准农业(PLF)技术的验证框架。在后一种情况下,它们提供了评估传感器准确性和性能的基准,提高了自动化数据流的可靠性,并支持改进的牲畜管理。本研究的主要目标是开发一个经济实惠的自动行为分析(ABA)系统,该系统能够(1)将进食行为与饲料摄入量联系起来,(2)提供连续的24小时行为监测,(3)检测牛嘴与饲料的接触作为摄入量的指标。虽然该系统全天候运行以捕捉进食行为,但本研究的主要目标是开发和验证一个研究级别的自动行为分析(ABA)框架,而不是一个完全部署的实时决策支持产品。假设是,低成本成像、行为分类和与摄入量相关的分析可以结合在一个适合跨学科研究和未来农场自动化的模块化流程中。该框架解决了现有系统的局限性,包括行为与摄入量之间的关联不足、缺乏全天候监测以及检测摄入事件方面的挑战。
**2. 材料与方法**
2.1. 数据采集
开发了一个自动记录系统(图1),用于监测五头英国蓝牛犊(平均体重368.6 ± 27.1公斤)的进食行为。这些牛犊通过自动饲料器(GrowSafe Systems Ltd.,加拿大艾尔德里)获得全混合日粮(TMR)。相机放置在距离饲料器边缘约0.6米的位置,能够清晰地捕捉到白天和夜晚牛嘴与饲料接触的侧视图(图2),这是从顶部视图无法实现的。记录的分辨率为640 × 480像素,帧率为20帧/秒。系统包括Raspberry Pi 4 Model B(1GB)、Raspberry Pi NoIR Camera Module V2.1(Raspberry Pi Ltd.,英国剑桥)、红外光源、外壳和连接器。使用Linux软件包Motion(Heenan,2020)实现了运动触发视频捕捉,在检测到饲料槽前的动作前后各保存5秒的视频,从而减少了存储需求。Raspberry Pi充当虚拟网络计算(VNC)服务器,并将视频存储在连接的USB驱动器上。通过Remote.It(remot3.It, Inc.,美国佩塔卢玛)实现了远程访问和实时观看。记录时间为2023年4月19日至21日,分别获得了117段视频(8.58GB)、230段视频(21.1GB)和156段视频(11.6GB)。Raspberry Pi作为低成本的边缘设备,负责在红外照明和运动触发下进行连续24小时的视频捕捉。在本研究中,深度学习模型的训练和推理是在离线环境下进行的,以优先考虑模型开发、验证和可解释性。然而,模块化系统设计允许根据农场基础设施和使用情况,在更强大的边缘设备(如NVIDIA Jetson平台)上本地进行推理,或在服务器上进行远程推理。在实际部署场景中,只有派生的行为指标和警报会被传输到农场管理系统,从而减少数据带宽和计算需求。
**下载:** 下载高分辨率图像(660KB)
**下载:** 下载全尺寸图像
图1. 自动摄像头监测装置的设置,显示一头牛正在从GrowSafe饲料桶进食。在某些情况下,通过图像中可见的耳标验证了动物的身份。
**下载:** 下载高分辨率图像(603KB)
**下载:** 下载全尺寸图像
图2. 从自动摄像头监测装置在白天(左)和夜晚(右)获得的640 x 480像素图像示例。
2.2. 头部位置模型训练和评估
共记录了503段视频以捕捉牛的进食行为,并将其处理为每秒1帧的单独图像。每天随机抽取40%的帧进行手动标注,得到20,727帧标注图像。选择这种采样率是为了在保证足够的时间覆盖范围内平衡手动标注的工作量和捕捉行为变化以及进食相关头部位置状态之间的转换。标注的数据集被分为80%用于训练,20%用于测试头部位置分类模型。剩余的60%帧(n = 40,159)使用训练好的模型进行了伪标记,其中24,044帧经过手动审查,以评估模型的泛化能力,同时不污染原始测试集。所有用于模型训练和评估的视频帧都由具有牛喂养行为经验的训练有素的研究人员手动注释。注释基于对每个帧的视觉检查,特别关注头部相对于饲料槽的位置以及可见的口鼻接触。帧被分类为六种头部位置和上下文类别:向上、向上完整、向下、向下完整、无动物和加权。只有当动物的口鼻明显接触饲料时,才会被归类为向下和向下完整类别,并且根据直接视觉证据推断出进食行为。相比之下,向上和向上完整表示头部高于饲料表面但没有可见的口鼻接触,因此不被视为进食事件。这种区分是为了避免仅从头部向下位置推断进食行为的系统中存在的歧义。无动物表示没有牛,从而可以认为饲料重量是可靠的。加权类别捕捉到了其他物体(如鸟类)的干扰。尽管这些类别在建模目的中被称为与进食相关的状态,但它们代表的是视觉上定义的头部位置和环境条件,而不是特定的生物行为。
深度学习模型是在TensorFlow/Keras中使用VGG16构建的,用于特征提取。帧被调整大小为224×224像素。VGG16的原始全连接层被Flatten、Dense(512和256个神经元,ReLU)、Dropout以及最终的SoftMax层替换,以输出六类结果。模型使用了Adam优化器(学习率:0.00001)和分类交叉熵损失,以准确性作为评估指标。基于验证损失实施了提前停止策略,以减少过拟合。选择VGG16是因为它在图像分类方面的强大性能以及相对较低的计算成本,这归功于其直接、顺序的架构。此外,与Inception等更深层次、更复杂的架构相比,VGG16在较小的行为数据集上更容易进行微调,后者需要更广泛的优化和更大的数据集才能达到稳定的性能(Alruily等人,2025年)。尽管如此,未来的工作可能会探索这些替代的CNN架构(例如Inception),以基准测试性能并验证它们在农场环境中的适用性。
2.3. 动物识别模型的训练和评估
在开发头部位置模型之后,又训练了一个独立的监督模型来识别个体动物。共有13,469帧被手动注释了动物ID,并分为75/25用于训练和测试。模型架构与头部位置分类器相同,使用基于VGG16的CNN。为了在更多变化条件下评估性能,在一组更大的未见过的帧上生成了预测。其中,25,453帧未见过的帧被手动审查并与预测标签进行对比,以评估准确性和泛化能力,同时保持测试集的完整性,并能够在真实世界数据上进行稳健的推理后评估。动物识别标签是基于对视频帧中可见的个别耳标和独特毛色标记的视觉确认来手动分配的。由于遮挡、运动模糊或部分可见性导致无法确信动物身份的帧被排除在标记的训练和测试数据集之外。这种保守的注释方法确保了监督学习和评估的高置信度真实标签。
2.4. 行为分析的预处理
为了将行为数据与饲料摄入量对齐,视频时间戳使用统一的时间格式(YYYY-MM-DD HH:MM:SS)与饲料箱重量测量同步。这使得可以从GrowSafe系统中精确匹配行为和摄入数据。具有相同行为类别和动物ID的连续帧被分组为行为事件,持续时间以秒计算。每次动物出现在饲料箱时,无论是否有口鼻接触,都会计算饲料摄入量。当口鼻接触饲料时,记录为进食事件,并计算其持续时间。当头部在进食期间抬起时,也记录为向上事件,并计时。
饲料投喂被手动标记,以排除饲料物理添加到饲料箱的时期,防止摄入数据失真。三次饲料投喂分别发生在:4月19日(16:04:47–16:06:36,+18.9公斤)、4月20日(10:22:48–10:24:03,+179.4公斤)和4月21日(09:30:11–09:32:16,+75.24公斤)。仅对第一次和第二次饲料投喂生成了指标。第三次饲料投喂被排除在外,因为这次投喂的动物识别输出没有经过手动推理后的验证,而第一次和第二次投喂经过了验证;未经验证的包含可能会导致行为指标中出现与身份相关的错误。未来的实现应该包含自动化的数据质量保证程序。这些可能包括检测生物学上不合理的进食持续时间或摄入估计的异常值,以及常规验证连续帧和访问中动物身份的一致性。这样的检查将在行为输出与外部数据流集成时提高鲁棒性。
3. 结果和讨论
3.1. 系统性能
记录系统可靠地捕捉了三次饲料投喂期间的牛的进食行为,使用运动触发的红外视频来关注饲料槽处的活动时期。这种方法大大减少了不必要的数据收集,从而得到了更易于管理的数据集,同时保持了行为覆盖范围。在72小时的监控期间,运动触发记录生成了503个短视频片段(大约41.3GB),仅捕捉到大约17小时的进食活动。相比之下,以相同的分辨率和帧率进行连续记录将产生整个监控期间的不间断录像,相当于大约140GB的视频,大幅增加了存储和处理需求。在未记录的间隔期间没有观察到饲料重量的显著变化,表明系统成功捕捉到了相关的进食事件。便携式设计允许在真实的农场条件下持续运行,并证明了其在不同研究环境中的行为监测适用性。这种简单的模块化结构使动物科学家能够自行安装、调整和维护系统,最大限度地减少了对工程支持的需求,并使研究协议的协作改进更加灵活。相机监控系统由商业上可获得的组件构成,设计注重成本效益(总成本£124.53+VAT,详见表1)和适应性,以便在典型的农场环境中部署,无需依赖专有技术。在本研究的背景下,区分连续监控和实时推理是很重要的。
表1. 相机监控设备的成本明细和项目列表。
组件 成本(GBP/£)(不含VAT)
CCTV安全摄像头 - Splenssy 96 LEDS IR 照明器 850 nm 阵列红外灯 带传感器 12v 夜视 户外防水 16.66
红外光适配器 7.49
Raspberry Pi 4 Model B(1GB) 28.00
Raspberry Pi NoIR相机模块V2 23.75
PiShell 黑白外壳:适用于Raspberry Pi 3B+和相机的多色保护壳 4.99
1 RS PRO 银色铝合金型材支架,20×20毫米,5毫米凹槽,1米长度 11.42
固定装置和配件(螺丝/胶带) 5.00
D-Line 防水电气箱,户外延长插座箱,IP54,2个进出端口 12.46
4英寸G型夹 4.99
SanDisk 64GB Ultra Fit USB 3.2闪存盘,读速高达130MB/s(适合放在Pi后面) 6.92
防风防雨桶 2.85
总成本 £124.53
系统连续运行24小时以捕捉进食行为,而行为分类和摄入分析是事后进行的。这种设计选择反映了研究的目标:在真实的农场条件下评估行为定义、模型鲁棒性和摄入量关联。虽然这里没有实现实时推理,但训练好的模型的计算要求与现代嵌入式平台上的边缘部署兼容,使得将来可以作为集成农场管理工作流程的一部分实现实时或接近实时的操作。
3.2. 头部位置模型的性能
基于预训练的VGG16架构的卷积神经网络(CNN)被微调用于分类进食期间的头部位置。该模型使用20,727个手动注释的视频帧进行训练,这些帧被分类为六种头部位置和上下文类别(向上、向下、向下完整、向上完整、无动物和加权)。在一个保留的测试集(n = 4145)上,模型的分类准确率为94.89%,分类交叉熵损失为0.17,有213帧被错误分类。模型训练动态在图3(准确性)和图4(损失)中展示。在这两张图中,蓝线表示训练性能,橙线表示验证性能。训练和验证曲线在各个时期的密切对应表明了强大的泛化能力和最小的过拟合。为了评估在未见数据上的鲁棒性,将训练好的模型应用于另一个伪标记的数据集(n = 24,044),所有预测随后都进行了手动审查。该模型在这组数据上的准确率为93.20%,有1675帧被错误分类。虽然这不是一个正式的测试集,但这种事后的验证步骤作为一个实际的质量保证措施,确认了模型在农场环境典型条件下的可靠性。与Achour等人(2020年)之前的工作相比,他们使用白天图像报告了92.61%的分类准确率,当前方法结合了白天和夜间的数据,并采用了分类框架(而不是对象检测或分割),从而减少了注释负担并扩大了样本量。尽管CNN架构是预先存在的,但将其应用于涵盖白天和夜间条件的行为多样化数据集代表了实质性的方法论贡献。
下载:下载高分辨率图像(203KB)
下载:下载全尺寸图像
图3. 九个时期头部位置分类模型的训练和验证准确性。蓝线表示训练准确性;橙线表示验证准确性。(关于此图例中颜色的解释,请参阅本文的网页版本。)
下载:下载高分辨率图像(195KB)
下载:下载全尺寸图像
图4. 九个时期头部位置分类模型的训练和验证损失。蓝线表示训练损失;橙线表示验证损失。(关于此图例中颜色的解释,请参阅本文的网页版本。)
3.3. 动物识别模型的性能
基于VGG16架构的卷积神经网络被微调用于识别饲料槽中的个体小母牛。准确的动物识别对于将观察到的进食行为与相应的饲料摄入事件联系起来至关重要。该模型在10,103个手动注释的视频帧上进行了训练,在测试集上的分类准确率为98.52%,分类交叉熵损失为0.05。训练动态,包括准确性和损失,在图5和图6中分别展示。在这两张图中,训练性能用蓝色表示,验证性能用橙色表示。
下载:下载高分辨率图像(204KB)
下载:下载全尺寸图像
图5. 九个时期动物识别模型的训练和验证准确性。蓝线表示训练准确性;橙线表示验证准确性。准确率在第6个时期后趋于平稳,表明模型已经收敛。(关于此图例中颜色的解释,请参阅本文的网页版本。)
下载:下载高分辨率图像(195KB)
下载:下载全尺寸图像
图6. 九个时期动物识别模型的训练和验证损失。蓝线表示训练损失;橙线表示验证损失。损失值持续下降,表明学习稳定且过拟合有限。(关于此图例中颜色的解释,请参阅本文的网页版本。)
为了评估在实际条件下的泛化能力,将模型应用于从同一饲养环境中先前未见过的相同动物的25,453帧独立视频数据集,并进行了手动验证。在这个真实世界数据集上的准确率降低到了89.5%。在评估之前,共有118帧被排除,因为由于身份信心不足而没有产生匹配决策。相对于内部测试,这种性能的下降是本研究的一个关键发现。对错误分类的外部帧的分析揭示了行为背景和头部姿态分布的变化(表2)。错误分类的样本与头部抬起(‘向上’)的不成比例相关,这降低了感兴趣区域内区分性面部特征的可见性,该区域是针对进食检测而不是全脸识别进行优化的。重要的是,这种性能差距不是由经典的领域转换因素引起的,例如动物身份、饲养条件或相机基础设施的差异,因为外部数据集包括在同一环境中记录的相同动物。相反,行为姿态的变异性,尤其是头部处于抬起状态时,是限制泛化能力的主要因素。表2显示了动物识别模型在训练、测试和外部数据集中头部位置类别的分布。被错误分类的外部样本中,头部抬起(“向上”)的情况更为常见,这表明面部可见性的降低是导致泛化误差的关键因素。
尽管底层的卷积神经网络(CNN)架构已经存在,但将其应用于一个行为多样、涵盖昼夜条件的农场数据集,并结合大规模的推理后验证,代表了一种重要的方法论贡献。与之前使用较小数据集和更受限姿态范围的研究(例如Achour等人,2020年)相比,本研究评估了进食事件的背景和不同的姿态。未来改进措施可能包括集成姿态估计模型,以确保为动物识别提供最具信息量的面部视图,同时进行持续的模型重新训练和对伪标记数据的针对性手动检查。通过使用多个摄像头角度和增强照明,可以在不同的姿态和光照条件下提高面部可见性,从而实现进一步的改进。为了与外部生产数据集的实际集成,强大的动物识别能力至关重要。因此,未来的工作应重点加强连续帧和进食访问之间的身份验证,特别是当行为输出与纵向表现或健康记录相关联时。结合时间一致性检查和基于置信度的过滤将有助于在将基于视觉的输出与第三方农场管理系统结合时,最小化与身份相关的错误。
基于视觉的动物识别系统的一个已知局限性是对随时间变化的外观敏感(Nasirahmadi等人,2017年),包括生长、季节性毛发变化、污染(例如泥浆或饲料)以及光照变化。在大量未见数据上观察到的性能下降突显了这种现实世界变异性的影响,并反映了纯基于视觉的识别系统长期部署的更广泛挑战。在群居和动态的动物群体中,仅依靠视觉维持可靠的个体识别仍然具有挑战性。因此,实际部署可能会从结合基于视觉的行为监测与低频识别方法(如RFID)的混合方法中受益,这些方法可以在不依赖可穿戴传感器的情况下提供定期的身份确认。这种多模态策略可能支持长期的身份持久性,同时允许视觉模型专注于行为分类,这与先前研究(Nasirahmadi等人,2017年;Siegford等人,2023年)中指出的挑战相一致。
本研究开发的系统能够详细、连续地量化个体动物的进食行为(表3)。在两次饲料投喂过程中,每头动物的床位访问频率从22次到67次不等,而表示鼻子接触饲料的“向下”事件频率从103次到218次不等。这些“向下”事件的持续时间从886秒到3661秒不等,显示出个体在进食参与度上的差异。当与饲料箱重量数据同步时,这些行为指标可以通过将带有时间戳的鼻子接触饲料事件与相应的饲料重量变化联系起来,来估计每次事件的饲料摄入量。这代表了重要的管理优势:生产者可以根据进食频率或持续时间的减少来识别表现不佳或有风险的动物,检测可能表明出现健康或福利问题的摄入模式变化,并监测群居系统中的进食竞争性或获取情况。与直接观察或基于RFID的摄入系统等传统方法不同,这种基于视觉的方法无需可穿戴设备或专用基础设施即可捕获高分辨率的时间数据,从而降低了成本、处理压力和可扩展性的障碍。此外,区分与进食相关的状态(例如,头部向下 vs. 头部向上)的能力提供了仅通过记录喂食器存在情况无法捕捉的行为细节。Kawagoe等人(2023年)证明,面部区域检测结合参考线分析可以用来估计进食时间并在受控进食条件下识别个体奶牛。相比之下,本研究采用了一种行为分类方法,区分了多种与进食相关的状态,包括头部向上和鼻子接触饲料的事件。这些行为分类不仅关注进食持续时间,还与饲料箱重量测量同步,从而能够估计与摄入量相关的指标。使用红外成像支持在白天和夜间条件下的连续监测,将适用性扩展到24小时观察周期。除了短期摄入量估计外,该系统生成的行为指标对于长期的健康、福利和表现监测也具有潜在价值。因为输出是带有时间戳的,并在个体动物层面解析,它们可以与现有的农场管理软件和常规收集的生产记录(如牛奶产量或活体重增加)集成。这将使得基于趋势的进食行为监测成为可能,支持更早地识别偏离预期行为或表现轨迹的动物。在这种情况下,该系统可以作为更广泛的精准畜牧业工作流程中的决策支持工具,而不仅仅是一个独立的监测解决方案。
重要的是,这两种模型都能够生成详细的个体层面的行为指标,如床位访问频率、上下事件持续时间和进食事件数量,这些指标与饲料箱重量测量同步,从而无需依赖基于RFID的标记即可估计饲料摄入量。与仅基于喂食器存在或手动观察的传统方法相比,该框架提供了更高的时间分辨率、更丰富的行为特征描述,以及白天和夜间时期的连续监测。未来的研究应该在此框架的基础上进一步完善进食行为关系,评估哪些行为指标对于预测摄入量最有信息量,以及这些关系在不同动物、生产阶段和管理系统之间的变化。还需要额外的工作来增强模型的泛化能力,并在不同品种和饲养环境中验证性能。
本研究实现并验证了一个低成本的自动化行为分析(ABA)框架,能够在真实农场条件下连续、日夜监测牛的进食行为。通过将红外相机与基于深度学习的行为分类和动物识别相结合,该系统提供了一种可扩展、易于访问、非侵入性的替代方案,取代了可穿戴跟踪设备。其模块化、低复杂度的设计支持跨学科合作,使工程和动物科学的研究团队能够适应、部署和扩展该框架,而无需依赖专用硬件或高级编码技能。头部位置分类模型在检测鼻子接触饲料和支持进食行为量化方面表现出色,而在大量未见数据上的推理后评估提供了关于模型泛化能力的宝贵见解。动物识别模型在内部准确性方面表现良好,但在未见数据上的性能较低,特别是在面部可见性降低的“向上”位置。这些发现强调了扩展训练数据集、优化相机放置和考虑姿态的方法对于提高在不同行为和光照条件下的鲁棒性的重要性。总体而言,这项研究为精准畜牧业监测提供了一个实用且低门槛的研究框架。虽然该系统展示了低成本、连续进食行为分析的可行性,但它被作为一个研究和开发平台提出,而不是一个完全部署的商业解决方案,在大规模农场应用之前还需要进一步验证。
作者贡献声明:
G. Wager-Jones:撰写 – 审稿与编辑,撰写 – 原始草稿,方法论,正式分析,数据管理,概念化。
M. Butler:软件,资源,方法论,数据管理,概念化。
W.E. Harris:监督。
M. Rutter:监督,概念化。
E. Bleach:撰写 – 审稿与编辑,监督。
K. Behrendt:撰写 – 审稿与编辑,撰写 – 原始草稿,监督,资金获取,概念化。
关于写作过程中生成式AI和AI辅助技术的声明:
在准备这项工作时,作者使用了ChatGPT来检查句子的清晰度和简洁性。使用该工具/服务后,作者根据需要审查和编辑了内容,并对出版物的内容承担全部责任。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号