基于音频信号与深度学习技术的放牧奶牛采食抓取行为自动监测平台开发与模型效能比较研究

《Frontiers in Signal Processing》:Automatic monitoring herbage prehensions in grazing cows using audio signals and deep learning techniques

【字体: 大 中 小 】 时间:2026年04月14日 来源:Frontiers in Signal Processing 2.6

编辑推荐:

  针对精准畜牧业中放牧反刍动物采食行为监测难题,本研究开发了基于React.js与TensorFlow.js的网页端音频标注与推理平台,并对比了DenseNet-121、ResNet-101、EfficientNet-B7及YOLO11s-cls四类2D-CNN架构对采食抓取事件的分类性能。结果显示YOLO11s-cls在保持83.1%准确率的同时实现4.5 ms超低推理延迟,对非采食声音的特异性达91%,为边缘设备部署提供了高效解决方案。

  
在广袤的牧场上,奶牛低头啃食的画面看似寻常,但对于现代牧场管理者而言,精确掌握每一头牛的采食行为却是一项极具挑战的任务。传统的监测手段,例如在牛下颌安装加速度计,虽然能提供一些数据,但在识别个体采食抓取事件时往往力不从心。随着精准畜牧业(Precision Livestock Farming, PLF)的发展,如何利用非侵入式技术实时、准确地监控动物的进食状态,进而估算每日干物质摄入量(Dry Matter Intake, DMI),成为了提升牧场管理效率和动物福利的关键痛点。声音,作为一种无处不在的信号,蕴含着丰富的行为信息。奶牛在撕咬和咀嚼牧草时产生独特的声学模式,这为非侵入式监测提供了全新的可能性。
正是在这样的背景下,一项发表在《Frontiers in Signal Processing》上的研究应运而生。该研究旨在解决放牧奶牛采食抓取(prehension)事件自动监测的难题,通过结合音频信号处理与深度学习技术,开发了一套完整的解决方案。研究人员不仅构建了一个便捷的网页端软件平台,还系统比较了多种先进二维卷积神经网络(2D-CNN)架构在处理对数频谱图(logarithmic spectrograms)时的性能表现。研究结果表明,经过优化的YOLO11s-cls模型在保持高精度(83.1%)的同时,实现了极低的推理延迟(4.53 ms),且对非采食事件的特异性(Specificity)高达91%。这一成果不仅验证了基于频谱图的2D-CNN在采食监测中的有效性,更为未来在资源受限的边缘设备上部署实时监测系统铺平了道路。
为了开展此项研究,作者采用了几个关键技术方法。首先,研究团队采集了佩戴麦克风项圈的奶牛在自由放牧状态下的立体声WAV格式音频数据,采样率为44.1 kHz,预处理后降采样至16 kHz并转为单声道。数据集包含来自4头奶牛的录音,其中3头用于训练与验证,1头作为未见过的测试集,以确保模型的泛化能力评估。其次,音频被切分为500毫秒的片段并转换为对数频谱图作为模型输入。在数据准备阶段,通过欠采样平衡了“非采食”与“采食”类别的样本分布。随后,研究利用基于React.js和TensorFlow.js构建的网页平台进行了数据标注与管理。最后,研究采用迁移学习策略,比较了DenseNet-121、ResNet-101、EfficientNet-B7以及YOLO11s-cls四种主流2D-CNN架构的分类性能,并使用准确率(Accuracy)、精确率(Precision)、召回率(Recall)、F1分数(F1-score)和特异性等指标进行评估。
研究结果部分详细展示了从数据分析到模型验证的全过程。
2.2 采食事件的统计特征分析
为了验证频谱图在深度学习前的判别能力,研究人员对训练集中的31,318个样本提取了光谱能量、平均功率、光谱对比度、自相关滞后1(Autocorr Lag-1)和周期性(Periodicity)五个统计特征。分析发现,“采食”类别的光谱能量和平均功率中位数显著高于“非采食”类别,表明撕咬牧草会产生独特的高能量声学特征。同时,“采食”事件在时间结构上更具规律性和节奏感,自相关和周期性指标的分布更加紧凑。这些统计差异证实了将音频转化为图像进行分类的可行性。
2.3 深度学习模型
研究重点测试了YOLO11s-cls模型,该模型去除了标准检测中的空间网格,改用全局平均池化(Global Average Pooling, GAP)和线性层输出分类概率,大幅降低了计算开销。YOLO11s-cls包含约672万参数,计算复杂度为12.14 GFLOPs。对比实验显示,尽管DenseNet-121取得了最高的加权准确率(83.7%),但YOLO11s-cls以83.1%的准确率紧随其后,且推理速度远超其他模型。
3 实验结果
在测试集上的详细评估显示,YOLO11s-cls在“非采食”类别上表现出色,特异性达到91%,意味着仅有9%的背景噪声被误判为采食事件,这对于减少田间误报至关重要。虽然在“采食”类别上的召回率(Recall)为70%,存在30%的漏检率,但整体权衡指标依然优秀。混淆矩阵进一步证实,模型的主要错误来源于假阴性(False Negatives)。
4 讨论
讨论部分深入分析了模型选择与应用落地的考量。虽然DenseNet-121的理论浮点运算数(GFLOPs)较低,但由于其密集连接导致的内存访问成本(Memory Access Cost, MAC)较高,实际推理时间(11.62±0.06 ms)反而慢于YOLO11s-cls(4.53±0.03 ms)。McNemar检验证实两者性能差异无统计学意义(p=0.106),因此YOLO11s-cls凭借更高的推理效率成为更优选择。此外,研究中采用的500毫秒非重叠窗口是为了满足实时性需求,边界损失的漏检可通过后续的时间平滑或启发式序列匹配算法进行补偿。研究也指出了当前局限性,即数据集仅来自4头奶牛,未来需在更多样化的群体和环境下进行验证。
综上所述,这项研究成功开发了一个集成音频标注、可视化与浏览器端推理的网页平台,并验证了基于对数频谱图和2D-CNN的采食抓取事件检测方法的有效性。特别是YOLO11s-cls模型,在保证高特异性的同时实现了毫秒级推理,完美契合了精准畜牧业对于低延迟、高效率边缘计算的迫切需求。这不仅为估算放牧奶牛的每日采食量和时间分布提供了可靠的技术支撑,也为未来集成反刍监测、多模态分析(结合计算机视觉)以及牧场精细化管理奠定了坚实的算法与工具基础。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号