基于RGB-深度双模态信息融合的牛行为检测方法

《Animals》:A Method for Detecting Cattle Behaviors Based on RGB-Depth Dual-Modal Information Fusion

【字体: 大 中 小 】 时间:2026年07月26日 来源:Animals 3.2

编辑推荐:

  在大规模养牛场中,准确的行为识别是实现集约化健康监测和动物福利评估的核心。为应对实际牛舍中围栏、饲槽和污渍导致的背景干扰,以及牛只重叠与单一RGB模态无法捕捉物理空间结构带来的检测边界模糊和显著噪声干扰等问题,研究人员提出了一种基于RGB-深度双模态信息融合的

  
在大规模养牛场中,准确的行为识别是实现集约化健康监测和动物福利评估的核心。为应对实际牛舍中围栏、饲槽和污渍导致的背景干扰,以及牛只重叠与单一RGB模态无法捕捉物理空间结构带来的检测边界模糊和显著噪声干扰等问题,研究人员提出了一种基于RGB-深度双模态信息融合的牛行为检测方法。该方法联合建模RGB图像的纹理信息与深度图像的空间结构信息。在该框架内,本文构建了三个协同优化模块:首先,开发了CDSAM模块,通过无参数注意力机制评估神经元重要性,并结合动态卷积适应牛只多变姿态,有效抑制复杂背景噪声;其次,提出了基于双层路由注意力机制的C2BRA模块,采用“区域级路由—区域内细粒度注意力”的两阶段建模方式,适应目标尺度变化并增强模型对多尺度语义信息的空间上下文表征能力;最后,在预测阶段引入轻量级共享卷积检测头(LSCD),通过跨尺度共享卷积参数并解耦分类与回归架构,在保持精度的同时降低计算开销。实验结果表明,改进模型在自建牛行为数据集上实现了90.3%的mAP@0.5,相比基线模型提升4.3个百分点,同时将GFLOPs从11.0 G降至9.6 G,降低12.7%;可视化结果表明,改进模型能更精确地聚焦于牛体轮廓及关键行为区域,从而减少漏检并提升检测精度。同时,该模型在检测性能与计算复杂度之间取得了最优平衡,为智慧牧场的自动化牛行为监测提供了有力的技术支持。
**论文解读:基于RGB-深度双模态信息融合的牛行为检测方法**

**研究背景与问题**

在现代化大规模养牛场中,精准、连续地监测牛只行为对于实现集约化健康管理、动物福利评估及生产性能优化至关重要。然而,实际养殖环境复杂,存在围栏、饲槽、地面污渍等背景干扰,且牛只个体密集、姿态多变,传统基于单一RGB视觉模态的方法难以捕捉物理空间结构,导致检测边界模糊、噪声干扰显著。现有接触式传感器方法(如加速度计、陀螺仪)虽抗干扰性强,但存在佩戴依从性差、维护成本高、干扰动物行为等缺陷;非接触式视觉方法虽已取得进展,但多数仍依赖RGB图像,在复杂场景下容易受视角、光照和遮挡影响。近期研究尝试引入深度信息,但受限于专用深度相机硬件成本、多相机标定误差及时空同步难题,且多数融合策略仅简单拼接特征,未能充分利用深度模态的空间几何先验。针对上述问题,研究人员提出了一种基于RGB-深度双模态信息融合的牛行为检测方法(DMNet),旨在通过深度通道提供结构正则化,弥补RGB模态对空间几何表述的不足,同时优化噪声抑制、尺度变化适应和计算冗余。

**研究内容与结论**

研究人员构建了DMNet框架,采用RGB-深度双分支骨干网络,并通过深度图(由单目深度估计模型Depth Anything V2生成)作为数据驱动的几何正则化器,实现跨模态高效融合。在该框架内,设计了三个协同优化模块:CDSAM模块(结合无参数注意力SimAM与动态卷积)以抑制复杂背景噪声并适应多变姿态;C2BRA模块(基于双层路由注意力BRA)以增强多尺度空间上下文表征能力;轻量级共享卷积检测头(LSCD)以降低计算开销。实验在自建牛行为数据集(采集自广东省汕尾市陆河县潮美食品有限公司牧场,品种为西门塔尔牛和安格斯牛,视频采集于2025年11月至2026年1月,包含7种行为类别:站立、躺卧、进食、饮水、舔舐、行走、搜寻)上进行。结果表明,改进模型在保持轻量级的同时,mAP@0.5达到90.3%,相比基线模型提升4.3个百分点,GFLOPs从11.0 G降至9.6 G(降低12.7%),推理速度达53.6 FPS。该研究为智慧牧场的自动化牛行为监测提供了高效、鲁棒的技术方案,论文发表在《Animals》。

**关键技术方法**

研究人员采用以下关键技术方法:
1. 数据采集与预处理:在单一牧场(广东省汕尾市潮美食品有限公司牧场)使用高清摄像头采集RGB视频,并通过单目深度估计模型(Depth Anything V2)生成对应的深度图,构建伪双模态数据集。
2. 双模态融合网络:设计双分支骨干网络(RGB分支与深度分支),通过两阶段融合整合多尺度特征。
3. 注意力机制与动态卷积:提出CDSAM模块,集成无参数注意力机制(SimAM)与动态卷积(DynamicConv);提出C2BRA模块,基于双层路由注意力(BRA)实现区域级路由与细粒度注意力。
4. 轻量化检测头:设计LSCD检测头,跨尺度共享卷积参数,并采用Group Normalization(GN)和分类/回归解耦架构。
5. 实验评估:采用mAP、参数量、GFLOPs等指标,在自建数据集上进行消融实验、对比实验和可视化分析。

**研究结果**

**3.1 测试平台与参数设置**
研究人员在固定硬件环境下(具体配置见原文表2),采用随机梯度下降(SGD)训练300轮,批大小为32,输入图像尺寸为640×640,以复现实验。

**3.2 评估指标**
采用平均精度均值(mAP)作为主要性能指标,同时采用参数量和计算复杂度(GFLOPs)评估模型轻量性。mAP@0.5定义为所有类别平均精度(AP)的算术平均,其中AP基于精确率(Precision)和召回率(Recall)在不同阈值下的变化计算。

**3.3 不同目标检测算法的对比评估**
研究人员将DMNet与SSD、Faster R-CNN、YOLO系列(YOLOv8n、YOLOv10n、YOLOv11n、YOLOv12n)、RT-DETR及多种多模态算法(DEYOLO、UMIS-YOLO、MROD-YOLO)在RGB、深度、RGB+深度三种输入配置下进行对比。实验结果表明:
- 单模态下,YOLO系列表现最优,YOLOv10n在RGB模态下精确率最高(87.6%),YOLOv12n的mAP@0.5:0.95最高(74.2%)。
- 深度模态下,YOLOv8n精确率达87.0%,YOLOv11n召回率达84.5%,但整体精度略低于RGB模态。
- 双模态对比中,DEYOLO和UMIS-YOLO在精度上优于大部分单模态模型,但UMIS-YOLO计算量高达98.1 G,MROD-YOLO因模态交互不足导致mAP@0.5仅85.8%。
- DMNet在RGB+Depth配置下表现最佳:精确率85.9%、召回率86.8%、mAP@0.5达90.3%、mAP@0.5:0.95达77.3%,均优于所有对比模型;参数量6.1 M,计算量9.6 GFLOPs,推理速度53.6 FPS。
- 按行为类别分析,DMNet在行走(62.6%)、站立(91.7%)、躺卧(99.4%)、舔舐(98.2%)、搜寻(92.7%)上均取得最高精度,且深度先验对动态行为(如行走)的增益显著大于静态行为(如躺卧)。

**3.4 消融实验**
研究人员在基线模型基础上分别引入CDSAM、C2BRA、LSCD模块进行消融实验。结果表明:
- 单独引入CDSAM:召回率从80.9%提升至85.3%(+4.4百分点),mAP@0.5从86.0%提升至89.4%(+3.4百分点),表明该模块有效增强特征提取与噪声抑制能力。
- 单独引入C2BRA:召回率提升3.9百分点,mAP@0.5提升2.1百分点,mAP@0.5:0.95提升0.3百分点,表明该模块增强多尺度空间上下文表征。
- 单独引入LSCD:mAP@0.5提升1.9百分点,同时GFLOPs从11.0降至10.3,参数量从5.0 M降至4.8 M,表明该模块降低检测头冗余。
- 同时引入三个模块:模型达到最优性能,召回率86.8%、mAP@0.5 90.3%、mAP@0.5:0.95 77.3%,分别提升5.9、4.3、2.0百分点,GFLOPs降至9.6,减少1.4。
- 重复性实验(6次随机种子)显示mAP@0.5平均值为90.08%±0.32%,表明性能提升稳定可靠。

**3.5 可视化分析**
- 特征图对比:替换CDSAM后,特征响应更集中,有效抑制了围栏、污渍等背景干扰,聚焦于牛只姿态区域。
- 检测结果对比:改进模型在遮挡、密集、远景等复杂场景下,能更完整分离个体,减少漏检和类别混淆,尤其是对小尺度目标和局部变形区域表现更优。

**总结与讨论**

讨论部分指出,多模态融合在精准畜牧视觉任务中已获广泛认可。与传统仅依赖外观姿态分析的方法(如Khin等基于“坐姿伸腿”的产犊时间预测模型)相比,本研究引入深度模态提供空间结构先验,同时在轻量级架构下有效抑制复杂背景噪声,增强动态行为(如行走)的空间边界表征。然而,研究仍存在局限性:数据集存在类别不平衡(行走等样本相对较少),深度图由RGB估计生成而非物理传感器采集,信息容量受限于深度估计模型,且所有数据来自单一牧场,跨域泛化性尚未验证。未来研究将扩大样本量、引入时间特征流、探索热红外或夜视等多模态融合,并计划在多牧场跨品种、多光照条件下验证模型的泛化能力。

**结论翻译**
基于基线架构,研究人员创新性地设计了DMNet框架,这是一种专为复杂牛舍环境中牛行为监测定制的RGB-深度双模态检测网络。该框架采用RGB-深度双分支骨干与深度融合架构,利用深度图作为数据驱动的几何正则化器,实现高效跨模态正则化而非传统简单特征拼接。在该框架内,三个协同组件无缝集成以驱动性能飞跃。具体而言,研究人员开发了CDSAM模块以自适应适应多变牛只姿态并抑制增强的背景噪声,从而提升在挑战性场景下提取行为特征的能力;同时,新提出的C2BRA模块增强了网络在不同目标尺度下感知关键交互区域的能力,改善了多模态融合层空间和行为边界的表征质量;最后,用轻量级共享卷积检测头(LSCD)替代传统检测头,有效消除了多分支检测头的架构冗余,使模型在保持优越精度的同时削减整体计算开销。实验结果表明,在自建牛行为数据集上,改进模型的精确率、召回率和mAP@0.5分别达到85.9%、86.8%和90.3%。值得注意的是,mAP@0.5相比基线模型提升4.3个百分点。同时,GFLOPs计算复杂度从11.0降至9.6,降低12.7%。一系列系统评估、消融实验和可视化结果表明,这种针对性的结构创新使模型在整体性能上兼顾了轻量级架构与高精度,在部分遮挡和尺度变化条件下有效减少了假阳性和假阴性。总之,DMNet为精准畜牧业中的多模态感知提供了一种新方法。未来研究将侧重于在更广泛的行为类别和数据采集条件下验证该框架,同时积极推进其嵌入式部署和扩展到更多模态,以进一步提升该方法在实际生产场景中的实用价值。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号