基于RGB-D序列的视频级别肉牛体重估计方法：采用跨模态空间配准与帧质量提升技术

《Computers and Electronics in Agriculture》：Video-level beef cattle weight estimation based on RGB-D sequences via Cross-Modal Spatial Registration and Frame Quality Refinement

　　路世豪|苟顺宇|戴新代|王欣杰|刘莉|孙芳|沈卫正|戴白生
中国哈尔滨市东北农业大学电气工程与信息学院，邮编150030

**摘要**
非接触式牛只重量估计对于减少动物压力和确定屠宰时机在牛场生产管理中至关重要。现有方法主要依赖于帧级输入，这使它们极易受到复杂农场环境中常见的高质量数据的影响，从而导致较大的估计误差。本研究提出了一种基于RGB-D序列的视频级牛只重量估计方法。首先，两个视频编码器从RGB序列和HHA序列中提取纹理和几何特征，其中HHA序列是深度图的地理中心编码。其次，设计了一个跨模态空间配准（CMSR）模块来对这些异构特征进行空间对齐。随后，DeMamba块捕获时空关系，并开发了一个帧质量优化（FQR）机制来适应性地减轻低质量帧的影响。最后，使用通过联合损失函数优化的回归头来估计牛只重量，该函数结合了回归和排序损失以区分细微的重量差异。为了评估所提出的方法，建立了一个包含3787个视频片段的综合数据集，这些片段来自75头不同品种的牛，体重范围从218公斤到822公斤。所提出的方法在多种品种和生长阶段均表现出竞争力，平均绝对误差（MAE）为17.126公斤，均方根误差（RMSE）为21.258公斤，平均绝对百分比误差（MAPE）为3.341%，R2为0.976。对高质量数据的鲁棒性进一步验证了该方法在准确可靠地估计牛只重量方面的有效性，为精准畜牧提供了实用解决方案。数据集可在以下链接获取：https://github.com/IPCLab-NEAU/Beef-Cattle-Weight-Estimation

**引言**
体重是牛只管理中的关键表型参数，直接反映了生长性能、健康状况和经济价值。准确估计牛只重量对于优化喂养策略、指导选种以及确定最佳屠宰时机至关重要（Tuyttens, 2005; Banhazi et al., 2012; Wang et al., 2021; Qiao et al., 2021; Hossain et al., 2025）。传统的称重方法通常依赖于平台秤，这要求牛只在测量过程中保持静止。这个过程既费力又耗时，而且经常会引起压力，从而影响动物福利和生产力（Grandin and Shivley, 2015; Faucitano and Goumon, 2018）。随着计算机视觉的快速进步，非接触式的基于视觉的牛只重量估计方法已成为可行的替代方案。现有研究大致可以分为使用RGB图像、3D数据和多模态数据的研究。Weber等人（2020）应用主动轮廓模型从RGB图像中提取背部特征，然后使用回归树bagging模型估计牛只重量。Gjergji等人（2020）评估了多种深度学习架构用于牛只重量估计，确定EfficientNet-B1为最佳模型。Jaini等人（2023）将牛只重量估计视为分类任务，利用侧视图RGB图像通过CNN模型将牛只分类到不同的重量区间。Lan等人（2024）提出了一种多任务SCA-ConvNet架构，结合背部掩码和体型尺寸同时估计重量和尺寸参数。Bai等人（2025）开发了一种基于RGB的轻量级框架，采用多尺度关键点检测在移动设备上进行重量估计。尽管基于RGB图像的方法在提取纹理和轮廓特征方面表现出有效性，但它们缺乏准确重量估计所需的几何信息，在极端照明和复杂背景条件下表现不佳。

同时，研究人员也探索了3D数据中固有的几何信息在牛只重量估计中的潜力。Hansen等人（2018）使用安装在上部的3D深度相机通过数值积分计算背部体积，然后根据假设的体重密度估计奶牛的重量。Miller等人（2019）将3D成像与人工神经网络（ANNs）结合，根据提取的几何特征估计活牛的体重。Xiong等人（2023）为成年奶牛开发了一种线性回归模型，利用从深度图像中提取的投影体积和体型尺寸等参数来估计重量。Shen等人（2023）通过引入回归分支修改了DETR网络，实现了基于深度图像的奶牛端到端背部定位和重量估计。Gritsenko等人（2023）利用三个深度相机的数据进行非刚性3D重建以估计牛只重量。Hou等人（2023）通过LiDAR传感器获取牛只的3D点云，使用改进的PointNet++进行身体分割，然后使用Johnson公式估计重量。一些研究人员还尝试通过从RGB图像中推断隐式3D线索来丰富几何表示。Botazzo Rozendo等人（2025）利用单目深度估计从侧视图RGB图像中估计牛只重量，提取全面的形态测量特征。然而，由于这些几何线索是推断出来的而不是物理测量的，因此这些方法受到RGB成像固有限制的约束。虽然真实的3D数据可以提供RGB图像所缺乏的空间信息，但它也面临独特的挑战。深度相机容易受到传感器噪声的影响，并且由于牛毛表面反射而产生缺失的深度值（Li et al., 2025），而基于LiDAR的方法则需要更高的硬件成本，并且通常对动物姿势有严格要求以确保数据质量。为了利用RGB图像的语义纹理信息和3D数据的几何信息之间的互补性，最近的研究越来越关注多模态融合策略用于重量估计。He等人（2023）设计了一个双流交叉注意力视觉Transformer来整合RGB-D数据中的纹理和结构特征。Afridi等人（2024）使用标准卷积神经网络（CNN）架构对RGB、深度和融合模态的牛只重量估计性能进行了基准测试。然而，有效的融合仍是一个主要挑战。大多数现有方法采用简单的策略，如通道连接或简单的交叉注意力，这些方法往往无法解决由于异构模态之间的语义差异而产生的空间错位问题。

值得注意的是，大多数现有研究，无论是基于RGB图像、3D数据还是多模态数据，主要在帧级别操作。通过独立处理帧，这些方法忽略了视频序列中的丰富时间线索。因此，它们仍然容易受到部分遮挡、传感器噪声、强烈光照和异常姿势等导致的高质量数据的影响（Lamping et al., 2025），从而降低了估计的可靠性。因此，为了解决上述限制并提高重量估计的精度，本研究提出了一种使用RGB-D序列的视频级非接触式牛只重量估计方法。与帧级方法不同，所提出的方法将重量估计视为视频回归任务，并利用视频数据的固有时空关系来提高对高质量数据的鲁棒性。具体来说，首先将原始深度数据转换为HHA表示以充分利用互补特征。通过视频编码器提取特征后，专门设计了一个跨模态空间配准（CMSR）模块来减轻纹理和空间结构信息之间的空间错位。在此基础上，使用DeMamba块捕获复杂的时空依赖性，并开发了一个帧质量优化（FQR）机制来动态评估帧的可靠性并适应性地抑制低质量数据的干扰。为了增强对广泛范围内的细微重量差异的区分能力，使用结合回归和排序损失的联合损失函数对网络进行了优化。本研究的主要贡献总结如下：
- 提出了一种视频级牛只重量估计方法，以解决帧级数据容易受高质量数据影响的问题。
- 设计了一个跨模态空间配准（CMSR）模块来对齐异构特征，有效减轻RGB和深度模态之间的空间错位。
- 开发了一个帧质量优化（FQR）机制来适应性地评估帧的可靠性，从而抑制低质量帧的影响。
- 结合回归和排序损失的联合损失函数捕获广泛范围内的细微重量差异。

本文的其余部分分为五个部分。第2节描述了数据采集和数据集构建。第3节详细阐述了所提出的牛只重量估计方法。第4节报告了实验结果和比较分析。第5节讨论了当前研究的局限性并概述了未来的研究方向。第6节总结了本文。

**数据采集**
数据收集于2024年10月至2025年4月期间，在中国哈尔滨市黑龙江省农业科学院的实验牛场进行。除2025年1月外，每月收集RGB-D视频和相应的体重测量数据，共获得275个原始RGB-D视频和75头牛的对应体重值。数据集覆盖的体重范围从218公斤到822公斤，包括四个品种：14头安格斯牛、13头和牛、24头西门塔尔牛和24头荷斯坦牛。

**方法**
如图5所示，所提出的视频级牛只重量估计方法包括两个并行视频编码器、一个跨模态空间配准（CMSR）模块、一个时空特征融合模块、一个帧质量优化（FQR）机制和一个重量回归头。视频编码器独立处理输入的RGB和HHA序列以提取纹理和几何特征。CMSR模块对这些异构特征进行对齐以减轻空间错位。

**实验设置**
所有实验均使用运行Ubuntu 18.04的工作站上的PyTorch深度学习框架进行。详细的硬件和软件环境在表1中总结。模型在四个NVIDIA GeForce RTX 3090 GPU上训练了200个周期，批量大小为16。视频编码器的学习率设置为1e?5，其余组件的学习率设置为1e?4。采用AdamW优化器，权重衰减为1e?5。在这种配置下，完整的训练运行包括……

**局限性和未来工作**
尽管所提出的方法在估计精度和低质量数据下的鲁棒性方面表现出竞争力，但仍存在一些局限性，需要进一步研究以提高其在实际农场环境中的适用性。当前数据集来自一个农场，虽然涵盖了四种牛的品种和相对宽的体重范围，但环境条件、农场场景和品种多样性仍然有限，这限制了……

**结论**
本研究提出了一种基于RGB-D序列的视频级牛只重量估计方法，以解决帧级方法对高质量数据的敏感性问题。通过将重量估计视为视频回归任务，所提出的方法有效利用了时空背景，实现了鲁棒和准确的估计。实验结果显示，所提出的方法具有竞争力，平均绝对误差（MAE）为17.126公斤，均方根误差（RMSE）为21.258公斤，平均绝对百分比误差（MAPE）为3.341%，R2为……

**作者贡献声明**
路世豪：撰写——审阅与编辑、撰写——原始草稿、方法论、数据整理、概念化。
苟顺宇：数据整理。
戴新代：撰写——审阅与编辑。
王欣杰：验证、资源准备。
刘莉：数据整理。
孙芳：数据整理。
沈卫正：撰写——审阅与编辑、资金获取、概念化。
戴白生：撰写——审阅与编辑、监督、方法论、资金获取、正式分析、数据整理。

**关于写作过程中使用生成式AI和AI辅助技术的声明**
在准备这项工作时，作者使用Google Gemini来修饰写作风格并纠正语法错误。使用该工具/服务后，作者根据需要审查和编辑了内容，并对发表文章的内容负全责。

**关于利益冲突的声明**
作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。

**致谢**
本工作部分得到了黑龙江省自然科学基金（授权号ZL2024C014）、国家重点研发计划（授权号2023YFD2000700）、国家重点研发计划（授权号2024YFD1300600）以及黑龙江省现代农业产业技术协同创新促进体系建设项目的支持（部门函件）。