基于RGB图像与显式几何先验交叉注意力融合的非接触式仔猪体重估测

《Smart Agricultural Technology》：Non-Contact Weight Estimation of Piglets Using RGB Images and Explicit Geometric Priors via Cross-Attention Fusion

　　

提出了一种低成本、基于二维（2D）RGB图像的仔猪体重估测框架。引入显式几何先验以补偿缺失的深度数据。通过交叉注意力（Cross-Attention）融合机制，实现了高精度估测，决定系数（R2）达到0.933。

一、研究背景与问题

中国是全球最大的猪肉生产国和消费国，生猪产业对肉类供应和农业经济稳定至关重要。随着畜牧业向规模化、智能化方向发展，依赖人工经验的管理方式已无法满足智慧猪场精细化、连续化监测的需求。体重是反映猪只生长、健康状态和管理绩效的关键表型，也是精准饲喂和健康管理的核心指标。在仔猪阶段，体重的频繁变化可预示早期生长潜力和健康风险。然而，实际生产中体重获取仍主要依赖人工抓捕和称重，易引发强烈的应激反应。因此，亟需一种低应激、非接触、可部署的自动化仔猪体重感知方法，以支撑规模化猪舍的精准饲喂和成活率提升。

计算机视觉在猪只检测和体尺分析方面展现出巨大潜力。早期非接触视觉体重估测主要利用原型成像系统提取背部形态信息。随着深度学习和实例分割的进步，基于二维图像表型的预测模型日益普遍。然而，二维方法无法直接捕获体高、体厚等三维体积特征，当仔猪弯曲、侧卧或处于其他非理想姿态时，二维轮廓和局部尺度特征易产生偏差，降低模型稳定性。为克服二维图像空间表征的局限，许多研究采用深度图像（RGB-D）和三维点云进行多模态特征融合，但深度传感器成本、移动平台和工程复杂度限制了其大规模部署。此外，现有研究多聚焦于体型较大、移动较慢的育肥猪，而产房或早期保育阶段的仔猪体型更小、活动更活跃、遮挡更频繁。因此，在保留普通俯视RGB监控低成本、易部署优势的同时，需要从真实猪舍视频中筛选轮廓完整、姿态稳定、体尺可测的帧，并补偿二维观测对局部结构尺度信息表征的不足。

二、研究内容与结论

针对上述挑战，研究人员提出GCAF-Net，一种面向猪舍普通俯视安防摄像头条件的仔猪体重估测网络。与依赖RGB-D或点云信息的多模态方法不同，GCAF-Net仅使用俯视轮廓掩膜图像和少量显式结构测量值。该方法不试图恢复完整的三维体积信息，而是利用显式几何先验补充二维轮廓中整体尺度和局部结构的表征。主要贡献包括：（1）设计了适用于真实产房产景的低成本、非接触仔猪体重估测流程，整合实例分割、关键点检测和姿态约束，提高样本采集和结构特征提取能力；（2）通过系统性特征筛选构建了紧凑的显式几何先验集，为图像表征提供可解释的结构尺度线索；（3）开发了图像-几何交叉注意力融合网络，建模二维轮廓信息与显式结构先验之间的互补关系，提升仔猪体重估测精度。

三、关键技术方法

研究人员构建了包含42头荣昌仔猪、5362张有效图像、对应125个称重组的真实产房数据集，数据采集自重庆市畜牧科学院附属大型猪场，使用海康威视网络摄像机（DS-2CD3326DWD-I）以1920×1080分辨率、25帧/秒恒定帧率俯视拍摄。主要技术方法包括：（1）基于YOLO11l-Seg的实例分割与前景提取，通过扩展裁剪减少边缘截断；（2）基于YOLO11m-Pose的六关键点检测与姿态约束，采用95%关键点置信度阈值和体轴直线度约束筛选有效样本；（3）通过候选几何特征筛选构建由投影面积（mask_area）、体长（body_length）、肩宽（shoulder_width）和臀宽（hip_width）组成的显式几何先验集Geom-4；（4）以ResNet50为骨干网络的交叉注意力融合回归模型，联合建模俯视轮廓特征与显式几何先验预测仔猪体重。

四、研究结果

4.1 数据集构建

研究人员从9358张候选图像中，经自动过滤和人工复核后保留5362张有效图像，对应125个称重组。数据按称重组整体划分训练、验证和测试集，比例约为8:1:1，并按栏内体重范围分层以保持分布一致性。有效图像在7个栏的分布及划分情况见表1。

4.2 模型架构

GCAF-Net整体流程包括四个核心模块：基于YOLO11-Seg的仔猪实例分割与前景提取；基于YOLO11m-Pose关键点和体轴直线度的姿态量化与过滤；基于候选几何特征选择的显式几何先验构建；基于交叉注意力的图像-几何融合回归与体重预测。

4.3 前景提取

采用YOLO11l-Seg进行实例分割，在扩展裁剪区域内重新提取个体前景，保留猪只区域原始RGB信息，背景弱化为近灰色常量值，为关键点检测、几何计算和融合回归建模提供统一输入。

4.4 关键点检测与姿态约束

采用YOLO11m-Pose检测头部H、尾部T、左右肩部S_l、S_r和左右臀部H_l、H_r六个关键点。通过计算肩部中心点C_s和臀部中心点C_h到头部-尾部连线HT的垂直距离量化躯干弯曲程度，结合95%置信度阈值和体轴偏差约束自动剔除异常姿态样本。

4.5 显式几何先验构建

通过系统性特征筛选，从候选几何特征中构建由投影面积、体长、肩宽和臀宽组成的紧凑先验集Geom-4，为图像表征提供可解释的结构尺度线索。

4.6 交叉注意力融合回归

以ResNet50为骨干，通过交叉注意力融合模块联合建模俯视轮廓特征与显式几何先验，实现仔猪体重预测，最终决定系数R2达到0.933。

五、讨论与结论

讨论部分指出，与依赖RGB-D或点云的多模态方法相比，GCAF-Net仅使用普通俯视RGB监控即可实现高精度体重估测，显著降低了硬件成本和部署复杂度。通过显式几何先验补偿二维轮廓对局部结构尺度表征的不足，有效缓解了仔猪弯曲、侧卧等非理想姿态带来的偏差。交叉注意力融合机制建模了图像特征与几何先验之间的互补关系，提升了模型稳定性和泛化能力。研究结论表明，所提出的低成本和部署便捷的仔猪体重估测流程适用于真实产房产景，为规模化猪场的精准饲喂和健康管理提供了可行的技术方案。