《Smart Agricultural Technology》：Self-Supervised Learning With RGB-Guided Attention and Individual Consistency for Pig Weight Estimation
编辑推荐：
监测生猪生长过程中的体重对于精准畜牧管理至关重要。非接触式体重估计技术可减少猪只的应激反应并提高操作效率。许多用于生猪体重估计的多模态方法依赖于有监督预训练骨干网络，而自监督学习在该任务中的应用仍未被充分探索。此外，这些方法中的融合机制通常采用对称架构，未利用
监测生猪生长过程中的体重对于精准畜牧管理至关重要。非接触式体重估计技术可减少猪只的应激反应并提高操作效率。许多用于生猪体重估计的多模态方法依赖于有监督预训练骨干网络，而自监督学习在该任务中的应用仍未被充分探索。此外，这些方法中的融合机制通常采用对称架构，未利用语义更强的模态来引导另一模态。为解决上述局限，研究人员提出了一种名为DINOv3-DFR（基于DINOv3的双流融合回归器）的方法，该方法建立在自监督预训练之上。具体而言，所提方法设计了一个RGB引导的注意力模块，其中从RGB流学习到的猪只外观线索作为查询（queries），通过门控融合（gated fusion）在模型特征学习阶段选择性增强从深度流学习到的猪只空间结构线索。基于融合后的特征，一个多层级特征聚合器（Multi-level Feature Aggregator, MFA）重建高分辨率表征，以同时保留活猪的整体体型和局部轮廓细节。此外，许多现有的图像级损失函数仅关注单张图像的精度，忽略了短时间内同一头猪的多张图像应产生一致的体重预测。因此，研究人员引入了个体级一致性损失（Individual-level Consistency Loss），以在训练过程中强制保持每头猪固有的体重稳定性。实验在一个自建的俯视RGB-D生猪数据集上进行，训练集和测试集分别包含8,162对和4,193对RGB-D图像。实验结果表明，所提出的DINOv3-DFR达到了2.96 kg的平均绝对误差（Mean Absolute Error, MAE）、3.47%的平均绝对百分比误差（Mean Absolute Percentage Error, MAPE）以及0.927的决定系数（R2），显著优于现有方法。
研究背景与问题
近年来，中国养猪业稳步发展，猪肉是全球消费量最大的肉类之一。实时监测猪只体重对于评估其生长与健康状况、优化饲料配方以及提高生产效率至关重要。传统的称重方式依赖人工将猪驱赶至秤上，不仅耗时费力，还容易引发猪只的应激反应并增加疾病传播风险。随着计算机视觉的发展，基于图像的非接触式称重方法成为研究热点。早期的传统方法从图像中提取体尺参数并建立回归模型，但其性能上限较低，R2通常在0.50–0.60之间，难以捕捉形态特征与体重之间的复杂非线性关系。随后，基于深度信息的方法被广泛探索，但仍面临特征表达能力有限的问题。近年来，深度学习方法的引入显著提升了预测性能，特别是RGB-D多模态融合方法开始受到关注。
然而，现有方法存在两大局限性：第一，它们大多依赖有监督预训练的骨干网络，忽视了自监督学习在提供更丰富语义表征方面的潜力；第二，它们的融合机制通常是对称的，未能利用语义更强的模态（如RGB）来引导另一模态。此外，现有的图像级损失函数仅关注单张图像的预测精度，忽略了短时间内同一头猪的多张图像应产生一致体重预测这一先验约束。
研究目的与意义
针对上述问题，研究人员提出了一种名为DINOv3-DFR（基于DINOv3的双流融合回归器）的方法。该方法首次将自监督预训练的DINOv3模型应用于猪只体重回归任务，并通过RGB引导的非对称融合机制以及个体级一致性损失，显著提升了预测精度和稳定性。该研究为精准畜牧管理提供了新的技术路径，具有重要的理论创新价值和实际应用前景。
主要关键技术方法
研究人员首先构建了数据采集系统，在中国河南省某大型商业猪场完成数据收集。选取两个独立的育肥猪舍，每个猪舍上方固定一台Microsoft Kinect DK深度相机，同步采集俯视RGB和深度图像。猪群包括杜洛克、长白和大白三个品种，采集周期覆盖约100日龄至155日龄的关键育肥阶段，共获得12,355对样本。研究人员按个体隔离原则划分数据集：第一个猪舍14头猪的8,162对样本作为训练集，第二个猪舍14头猪的4,193对样本作为测试集。在方法层面，研究人员提出了四个关键组件：一是基于自监督DINOv3-ViTS骨干网络的RGB流与轻量级多尺度编码器的深度流构成的双流架构；二是门控跳跃融合注意力块（GSF Attention Block），以RGB特征为查询，通过门控融合选择性增强深度特征中的空间结构信息；三是多层级特征聚合器（Multi-level Feature Aggregator, MFA），用于从融合特征中重建高分辨率的猪只身体表征；四是个体级预测一致性损失（Individual-level Prediction Consistency Loss, IPC Loss），用于强制同一头猪在短时间内的多张图像预测保持一致。
研究结果
2.1 数据集
研究人员在河南某大型商业猪场完成了数据采集。两个独立育肥猪舍各安装一台Microsoft Kinect DK深度相机，固定于地面以上2.3米高度水平放置，同步采集俯视RGB和深度图像。猪群包括杜洛克、长白和大白三个品种，采集始于约100日龄，持续55天至约155日龄。共收集12,355对样本，每对包含一张RGB前景图、一张深度前景图和对应的体重记录，体重范围为42.50 kg至125.00 kg。数据集按个体隔离原则划分：第一个猪舍14头猪的8,162对样本为训练集，第二个猪舍14头猪的4,193对样本为测试集。
2.2 方法
2.2.1 DINOv3-DFR整体框架
研究人员采用双流架构。RGB流使用冻结的自监督预训练DINOv3-ViTS骨干网络提取多层级语义特征；深度流使用可训练的轻量级多尺度编码器提取空间特征。两流的特征输入到四个并行设置的GSF Attention块中进行融合，其中RGB特征作为查询引导深度特征的增强。融合后的特征由MFA逐步聚合重建高分辨率表征，最终通过回归头输出体重预测值。训练时引入IPC Loss与图像级MAE损失共同优化。
2.2.2 门控跳跃融合注意力块（GSF Attention Block）
该模块的核心设计理念是利用强语义的RGB特征作为引导，通过注意力机制检索并增强深度特征中最相关的空间结构信息。给定第L层的RGB特征和深度特征，模块首先将两者展平为序列，然后计算RGB查询与深度键之间的注意力权重，再通过门控机制自适应地融合两种模态的特征，实现语义与几何的协同优化。
2.2.3 多层级特征聚合器（MFA）
MFA负责将经过GSF Attention块增强后的多层级特征逐步聚合，重建高分辨率的猪只身体表征，从而同时保留全局体型和局部轮廓细节，为后续的精确体重回归提供丰富的特征基础。
2.2.4 个体级预测一致性损失（IPC Loss）
研究人员指出，一头猪在短时间内的体重基本保持不变，因此来自同一头猪的多张图像应产生一致的预测结果。IPC Loss正是为此设计，它通过惩罚同一头猪在不同图像上的预测方差，强制模型学习到更具稳定性的预测行为，弥补了传统图像级损失函数的不足。
讨论与结论
在测试集上，DINOv3-DFR取得了MAE为2.96 kg、MAPE为3.47%、RMSE为3.79 kg、R2为0.927的优异性能，显著优于现有对比方法。消融实验验证了各个组件的有效性。研究人员总结的主要贡献如下：第一，开创性地将自监督预训练DINOv3模型应用于猪只体重回归，提出的DINOv3-DFR方法仅需29.6M参数，MAE比最优双流融合基线提升9.5%；第二，提出了新颖的RGB引导门控注意力机制（GSF Attention Block）和多层级特征聚合器（MFA），实现了语义与几何特征的协同优化；第三，创新性地引入了个体级预测一致性损失（IPC Loss），解决了传统图像级损失函数的局限性。
