《Smart Agricultural Technology》：Weight-posture joint modeling for body weight estimation of unconstrained pigs
编辑推荐：
猪肉是全球消费量最大的肉类，2023年全球产量超过1.2亿吨。随着人口增长和新兴经济体收入提升，预计2020年至2050年间全球畜产品需求将增长约38%。现代集约化猪场面临精准管理和劳动力短缺等严峻挑战，监测猪只个体生长状况对于提高效率和福利至关重要。体重是最
猪肉是全球消费量最大的肉类，2023年全球产量超过1.2亿吨。随着人口增长和新兴经济体收入提升，预计2020年至2050年间全球畜产品需求将增长约38%。现代集约化猪场面临精准管理和劳动力短缺等严峻挑战，监测猪只个体生长状况对于提高效率和福利至关重要。体重是最直接的生长指标之一，但人工测量劳动密集且效率低下，因此开发自动准确的猪只体重估计方法成为迫切需求。
基于形态学特征的方法通过图像处理技术提取形态特征进行体重回归，但这类方法本质上对姿态敏感，姿态变化会显著影响提取的形态特征，从而降低体重估计性能。另一类方法直接将原始图像数据输入学习模型进行体重估计，利用神经网络的强大特征提取能力简化估计流程，但这些研究均依赖于猪只处于标准站立姿态时采集的图像数据。然而站立姿态仅占猪只日常姿态的一小部分，针对站立姿态设计的方法在养殖环境中表现不佳且适用性较弱。
本研究提出了一种新颖的权重-姿态联合建模方法（weight-posture joint modeling, WPM），通过两个姿态集成头——耦合权重-姿态多任务头（C-WPMH）和解耦权重-姿态多任务头（D-WPMH）——实现姿态感知的体重估计。基于WPM方法，研究人员提出了权重与姿态建模网络（WPMNet），该网络集成了RGB-D模态融合和多层级特征融合。RGB和深度模态提供互补的空间和外观信息，而低层几何特征与高层语义特征的融合有助于形成更稳健和更具信息量的表征。研究目标包括：探究WPM方法在无约束猪只体重估计中的潜力，评估多模态和高低维特征融合对模型性能的提升效果，以及评估WPMNet在不同体重范围下的鲁棒性。
一、研究背景与问题
猪肉是全球消费量最大的肉类，2023年全球产量超过1.2亿吨。随着人口增长和新兴经济体收入提升，全球畜产品需求预计将持续增长。现代集约化猪场面临精准管理和劳动力短缺等严峻挑战，监测猪只个体生长状况对于提高生产效率、改善动物福利至关重要。体重作为最直接的生长指标之一，与猪只生长、饲料效率、健康状况和最佳出栏时机密切相关。然而，人工测量体重劳动密集且效率低下，开发自动准确的猪只体重估计方法成为现代集约化猪场的迫切需求。
现有基于图像的猪只体重估计方法主要分为两类：一类采用形态学特征回归方法，通过图像处理技术提取投影背面积、体积、体长、肩宽等形态特征并映射到体重；另一类直接将原始图像输入深度学习模型进行端到端体重回归。尽管这些方法取得了一定效果，但均存在一个关键问题——姿态敏感性。形态学特征驱动的方法本质上对姿态敏感，姿态变化会显著影响提取的形态特征。更重要的是，大多数现有研究依赖于猪只处于标准站立姿态时采集的图像数据，而站立姿态仅占猪只日常姿态的一小部分。因此，针对站立姿态设计的方法在实际养殖环境中表现不佳，跨姿态性能差距显著。尽管已有研究开始关注姿态信息在牲畜测量中的重要性，但将姿态监督集成到端到端猪只体重回归中的研究仍不充分，姿态感知建模对体重估计性能的定量影响尚不明确。
二、研究内容与主要技术方法
针对上述问题，研究人员提出了权重-姿态联合建模方法（WPM）和权重与姿态建模网络（WPMNet）。研究在重庆某猪场开展，采集了147头长白猪的RGB-D图像数据，体重范围50-116 kg，共获得4,569,201张原始图像，经预处理后构建了包含152,570张图像的RGB-D数据集，并按个体级别划分为训练集（132,702张）、验证集（9,868张）和测试集（10,000张）。每张图像均标注了体重和姿态标签，姿态分为站立、腹部卧和侧卧三类。
主要技术方法包括：第一，权重-姿态联合建模方法，通过耦合权重-姿态多任务头（C-WPMH）和解耦权重-姿态多任务头（D-WPMH）两种姿态集成头，将姿态分类作为辅助任务来改善体重估计的特征学习。C-WPMH基于ConvNeXtBlock共享骨干，姿态分支输出与共享特征流逐元素相加以调节体重估计表征；D-WPMH采用浅层共享编码器和两个独立任务分支，减少姿态识别与体重估计之间的负面干扰。第二，WPMNet采用双流ResNet50架构分别提取RGB和深度模态特征，通过跨模态特征修正模块（CM-FRM）在骨干网络中间阶段进行特征级融合。第三，提出层级注意力集成模块（HAIM），将P3、P4、P5三个骨干层级的特征对齐融合，并通过通道注意力和空间注意力双分支机制增强特征表征。第四，采用三种任务特定头进行对比评估，包括简单权重回归头（SWRH）、C-WPMH和D-WPMH。
三、研究结果
3.1 姿态对体重回归性能的影响
3.1.1 SWRH、C-WPMH与D-WPMH对比
研究人员在四种代表性骨干网络（ResNet、VGG、Swin-Transformer和ConvNeXt）上对比了三种任务头的性能。结果表明，引入姿态信息的C-WPMH和D-WPMH在不同骨干网络上均优于仅进行体重回归的SWRH，证实了姿态感知建模对体重估计的积极贡献。D-WPMH的解耦设计在多数骨干网络上表现出更优的性能，表明减少任务间干扰有助于提升体重估计精度。
3.1.2 不同姿态下的体重估计性能
研究进一步分析了模型在不同姿态（站立、腹部卧、侧卧）下的体重估计表现。结果显示，姿态感知模型有效缩小了跨姿态性能差距，尤其是在腹部卧和侧卧等非站立姿态下，引入姿态信息的模型显著改善了体重估计精度，验证了WPM方法在多姿态场景下的鲁棒性。
3.2 WPMNet消融研究
3.2.1 输入模态的影响
研究人员对比了RGB-only、Depth-only和RGB-D三种输入设置。结果表明，RGB-D双模态输入显著优于单一模态，RGB模态提供外观纹理信息，深度模态提供三维结构信息，两者互补融合有效提升了体重估计性能。
3.2.2 特征融合策略的影响
消融研究评估了多模态融合和层级注意力机制（HAIM）的各自贡献。结果表明，跨模态特征修正模块（CM-FRM）和层级注意力集成模块（HAIM）均对模型性能有积极贡献，两者结合进一步提升了特征表征的鲁棒性和信息量。
3.3 与最新方法的比较
在与现有最新方法的对比中，WPMNet在无约束、多姿态条件下取得了最优性能，R2=0.759，MAPE=7.122%，显著优于仅针对站立姿态设计的方法，验证了姿态感知建模和多模态融合在实际生产条件下的优势。
四、讨论与结论
讨论部分指出，姿态变化会改变可见身体轮廓、遮挡模式和深度分布，这些因素与体重回归密切相关。WPM方法通过将姿态信息显式集成到体重估计框架中，有效缓解了姿态变化带来的负面影响。C-WPMH通过特征级交互实现任务协同，D-WPMH通过任务解耦减少干扰，两种设计各有优势。RGB-D模态融合和层级特征融合的引入进一步增强了模型在复杂养殖环境下的鲁棒性。
研究结论表明，权重-姿态联合建模方法能够有效提升无约束条件下猪只体重估计的准确性和鲁棒性，缩小跨姿态性能差距。WPMNet在非约束、多姿态的养殖条件下取得了R2=0.759、MAPE=7.122%的高精度表现，为实际养殖环境中的自动体重监测提供了可行的技术方案，对精准畜牧业管理具有重要的实践意义。
