一种基于几何生成的免费观测注册网络，可无限制地测量猪只的体型尺寸

《Computers and Electronics in Agriculture》：A free-view registration network with geometric generation for unrestricted pig body size measurement

　　•一种配备RGB-D相机的无限制采集平台已被开发出来。•为了实现点云的自动配准，提出了FVGG-RegNet算法。•还设计了一个用于几何感知变换的自由视图点云生成模块FVGG。•基于FVGG-RegNet，实现了对猪体尺寸的精确测量。引言在养猪业中，猪体尺寸的测量起着至关重要的作用（Brandl和J?rgensen，1996；Doeschl-Wilson等人，2004；Thapar等人，2023；Win等人，2021）。准确的形态学数据对于监测猪的生长和发育（Shi等人，2020）、评估生产性能（Condotta等人，2018）以及评定身体状况评分（Fitzgerald等人，2009）而言至关重要。这些数据还为估算诸如活体重（Shi等人，2016）、背脂厚度（Doeschl-Wilson等人，2005）以及身体结构（Doeschl等人，2004）等关键生产指标提供了可靠依据。通常情况下，当猪处于放松且自然的姿态时，测量精度会更高（Ling等人，2022）。然而，传统的手动测量方法往往会引起猪的应激反应，从而降低测量精度并影响动物的福利状况（Shi等人，2019）。此外，动物与操作人员之间的直接接触还会增加病原体传播的风险（Klous等人，2016；Li等人，2014）。深度学习的最新进展推动了农业应用中智能感知方法的发展（Jiang等人，2022；Roy等人，2022b；Roy和Bhaduri，2022a；Roy和Bhaduri，2023）。随着养猪业向自动化和智能化管理的转变，随着猪群规模的扩大以及测量频率的增加，传统手动测量方法已无法满足现代生产系统对效率及可扩展性的要求（Tian等人，2020；Zhang等人，2021）。这类方法不仅耗时，而且难以满足全面分析所需的各类身体测量指标（Bhoj等人，2022；Kongsro，2014；Wang等人，2023）。近年来，RGB-D传感技术以及3D计算机视觉技术的进步，使得无需接触即可测量猪体尺寸的方法得以发展（Condotta等人，2020；Fernandes等人，2019；Franchi等人，2023；Wang等人，2024）。这些测量方法可分为单视图法（Condotta等人，2018；Li等人，2022；Okayama等人，2021；Vázquez-Arellano等人，2016）、双视图法（Pezzuolo等人，2018；Wang等人，2018）以及三视图法（Hao等人，2023；Shuai等人，2020）。单视图法通常是将深度相机放置在猪背上方（Condotta等人，2018；Okayama等人，2021）。例如，有些研究人员（Li等人，2022）在饮水区上方安装了Kinect v2深度相机，通过捕捉深度图像并将其转换为点云数据，来估算猪的肩宽、体高和体长。但由于表面覆盖不完整，单视图法所能测量的身体参数范围仍然有限。为了解决这一局限，人们提出了双视图配置。一些研究人员（Pezzuolo等人，2018）在饲养区上方和两侧各放置了一台Kinect v1深度相机，通过将从顶部和侧面测得的平均腰围乘以2π来估算腰围。而这样的腰围测量使用单视图法是难以实现的。此外，还有研究利用双视图法开发出了带有两台Xtion Pro深度相机的便携式猪体测量系统（Wang等人，2018）。为了获得更完整的3D表面信息，三视图非接触式测量系统已成为当前主流的测量方法（Shuai等人，2020）。该系统通常在通道的顶部和两侧各安装一台深度相机，当猪穿过通道并处于最佳位置时，即可捕捉到完整的点云数据（Hao等人，2023）。为了更清晰地了解现有的非接触式猪体测量研究，补充材料S1中提供了一个对比总结表，该表从感知方式、拍摄视角、采集设置、校准要求以及主要特点等方面对各类代表性方法进行了系统比较。三视图法具有更高的稳定性和数据完整性，因此更符合当前的研究需求。不过，仍有一些问题尚未解决。首先，基于通道的测量方法需要将猪赶过狭窄的通道，这很容易引发猪的应激反应，进而影响其福利状况（Jiang等人，2025）。其次，通道中的障碍物可能会遮挡猪体表面的某些区域，从而降低测量精度。第三，三视图法测量结果的准确性在很大程度上取决于所有视角下点云坐标系统的精确对齐。现有方法通常通过校准物体来实现这一点。例如，有些研究人员（Shuai等人，2020）在通道中可见的最佳区域内放置了一个矩形校准物体，在收集多视角数据后拟合其平面，以此计算出用于点云对齐的变换矩阵。虽然这种方法效果不错，但它大大增加了工作量和时间成本，而且还需要针对不同的实验场景进行定制化的校准设置。此外，校准工具的准确性和稳定性直接影响测量结果的可靠性。在涉及不同批次和猪圈的大规模应用中，频繁重复进行校准操作进一步限制了这种方法的效率和可扩展性。这些局限性表明，猪体尺寸测量系统在数据采集方法及多视角配准技术方面有着新的需求。首先，基于通道的测量装置需要升级为可直接在原生猪舍环境中使用的解决方案。这样的环境能让猪保持更为放松的姿态，同时减少围栏带来的遮挡。这也意味着需要采用简单且易于扩展的部署策略来安置采集设备。其次，目前的多视角配准方法仍受传统校准方式的制约。迫切需要一种基于端到端深度学习架构的自动配准框架，这种框架无需校准物体即可运行。与传统方法不同，端到端深度学习架构可以直接从点云特征中学习几何对应关系，仅需一次前向传递即可完成自动配准，无需任何校准物体或人工干预。这能够显著提高跨场景、大规模数据测量的效率。为了解决这些问题，本文提出了一种可用于无限制猪体尺寸测量的同步三视图系统，该系统能够实现自动配准，并在数据采集过程中减少猪的应激反应。此处所说的“无限制”是指通过消除对狭窄通道、封闭笼子或固定姿态的需求，来最小化物理上的限制。对于猪这类非刚性动物来说，同步采集策略至关重要，因为它能确保多视角点云对应于同一时刻的猪体姿态。该系统由两个主要部分组成：硬件部署和配准算法。与传统的基于通道的方法不同，所提出的系统将三台RGB-D相机直接放置在猪圈内，这样猪在拍摄过程中可以自由活动。这种非侵入性且低压力的环境有助于猪保持更自然的姿态，从而提高所采集数据的准确性和代表性。在配准算法方面，基于端到端深度学习架构，开发了一种名为FVGG-RegNet的自动点云配准方法。该方法采用两阶段配准策略，无需人工标记或校准物体，即可自动建立多视角点云之间的精确对应关系，实现精准的3D重建。本文的主要贡献如下：•开发了一种三视图RGB-D采集平台，可在原生猪圈环境中实现无限制的猪体尺寸测量。该平台允许猪在没有狭窄通道、笼子或固定姿态的情况下自由活动，从而减少应激反应，获取更自然的身体姿态数据。•提出了一种自由视图几何生成（FVGG）模块，旨在根据固定视角的观测数据生成几何上一致的自由视图点云。通过丰富训练数据的视角分布，同时保持真实的几何约束，FVGG提高了基于学习的配准模型对不同相机配置及采集场景的适应能力。•开发了一种端到端的FVGG-RegNet框架，用于实现多视角点云的自动配准。该网络采用从粗到细的匹配策略，在无需校准物体或人工干预的情况下，建立稳定的超点和密集点对应关系。•所提出的方法相比现有的基于学习的配准方法具有明显的优势。与GeoTransformer相比，FVGG-RegNet将内点率从72.4%提升到了85.7%，同时将相对旋转误差和相对平移误差分别降低了25%和48%。总之，本文提出了一套完整的自动猪体尺寸测量解决方案。首先，开发了一种模块化的三视图点云采集平台，使得猪能够在没有物理限制的环境中自由活动，从而进行数据采集。其次，提出了FVGG模块，用于生成几何上有效的自由视图点云，并消除穿透伪影。它克服了固定采集场景的局限性，提升了模型的泛化能力。第三，设计了FVGG-RegNet这一端到端的深度学习配准框架，通过基于注意力的特征提取以及从粗到细的对应关系匹配，实现多视角点云的自动且精确的对齐。数据采集与专用基于通道的采集系统不同，本实验是在原有的猪圈内直接进行的，其布局如图1所示。为了便于快速安装、拆卸以及调整宽度，人们组装了一个铝型材框架，用作三台Azure Kinect DK深度相机的支架。这些相机的运行帧率为每秒30帧。根据制造商的说法，这些相机存在的随机深度误差标准差≤17。实验结果与分析实验环境配备了Intel i7-12700K处理器以及NVIDIA GeForce RTX 3090显卡（24GB显存）。训练和测试过程均使用PyTorch 1.7深度学习框架实现，通过CUDA 11.0启用GPU加速。模型训练采用了Adam优化器，初始学习率为1×10??。批量大小设置为2，模型共训练了50个周期。讨论在测试条件下，所提出的三视图RGB-D系统实现了精确的点云配准以及半自动的猪体尺寸测量，但在实际的农场环境中，仍可能存在一些因素影响系统的稳定性。首先，猪的动态动作非常剧烈，比如快速行走、转身、弯腰以及频繁的腿部运动，都可能降低所采集点云的质量。快速的姿态变化会导致身体轮廓不稳定。如图14所示，当猪移动时……结论为了克服现有测量系统中的场地限制以及复杂的配准流程，本研究提出了一种专为在自由活动状态下进行无限制猪体尺寸测量而设计的三视图点云采集平台。基于该平台，开发了FVGG-RegNet算法，该算法基于几何生成原理实现自由视图配准。FVGG能够根据固定视角的数据，从自由视角合成无穿透现象的点云，从而有效避免……资金来源本研究得到了农业科技重大项目的支持（项目编号为保密信息）。作者贡献说明刘恒：撰写——审稿与编辑、撰写——初稿、可视化、验证、软件、资源、方法论、形式分析、数据整理、概念构建。邹玉清：资源、项目管理、调研。苏书燕：撰写——初稿、方法论。李秀英：撰写——审稿与编辑、监督、资源、项目管理、方法论、调研、资金筹集、概念构建。利益冲突声明作者声明不存在任何可能影响本文研究工作的已知财务利益或个人关系。刘恒|邹玉清|苏书燕|李秀英