综述：基于图像的3D重建技术在智能农业应用中的研究进展：综述

《Computers and Electronics in Agriculture》：Image-Based, 3D reconstruction for smart farming Applications: A review

　　

王海华|赵佳音|张树龙|姚明远|薛琳|李大亮

中国北京100083，国家数字渔业创新中心

摘要

作为智能农业数字化转型的核心驱动力，3D重建技术最近被证明在农业环境感知、精准操作和决策支持方面具有巨大潜力。本文从方法论和应用角度总结了基于图像的3D重建的最新进展。首先回顾了传统方法，包括体素雕刻、结构从运动（Structure from Motion, SfM-MVS）和多视图立体（Multi-View Stereo, SfM-MVS）以及光度立体（photometric stereo），随后讨论了基于深度学习的重建技术，如神经辐射场（Neural Radiance Fields, NeRF）和3D高斯散布（3D Gaussian Splatting, 3DGS）。这些方法针对农业环境中的主要挑战进行了讨论，包括遮挡、异质照明和目标运动。接着分析了这些技术在作物表型分析、机器人感知与操作以及牲畜监测中的典型应用，并从准确性、成本和适应性等方面对技术系统进行了比较。最后，讨论了实时性能、鲁棒性和系统集成方面的当前限制，并概述了轻量化建模、多模态数据融合和边缘部署的未来发展方向。

引言

随着全球人口增长和资源约束的加剧，农业生产的精确化和数字化对于确保粮食安全和可持续发展至关重要（Vinod Chandra等人，2024年）。将先进的计算机视觉技术应用于农业生产逐渐成为了一个重要的研究课题。传统的农业监测方法，如人工观察和2D图像分析（Liu等人，2018年），存在数据收集和分析效率低、视角单一以及难以准确捕捉作物和牲畜的3D形态特征等局限性，而这些特征对于评估生长状况至关重要（Xie和Yang，2020年）。例如，二维图像无法量化作物冠层的3D结构，也难以评估牲畜的行为模式。在这种情况下，基于图像的3D重建技术因其非侵入性、高精度和成本效益而成为智能农业的核心工具。它为作物表型分析（Zhu等人，2020b年）、疾病诊断（Wang等人，2024c年）和身体测量（Ruchay等人，2020年）等应用提供了关键数据，从而推动了智能农业向动态化和智能化方向发展。

3D重建从数据中提取几何和纹理信息以创建目标的3D模型。根据数据获取方式，3D重建技术可分为主动式和被动式两种。主动式3D重建技术使用LiDAR（Song等人，2018年）和结构光（Nguyen等人，2015年）等技术来扫描对象并创建所需的3D模型。被动式3D重建技术则依赖视觉传感器来捕捉图像序列（Yang等人，2024a年）。本文讨论的基于图像的3D重建主要基于视觉图像观测，包括基于RGB图像和RGB-D图像的方法。基于RGB图像的方法利用几何约束和匹配算法从单目、双目或多视图图像中恢复三维结构，而基于RGB-D的方法结合颜色信息和深度观测来改进几何重建，尤其是在复杂或纹理较弱的场景中（Hu等人，2018年）。为了避免概念上的混淆，基于LiDAR的重建方法和依赖于LiDAR图像融合的方法不在本文的主要讨论范围内。与LiDAR等高成本设备相比，基于图像的3D重建方法具有低成本、高便携性和灵活的数据融合优势，在复杂的农业场景中展现出独特潜力。智能农业中基于图像的3D重建流程如图1所示。

本文旨在探讨基于图像的3D重建技术的最新进展及其在智能农业中的应用，具体涵盖作物表型分析、作物系统中的机器人感知与操作以及牲畜监测。随着3D重建技术的不断进步，本文强调了这些技术在提高农业环境中的准确性、实时监测和适应性方面的作用。通过总结实验方法和应用案例，本文旨在为农业3D重建技术的优化和创新提供理论参考，促进智能农业的发展。同时，本文也指出了采用这些技术所面临的挑战，如多传感器数据的整合、动态环境因素以及在实际应用中部署这些方法的计算挑战。本文提供了智能农业中基于图像的3D重建技术的结构化概述，总结了最近的方法论进展，并指出了当前面临的挑战和未来的研究方向。

尽管农业中的3D重建引起了广泛关注，但现有的综述大多局限于特定子领域或传统的几何技术。例如，Akhtar等人（2024年）、Okura（2022年）和Harandi等人（2023年）仅关注植物表型分析，而Wang等人（2023年）则专注于牲畜研究。在方法论方面，Yu等人（2024年）和Xiang与Wang（2023年）主要研究了显式的几何方法，对最近的人工智能驱动范式关注较少。此外，Jurado等人（2022年）主要关注航空尺度的遥感技术。与这些研究相比，本文从作物系统、牲畜系统以及智能农业中的机器人感知与操作三个方面提供了更全面的视角，并强调了基于深度学习的重建技术、神经辐射场（NeRF）和3D高斯散布（3DGS）的最新方法论进展。详细比较见表1。

部分摘录

方法论

为了全面了解智能农业中基于图像的3D重建技术的进展，进行了系统的文献搜索。本节详细介绍了用于识别本文所回顾的相关研究的数据来源、搜索策略和选择标准。

本研究回顾了大量的研究，利用Web of Science和Scopus数据库筛选了2015年至2025年间发表的同行评审文章。

数据获取策略

农业3D重建受到视觉观测方式的影响。实际上，基于图像的获取方法可以大致分为被动式单目、立体和多视图配置，这些方法在视角覆盖范围、深度恢复能力、重建完整性和部署成本方面存在差异。此外，RGB-D系统提供了一种重要的深度辅助替代方案，因此与纯被动式图像获取方法分开讨论。

3D重建在作物系统中的应用

本节总结了3D重建在智能农业中的主要应用。讨论按照代表性的应用任务组织，包括作物表型分析和用于机器人感知与操作的作物重建。这种组织方式有助于突出不同作物相关场景中的共同问题、方法论趋势和实际挑战。

3D重建在牲畜系统中的应用

身体测量、体重估计和身体状况评估是牲畜生产和精准动物养殖中的重要分析任务（Zin等人，2016年；Aquilani等人，2022年）。与传统的手动测量、称重设备和视觉评分方法相比，3D重建提供了一种更高效、非接触且可能更客观的动物监测解决方案。现有研究主要集中在重建身体形状以提取形态测量数据。

挑战与未来趋势

近年来，3D重建在农业场景中得到了广泛应用，并在作物表型分析、机器人感知与操作和牲畜监测方面展现出巨大潜力。然而，由于现实农业环境的复杂性和生物实体的独特特性，当前的3D重建技术在农业应用中仍面临显著挑战。

1) 技术适应性：大多数现有的3D重建

结论

本文系统地总结了基于图像的3D重建技术在智能农业中的最新进展，从方法论和应用两个角度进行了探讨。方法论上，该领域已从传统的几何流程发展到基于深度学习和神经表示的框架。包括结构从运动（SfM-MVS）、光度立体（photometric stereo）和基于体素的重建在内的经典方法，对于农业结构分析仍然非常重要。

利益冲突声明

作者声明他们没有已知的可能会影响本文工作的竞争性财务利益或个人关系。

致谢

本项工作得到了中国国家重点研发计划（2023YFD2400400, 2023YFD2400401）的支持。