《Frontiers in Plant Science》:Advancements in 3D field-crop phenotyping using point clouds: a comparative review of sensor technology, target traits, and challenges under controlled and field conditions
编辑推荐:
这篇综述系统比较了激光三角测量(LTS)、多视图立体视觉(MVS)、飞行时间(ToF)、地面激光扫描(TLS)、结构光(SL)和光场相机等六种三维点云表型技术在箱式作物表型(CCP)和大田作物表型(FCP)中的应用。文章深入剖析了各项技术的精度、通量、环境鲁棒性及其与不同搭载平台的兼容性,强调了从实验室到田间应用的转化挑战与技术选择策略,为植物育种和精准农业提供了重要参考。
1 引言
几何学是植物表型分析的基础,能够在三维空间中对植物的形态和结构性状进行详细分析。近年来,三维点云技术因其在机器人视觉感知和导航中的关键作用而受到广泛关注。随着全球人口的增长,对农业生产力和可持续资源管理的需求空前迫切,将三维点云技术融入传统农业实践对于提高粮食产量、减少环境足迹变得日益重要。
在农业领域,点云技术已越来越多地应用于自主机械导航和植物表型分析等不同场景。本研究聚焦于后者,探讨点云如何变革现代植物表型组学。植物表型组学旨在提取定性和定量性状,以增强和表征植物表型。点云技术的最新进展,结合复杂的数据处理和分析技术,有望通过提高几何性状提取的精度和便捷性来革新植物表型分析。这些高分辨率数据对于评估育种圃中基因型表现的育种者以及寻求精准作物管理解决方案的农民来说都非常宝贵。
为了清晰起见,本综述将实验室和实验温室等受控生长环境中的表型分析定义为箱式作物表型(CCP),而将大田或生产温室中的表型分析称为大田作物表型(FCP)。这两类环境的关键区别在于环境变异性以及对单个或群体植物移动和/或旋转的灵活性。CCP环境允许更大的环境控制度和灵活性,因为植物通常种植在盆中,易于重新定位。而在FCP环境中,作物通常直接种植在土壤中,这使得操纵单株植物变得笨拙,此外还存在环境变量的多变性。理解这些区别至关重要,因为种植密度和模式会显著影响可测量表型性状的范围以及分析算法的设计。
2 用于表型分析的三维视觉技术
获取植物器官和/或结构(如叶片、茎秆和冠层)的精确高质量三维测量,即三维高通量植物表型分析(HTPP),完全依赖于所用点云的质量。三维点云测量技术在植物和作物表型分析中受到显著关注。这种日益增长的兴趣源于三维点云技术有潜力提供植物结构的详细空间信息,从而促进全面分析和表征。
为了便于在不同技术和环境之间进行系统比较,本综述采用了一个多维评估框架。每种三维传感技术都基于六个关键标准进行评估:可实现精度和分辨率、可测量表型性状、数据采集通量、平台兼容性和约束、主要误差源以及CCP与FCP部署的环境鲁棒性。该框架能够对操作原理根本不同但服务于相似表型目标的技术进行结构化比较。
2.1 激光三角测量
激光三角测量扫描(LTS)因其简单性和鲁棒性成为低成本三维测量中最常用的原理之一。LTS采用非接触式光学方法捕获物体或其表面的精确三维尺寸信息。它基于三角测量法运作,将激光束以相对于成像传感器或相机的预定角度投射到目标表面。这种方法以其高精度(微米级)和低成本而受到重视,使其成为植物表型分析的有吸引力的选择。
在CCP应用中,LTS主要用于获取各种植物性状的精确三维测量,便于分析单株植物的生长、健康和其他表型特征。其关键应用包括植物体积和表面特征的精确测量,例如马铃薯的二维重建和体积计算,以及叶片和花瓣厚度的测量,这对植物健康至关重要。
在FCP应用中,LTS的有效性已在一些集成表型平台中得到证明。例如,LeasyScan平台结合三维LTS成像和蒸渗仪测量来评估影响水分利用的冠层性状,如叶面积和蒸腾速率。同样,Field Scanalyzer自动化机器人田间表型平台采用双三维LTS扫描仪来监测作物性能。这些平台在田间条件下实现了厘米级的精度。
然而,LTS也存在局限性。最著名的硬件固有局限性是短距离(通常在几十厘米到几米内)。植物特性(如叶片叶绿素含量和表面特征)以及传感器设置会显著影响测量精度。此外,边缘效应等误差也会影响点云质量。
总之,激光三角测量在CCP和FCP环境中表现出显著不同的性能特征。在受控条件下,LTS可实现卓越的精度,适用于器官级表型分析。然而,在FCP环境中,其效用受到有限操作范围、对环境干扰的敏感性以及冠层遮挡挑战的限制。关键权衡在于精度与可扩展性之间:CCP可实现器官级的微米级精度,而FCP部署则在固定基础设施要求下,牺牲精细分辨率以换取小区水平的通量。
2.2 多视图立体视觉重建
多视图立体视觉(MVS)重建是一项成熟的技术,自20世纪90年代中期以来已显示出在植物三维建模方面的巨大潜力。MVS利用围绕目标植物放置的多个相机从不同视角捕获图像,然后处理这些图像以重建植物结构的三维点云表示。与传统三维扫描方法相比,该技术具有多个优势,包括快速捕获数据的能力以及使用相对低成本的相机设备,使其相对经济实惠且易于扩展,开销最小。
对CCP和FCP应用而言,MVS最具吸引力的方面是其成本效益。这是因为MVS通常利用现成的消费级彩色相机,这些相机是被动的,因此不需要额外的照明系统。低成本便携式立体视觉系统的研究证明了MVS表型系统在保持高精度和效率的同时,具有显著的成本优势。
尽管成本效益极大地促进了MVS在三维植物表型分析中的应用,但该技术也存在一些固有的缺点。其中一个缺点是处理速度的折衷,因为MVS需要次级算法将图像对转换为三维点云。这引入了处理开销,并且在捕获高分辨率图像的情况下,可能需要先进的计算能力来运行底层重建算法。其次,关于通过MVS设置检索的点云分辨率/质量,所需的处理时间是一个问题。尽管MVS系统,特别是低成本系统,可能因相机质量、算法挑战等因素而在点云分辨率上受限,但一些研究表明,当使用高端硬件组件结合复杂算法时,MVS有可能获得高点分辨率。然而,这会指数级增加MVS系统的成本和计算复杂性,这对于大规模和实时应用来说是不希望的。
MVS的另一个方面是立体光谱成像的可能性,这使得在三维空间中渲染光谱信息变得容易,从而允许进行三维植物健康分析和表征。这一优势对于田间作物监测特别有意义。此外,随着硬件计算能力的快速发展,MVS正日益与机器人系统和先进深度学习算法集成,以改进基于相机的植物表型分析。MVS重建与机器人平台的集成为高通量植物表型分析提供了几个关键优势,包括更快、更全面的数据采集,减少人力劳动,以及在其自然田间环境中捕获复杂植物结构的三维测量。同样,深度学习技术与MVS重建的集成已被证明为植物表型应用带来显著优势。基于深度学习的MVS方法可以自动化关键任务,如特征提取、代价体积正则化和深度图推断,从而比传统MVS管线更高效、更稳健地重建三维植物模型。
到目前为止,讨论的MVS系统在植物表型分析中的各个方面和应用,大多数参考文献都集中在CCP用例上进行的研究。然而,FCP通常呈现复杂的挑战,这使得将所有可能的CCP植物性状测量推进到田间条件变得繁琐。田间的主要限制是植物密度,这导致严重的遮挡,使得对单株植物成像具有挑战性。此外,植物在其自然栖息地是固定的,因此移动或旋转它们以改变方向不是可选方案。因此,加上遮挡问题,植物的自然环境常常为FCP应用呈现复杂的环境。为了最大限度地减少在自然栖息地对植物进行表型分析的影响,已采用了多种方法,包括使用移动地面平台、固定成像塔,以及在