综述：迈向可扩展的器官级 3D 植物分割：透过数据 - 算法 - 计算三角形视角的系统性定量综述

《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》：Toward scalable organ-level 3D plant segmentation: A systematic and quantitative review through the lens of the data-algorithm-computing triangle

　　

**摘要**

精确表征植物形态学特征可为理解植物与环境间的相互作用及遗传演化提供重要洞察。提取此类信息的一项关键技术是3D分割，它能够在复杂点云中 delineate 出单个植物器官。尽管在通用3D计算机视觉领域已取得显著进展，但3D分割在植物表型分析中的应用仍受到三大主要挑战的限制：（i）大规模标注数据集匮乏；（ii）将先进的深度神经网络适应于植物点云的技术难点；（iii）缺乏针对植物科学的标准化基准和评估协议。本文综述系统性地应对了这些障碍，具体包括：（i）在通用3D分割领域背景下概述现有的3D植物数据集；（ii）系统总结基于深度学习的点云语义分割和实例分割方法；（iii）介绍Plant Segmentation Studio（PSS），一个用于可重复基准测试的开源框架；（iv）开展广泛的定量实验，评估代表性网络及仿真到真实的学习策略。研究发现，稀疏卷积和序列化（serialization）骨干网络以及基于Transformer的实例分割网络具有显著效果，同时强调了基于建模和基于增强合成数据生成在仿真到真实学习中的互补作用，以降低标注需求。总体而言，本研究弥合了算法进步与实际部署之间的鸿沟，为研究人员提供了即时可用的工具，并绘制了数据高效且具有泛化能力的深度学习解决方案在3D植物表型分析中的发展路线图。数据与代码可在以下网址获取：https://github.com/perrydoremi/PlantSegStudio

**引言**

植物形态学涉及植物器官的组织结构，为理解植物间关系、环境适应及遗传演化提供了分类学基础（Simpson, 2019, Yang et al., 2020）。准确表征形态学特征对于育种计划和植物科学研究至关重要，是推进农业生产力与可持续性的基石（Wyatt, 2016）。近年来，成像技术与计算机视觉领域的进展使得基于传感器测量形态学特征成为可能，从而产生客观、可量化的数据（Tao et al., 2022）。这些测量不仅对植物形态学有价值，对植物遗传学（包括数量性状基因座（QTL）分析）同样具有重要作用，从而通过遗传学与基因组学方法促进作物育种。特别是，近期研究已将植物形态学特征的基于影像测量从传统的田间或整株尺度（例如植株或小区高度）扩展到器官级分辨率（例如节间距离或花、果分布）。器官级特征的获取为深化植物生物学及更广泛的生命科学理解创造了新机遇，同时也有助于提升作物对环境变化的适应性，进而增强农业对多样环境的韧性（Li et al., 2022b, Jin et al., 2021）。

图像分割是在器官水平提取植物形态学特征的关键步骤。早期的基于影像的植物形态表型分析主要依赖2D成像技术，原因在于RGB相机获取图像的便捷性以及图像分割算法的广泛可用性。这些算法既包括阈值法（Easlon and Bloom, 2014）和基于边缘检测的分割等经典计算机视觉技术（Z. Wang et al., 2018），也包括利用大规模标注图像数据集和计算能力的基于学习方法，例如卷积神经网络（CNNs）（Jiang and Li, 2020）。然而，2D影像方案受视角依赖性强及无法解决遮挡问题的严重制约。因此，许多近期研究已转向3D成像技术。

在可能的表示格式中，3D点云在3D植物表型分析中获得了广泛重视，因其能显式捕获场景的原始3D坐标，可直接从LiDAR等传感器获取，同时保留高空间细节。此外，获取全视角3D点云可大幅减少甚至完全避免由视角依赖和遮挡引起的测量误差。与2D影像方案类似，3D点云分割在植物形态学特征提取中同样起着至关重要的作用。通常，3D点云分割可分为3D语义分割和3D实例分割两类。3D语义分割旨在为点云中的每个点分配一个语义类别标签，从而提供植物器官语义的全面映射。分割结果可支持基本器官级关系分析，例如层次化冠层结构、叶茎比以及器官分布模式。这些特征是研究光截获与光合作用（Zhu et al., 2020）、建模植物资源分配（Conn et al., 2017）以及理解整体器官生长（D. Li et al., 2025, Jin et al., 2019）所必需的。3D实例分割则区分同一类别下的不同个体实例（例如识别并分离每片叶片或每个果实）。实例分割结果可分析特定器官间复杂的空间排列与变异。例如，3D实例分割已被用于器官计数、器官大小、形状与朝向分析（Zhang et al., 2024, Li et al., 2024a）以及器官发育与生长（Mirande et al., 2022）。

在早期阶段，3D点云分割的研究主要集中于语义分割（Xie et al., 2020）。传统方法主要将手工设计特征（如点特征直方图（PFH）、曲率、点与表面法向量等）（Rusu et al., 2008, Rabbani et al., 2006）与经典分类器（如支持向量机（SVM）、随机森林（RFs）、贝叶斯判别器等）（Weinmann et al., 2015, Wang et al., 2015, Niemeyer et al., 2012）相结合，以对每个点进行语义分类（Maturana and Scherer, 2015, Xie et al., 2020）。这一策略的成功高度依赖对植物几何先验知识的运用，以设计足以表征植物点云统计特性的局部与全局特征，同时还需穷举搜索能够充分利用这些特征的最优分类器（Wang et al., 2015）。除这些通用3D点云特征外，植物表型组学研究者也积极针对植物形态学定制特征，包括3D植物骨架（Bao et al., 2019, Ma et al., 2023, Gaillard et al., 2020）、叶面积指数（LAI）（Itakura and Hosoi, 2018）和冠层结构（Bienert et al., 2021）。通过基于图的聚类（Hétroy-Wheeler et al., 2016）或区域生长方法（Jin et al., 2019），这些定制特征可用于分割主要植物组织（如茎、枝、叶等），为深度学习出现之前的器官级植物表型分析提供了重要的分割基础。尽管这些方法在某些特定案例中提供了改进的结果，但它们对开发要求较高，且难以在不同植物物种或应用场景之间实现良好泛化。与此同时，3D点云实例分割并未受到太多关注。相关任务之一是3D检测，它使用提议（即3D边界框）而非逐点掩码来区分同一语义类别下的不同实例（Chen et al., 2015, Ren and Sudderth, 2016）。后来，3D检测启发了基于提议的早期3D点云实例分割研究（见第3.2.1节）。

近年来，基于深度学习（DL）的方法已在各领域全面超越3D点云语义分割，并开始聚焦于实例分割，这得益于其直接从数据中学习几何特征的强有力能力及卓越性能（Qi et al., 2017a, W. Wang et al., 2018）。基于深度学习的方法显著提升了分割精度，并将大量计算机视觉任务和应用的研究焦点从特征工程转向深度神经网络设计，涵盖自动驾驶、物体识别、摄影测量和遥感等领域。这一转变推动了3D场景分割推理的实质性进展（P. Sun et al., 2020, Dai et al., 2017, Hu et al., 2021）。与其他计算机视觉任务和研究领域类似，这一改进由数据-算法-计算三角形的多方面进步所驱动：（i）大规模标注数据集的可用性，以捕获任务的统计模式；（ii）能够从大数据中学习特征的现代深度神经网络；（iii）支持模型训练、评估与比较以实现持续改进的计算基础设施（如硬件、优化流程和评估协议）。

器官级植物形态表型分析借助3D分割的改进以及数据-算法-计算三角形各层面的更广泛进展得以推进（Li et al., 2022b, Li et al., 2022a, Jin et al., 2020, Du et al., 2023）。近年来许多3D植物表型研究采用了定制3D成像系统（如自动化多视角立体系统）或先进传感器（包括LiDAR和激光扫描仪）来获取高分辨率植物点云，以提取器官级形态学特征。与此同时，这些研究开发了分析流程，通过监督或半监督学习方案利用基于深度学习的分割，展示了令人满意的结果。然而，器官级3D植物表型分析的进展速度尚不足以充分发挥其潜力，特别是在处理可扩展性和模型泛化性方面存在明显局限。这些局限性凸显了对当前挑战和未来方向进行系统定量综述的迫切需求。近期，已有若干综述提供了有价值的见解，涵盖的主题包括：3D影像用于表型性状估计（Akhtar et al., 2024）、3D分割（Song et al., 2025）、3D深度学习技术（Jin et al., 2025），或纯粹从计算机科学视角出发（Bello et al., 2020, Y. Guo et al., 2021, Sarker et al., 2024）。然而，该领域仍缺乏通过数据-算法-计算三角形这一框架进行定量综合的综述，尤其缺乏对植物科学与农业领域独特需求的关注。

我们预期，本综述不仅将成为跨学科研究者的重要参考，他们关注基于深度学习的植物点云分割，还将提供定量证据，以引导未来研究走向可扩展的3D分割和器官级植物表型分析，从而推动植物科学中摄影测量、近感技术和遥感方法的发展，深化对基本生命科学机制的理解，并最终支持农业可持续性与韧性（Tao et al., 2022）。具体而言，本综述包含四个主要部分：

（i）对器官级3D植物表型分析的数据采集方法和公开可用数据集进行深入概述。

（ii）对基于深度学习的3D点云分割方法进行综合分析。

（iii）介绍Plant Segmentation Studio（PSS），一个旨在简化3D植物表型分析基准测试的开源框架。

（iv）在基准数据集和代表性方法上开展广泛定量实验，以对未来研究提供见解。

本文其余部分组织如下：第2节（3D植物数据采集及用于分割的合成数据生成）和第3节（基于深度学习的3D点云分割方法）分别系统概述了植物点云分割的数据集与算法（图1）。第4节介绍通用计算基础设施及Plant Segmentation Studio的开发，该框架旨在简化3D植物分割的计算流程并实现定量比较。第5节在关键的3D器官级植物数据集上定量评估和基准测试代表性的3D点云分割算法。第6节基于数据-算法-计算三角形分享器官级3D植物表型分析的主要发现与见解。第7节总结器官级3D植物分割的主要成就与未来方向。

**章节片段**

**3D植物数据采集及用于分割的合成数据生成**

本节综述了器官级3D植物表型分析的数据生成（包括数据采集与合成生成）以及公开可用数据集。

**基于深度学习的3D点云分割方法**

准确分割植物点云是实现3D植物表征的关键前提。本节综述了点云语义分割和实例分割的代表性方法及其在植物表型分析中的应用。

**通用计算基础设施**

在通用3D计算机视觉领域，强大的计算基础设施通过将数据、算法与计算资源紧密集成，促进了快速进展。例如，在自动驾驶领域，MMDetection3D（Contributors, 2020）和OpenPCDet（Team, 2020）等框架提供了针对大规模驾驶基准（如KITTI、Waymo、nuScenes）优化的检测与语义分割网络的模块化实现。这些基础设施系统整合了

**基准测试**

除了第2节（3D植物数据采集及用于分割的合成数据生成）和第3节（基于深度学习的3D点云分割方法）中的定性综述外，对现有数据集和算法进行定量基准测试对于客观识别器官级3D植物分割中的共同挑战至关重要。本节利用PSS开展计算实验，作为填补这一空白的第一步。

该基准测试的组织方式因网络设计偏好而异。基于在代表性植物点云数据集上进行的全面基准测试，若干网络展现出卓越性能，被推荐用于植物表型分析中的点云分割。以下各小节分别总结了语义分割和实例分割方面的这些偏好。

**结论**

本研究全面综述了基于深度学习的三维植物分割，从"数据—算法—计算"三角视角出发，剖析了限制其可扩展性与适用性的关键障碍。通过系统性地调研数据集、对当前最先进的分割网络进行基准测试，以及评估合成数据对仿真到现实学习的价值，我们清晰地呈现了当前进展，同时识别出技术挑战与进步机遇。

**CRediT作者贡献声明**

杜瑞明：撰写——初稿、可视化、软件、方法论、调查、形式化分析、概念构思。翟广勋：验证、形式化分析。邱天：验证、形式化分析。金世超：撰写——审阅与编辑。李大为：撰写——审阅与编辑。马志红：撰写——审阅与编辑、形式化分析。乔永良：撰写——审阅与编辑。高峰：撰写——审阅与编辑。岑海燕：撰写——审阅与编辑、形式化分析。姜宇：

**利益冲突声明**

作者声明不存在可能影响本文所述工作的已知竞争性经济利益或个人关系。

**致谢**

本项目由美国农业部国家食品与农业研究所特种作物研究计划竞争性资助项目（项目编号：2022-51181-38240）提供资金支持。

杜瑞明 | 翟广勋 | 邱天 | 金世超 | 李大为 | 马志红 | 乔永良 | 高峰 | 岑海燕 | 姜宇