PVSCNet：用于三维植物器官分割的点-体素双粒度特征融合与空间约束

《Smart Agricultural Technology》：PVSCNet: Point-Voxel Dual-Grained Feature Fusion and Spatial Constraints for 3D Plant Organ Segmentation

　　

摘要 作为智能育种中精确提取植物表型参数的核心技术，三维点云语义分割在利用深度网络处理作物时，仍面临特征提取有限和空间分布复杂的关键挑战。为解决这些挑战，研究人员将点-体素特征聚合和判别性特征空间正则化整合到PointNet++中，开发出PVSCNet用于植物器官分割。具体而言，在特征提取层面，PVConv模块被集成到骨干网络中。通过采用点-体素双分支架构，该模块结合细粒度点变换与粗粒度体素聚合，显著丰富了特征表示。在空间约束层面，引入了几何感知判别损失（Geometric-Aware Discriminative Loss），通过显式约束类内紧凑性并最大化类间可分性来重塑特征空间，有效解决了空间缠绕引起的特征混淆。实验结果表明，PVSCNet在自建的大豆三维作物表型数据集Soybean3D上取得了优越性能，mIoU达91.70%，平均精度（Mean Precision）达95.95%，显著优于主流方法；同时在公开数据集Pheno4D上也展现出稳健的泛化能力，mIoU达89.43%。此外，PCA可视化明确揭示了高度判别性的特征空间，进一步证实了该模型在区分结构复杂植物各表型器官语义特征方面的强大潜在能力。

PVSCNet：点-体素双粒度特征融合与空间约束实现三维植物器官精准分割

一、研究背景与问题提出

随着智能育种和高通量植物表型分析技术的快速发展，准确高效地提取植物表型参数已成为作物生长分析、性状评价和育种决策的重要基础。在器官尺度上，茎、叶、荚果等植物器官承载着反映结构发育、生物量积累和产量潜力的关键表型信息。因此，不同植物器官的精确识别与分离是后续形态参数测量和定量表型分析的重要前提。

然而，传统的表型评估方法高度依赖人工观察、标注和测量，不仅劳动强度大、效率低下，而且易受主观偏差影响，难以满足大规模、高通量作物表型分析的需求。过去十年间，基于二维图像的计算机视觉分割方法虽在番茄、玉米、高粱和小麦等作物的器官分割中取得了显著进展，但二维成像技术存在固有局限，无法捕捉植物器官的三维拓扑特征，在器官遮挡或重叠情况下常导致分割结果不完整。

为有效克服二维成像的不足，三维成像技术近年来受到广泛关注。深度相机、飞行时间（ToF）相机、激光雷达（LiDAR）、结构光扫描仪和多视角立体（MVS）重建等技术为复杂植物结构的精细建模提供了坚实基础。然而，现有大量基于传统计算机视觉技术的植物点云器官分割方法，包括基于几何、阈值和三维骨架的方法，虽能通过精细参数调整处理结构相对简单的植物，但高度依赖先验知识和人工定义规则，在处理成熟大豆植株等高复杂度空间拓扑结构时泛化能力有限，难以适应现代高通量植物表型分析的自动化数据处理需求。

随着深度神经网络架构的持续发展，以PointNet和PointNet++为代表的点云深度学习模型在植物表型分析中得到广泛应用，展现出识别和解析不同植物器官的卓越能力。尽管众多基于点云的深度学习方法在植物器官分割中取得了令人鼓舞的成果，但在处理复杂植物结构时仍面临关键挑战：现有方法常因特征表示能力有限而难以有效提取关键几何特征；此外，植物器官的严重空间缠绕不可避免地导致潜在空间中高度混淆的特征分布，从根本上限制了网络区分同一植株不同器官语义特征的能力。

二、研究内容与主要技术方法

针对上述挑战，研究人员开发了PVSCNet，通过将两个成熟组件整合到PointNet++骨干网络中，实现复杂三维植物点云的器官级分割。研究采用的主要关键技术方法包括：

第一，PVConv模块被集成在特征传播阶段之后，结合细粒度点表示与粗粒度体素聚合，采用点-体素双分支架构，通过细粒度点变换与粗粒度体素聚合的组合显著丰富特征表示。第二，借鉴JSIS3D中的判别性损失公式，将其应用于语义器官特征，促进类内紧凑性和类间分离性，通过显式约束类内紧凑度并最大化类间可分性来重塑特征空间，有效解决空间缠绕引起的特征混淆。第三，以PointNet++为基础骨干网络，利用集合抽象（SA）和特征传播（FP）层实现多尺度特征提取，通过迭代采样、特征组合和分层提取逐步获取多尺度特征表示。在特征传播阶段，高层全局语义特征通过反距离加权插值映射回低层点集，并与多尺度局部上下文信息融合。第四，在采样过程中采用欧氏距离作为度量标准，利用K近邻（KNN）插值方法识别最近邻点并执行加权特征求和。

三、研究结果

3.1 自建Soybean3D数据集上的分割性能

研究人员在自建的大豆三维作物表型数据集Soybean3D上进行了广泛的定量分析。实验结果表明，PVSCNet取得了91.70%的mIoU和95.95%的平均精度，显著优于主流方法，验证了该方法在严重遮挡和空间缠绕条件下进行植物器官分割的有效性。

3.2 公开Pheno4D数据集上的泛化能力

研究人员在公开的Pheno4D数据集上进一步验证了所提方法的泛化能力。实验结果显示，PVSCNet在该数据集上取得了89.43%的mIoU，展现出稳健的泛化性能，证实了该方法在不同植物类型和数据结构上的适用性。

3.3 特征空间可视化分析

研究人员通过PCA可视化明确揭示了高度判别性的特征空间。可视化结果进一步证实了所提出的空间约束机制在精确解析复杂交织结构方面的有效性，展示了模型在区分结构复杂植物各表型器官语义特征方面的强大潜在能力。

四、讨论与结论

讨论部分围绕所提出的空间约束机制展开。通过将判别性损失应用于语义器官特征，PVSCNet有效促进了类内紧凑性和类间分离性，从根本上解决了植物器官空间缠绕导致的特征混淆问题。PCA可视化结果从直观层面验证了该机制的有效性，揭示了高度判别性的特征空间结构。

研究结论表明，PVSCNet通过整合点-体素特征聚合和判别性特征空间正则化，有效解决了三维点云语义分割中特征提取有限和空间分布复杂的关键挑战。在自建Soybean3D数据集上取得的91.70% mIoU和95.95%平均精度，以及在公开Pheno4D数据集上取得的89.43% mIoU，充分验证了该方法的优越性能和稳健泛化能力。该研究为智能育种中植物表型参数的精确提取提供了有效的技术方案，对推动高通量作物表型分析的发展具有重要意义。该论文发表在《Smart Agricultural Technology》。