《Frontiers in Plant Science》:A 3D stem diameter measurement method for field maize at jointing stage: combining RLRSA-PointNet++ and structural feature fitting
编辑推荐:
本研究提出了一种结合改进点云分割网络(RLRSA-PointNet++)与结构特征拟合的三维测量方法,旨在解决田间玉米拔节期茎秆直径精准测量的难题。该方法通过多视图立体视觉(MVS)技术重建高密度三维点云,并引入相对位置编码(RPE)、局部重排模块(LGRM)和局部区域自注意力(LRSA)机制增强点云语义分割的鲁棒性。实验结果表明,该方法对茎秆长轴和短轴直径的测量平均绝对误差(MAE)分别为1.27毫米(R2 = 0.87)和1.38毫米(R2 = 0.82),显著优于传统手动和二维图像方法,为作物表型精准解析和智慧农业提供了可靠的技术支持。
1 引言
玉米作为全球主要粮食作物,其产量与品质对国家粮食安全至关重要。拔节期是玉米从营养生长转向生殖生长的关键阶段,此阶段茎秆直径不仅反映植株长势,更与抗倒伏能力密切相关。传统人工测量方法效率低、主观性强且具有破坏性,而基于二维图像的方法仅能获取局部特征,难以重建茎秆真实三维结构。因此,开发一种精准、自动化的三维茎秆直径测量方法对作物生长监测、抗倒伏评估及精准农业实践具有重要意义。
随着三维重建与传感技术的发展,基于点云的植物结构建模已成为作物表型参数自动提取的重要途径。目前常用的三维点云获取技术包括激光雷达(LiDAR)、飞行时间(ToF)相机、结构光以及多视图立体视觉(MVS)。其中,MVS技术无需主动光源,仅依靠RGB相机获取多角度图像,通过特征匹配与密集重建生成高质量三维点云,尤其适用于器官尺度的精细建模。然而,田间采集的点云常存在密度不均、背景干扰和结构遮挡等问题,增加了后续几何建模与表型参数提取的难度。
为应对点云数据复杂性带来的挑战,深度学习技术逐渐被引入植物三维点云的结构识别与语义分割任务中。PointNet++网络因其能够直接处理无序原始点云并提取多尺度特征,成为当前植物点云分析的主流架构。然而,在结构复杂、密度不均的典型田间场景下,现有方法仍存在结构建模不足和语义表达能力有限的问题,影响点云分割的精度与鲁棒性。
2 材料与方法
2.1 材料
玉米茎秆样本采集自吉林农业大学教学科研基地(吉林长春)。数据采集于2024年7月3日至10日间的晴朗天气条件下进行,研究对象为拔节期玉米地上第二茎节段。
2.2 实验设计
研究主要包括数据采集、三维重建、数据标注、语义分割及茎秆直径测量五个部分。数据采集系统由智能手机、电动转台、三脚架和移动电源组成。通过控制转台匀速旋转,手机拍摄环绕玉米茎秆的360°视频,并提取关键帧输入MVS算法框架生成高密度三维点云。
三维重建基于OpenMVS实现,首先通过运动恢复结构(SfM)算法估计相机参数并生成稀疏点云,随后采用MVS算法生成密集点云,并经过去噪、孔洞填充等后处理操作优化质量。重建后的点云平均密度约为389,685点/样本,为后续分析提供了丰富结构细节。
数据标注在CloudCompare软件中手动完成,将点云划分为背景(标签0)和玉米茎秆(标签1)两类。统计显示,茎秆区域点云虽总数较少(约18,534点),但体素密度高达约5,006点/体素,表明其几何分布紧凑且结构细节保留完整。
2.2.3 基于RLRSA-PointNet++的语义分割方法
针对田间玉米茎秆点云结构不规则、密度分布不均及背景干扰严重等问题,本研究提出了RLRSA-PointNet++改进网络。该网络在PointNet++基础上集成了相对位置编码(RPE)、局部重组模块(LGRM)和局部区域自注意力(LRSA)机制,共同优化网络结构表征能力。
RPE模块显式编码邻域点相对于聚类中心的三维相对位置和欧氏距离,引导网络学习局部几何结构内的空间关系。LGRM将无序点特征重排为近似二维网格结构,为后续注意力机制提供结构化输入。LRSA机制则通过局部块划分、多头注意力及卷积前馈网络(ConvFFN)协同建模局部结构中的长程依赖关系。
网络整体结构包含多个Set Abstraction(SA)模块进行渐进式下采样和局部特征聚合,并通过Feature Propagation(FP)模块逐步上采样与特征融合,最终输出点级语义预测。该架构实现了从原始点云到点级语义标签的完整流水线,显著提升了复杂环境下点云语义识别的鲁棒性与准确性。
2.2.4 茎秆直径测量
茎秆直径测量流程包括茎秆主轴提取、节点检测、感兴趣区域(ROI)提取及直径计算。首先,采用主成分分析(PCA)方法提取茎秆点云的主轴方向,作为茎秆中心轴的估计。随后,沿主轴将茎秆点云均匀分割为15个切片,通过分析各切片椭圆拟合长轴值的序列变化趋势,自动识别节点区域,并确定第二茎节ROI。
在ROI内均匀选取三个横截面切片,将局部点云投影至与主轴垂直的平面(XZ平面),并进行椭圆拟合以估计长轴和短轴参数,分别对应茎秆直径的主次方向。为恢复真实尺寸,引入边长为15毫米的棋盘格标定板作为尺度参考,通过尺度变换公式将点云测量值转换为实际物理尺寸。
2.3 实验设置
72组玉米茎秆点云数据被划分为50组训练集、11组验证集和11组测试集。所有实验在NVIDIA GeForce RTX 4070 Ti SUPER GPU上基于PyTorch库完成。模型使用AdamW优化器从头训练32轮,学习率设为0.001,并保存验证集IoU最高的模型参数进行性能测试。
2.4 评价指标
模型性能评价采用平均精度(mAcc)和平均交并比(mIoU)。茎秆直径测量精度通过平均绝对百分比误差(MAPE)、平均绝对误差(MAE)、均方根误差(RMSE)和决定系数(R2)进行评估。此外,还进行了残差分析、置信区间(CI)/预测区间(PI)分析以及配对样本t检验,以全面验证测量结果的一致性与可靠性。
3 结果
3.1 语义分割方法结果与比较
与DGCNN、PointNet和PointNet++等基线模型相比,RLRSA-PointNet++在各项评价指标上均取得最优性能。其平均损失值为0.499,显著低于其他模型;平均精度和平均交并比分别达到0.943和0.980,表明该模型在类别判别能力和特征表达能力方面具有明显优势。训练过程曲线显示,RLRSA-PointNet++具有更快的收敛速度和更稳定的精度结果。
可视化分割结果进一步证实,改进模型在茎秆与地面交界处及背景区域的分割效果显著优于原有点云分割方法,有效减少了误识别,为后续形态参数计算提供了更准确的点云基础。
3.2 消融实验
消融实验结果表明,RPE、LGRM和LRSA模块的引入均对模型性能有积极贡献。单独添加RPE模块使mIoU提升至0.955;结合LGRM模块后,mIoU进一步提高至0.958;而完整集成三个模块的模型实现了最高的mIoU(0.980)和mAcc(0.943),验证了各模块在增强局部结构表征和上下文关系建模方面的协同效应。
3.3 茎秆直径测量结果与分析
对72组玉米样本的测量误差分析显示,茎秆长轴直径的MAPE为3.23%,MAE为1.27毫米,RMSE为1.49毫米,R2为0.87;短轴直径的MAPE为4.16%,MAE为1.38毫米,RMSE为1.64毫米,R2为0.82。线性拟合及残差分析表明,预测值与实测值之间具有高度一致性,且残差分布无明显偏差。
Bland-Altman分析显示,长轴直径估计值与参考值之间的平均差异为0.02毫米,95%一致性界限为-2.93至2.97毫米;短轴直径平均差异为-0.25毫米,一致性界限为-3.45至2.95毫米。配对样本t检验结果(长轴:t = -0.0932, p = 0.9260;短轴:t = 1.2995, p = 0.1980)表明,算法预测值与实测值无统计学显著差异,验证了该方法的可靠性与实用性。
4 讨论
4.1 误差分布与失效案例分析
大多数估计误差集中在±1毫米范围内,但少数样本偏差达2-3毫米。这些异常值主要与点云部分遮挡或缺失、点云稀疏或局部噪声、茎秆形态不规则或弯曲等因素有关。结果表明,基于椭圆的直径测量精度高度依赖于茎秆结构规则性及三维重建完整性。
4.2 类别不平衡对模型性能的影响分析
点云数据存在显著类别不平衡,背景类点数远超茎秆类。这给模型训练与性能评估带来挑战,易导致评价指标偏向多数类。RLRSA-PointNet++通过增强局部结构表征与判别能力,有效提升了少数类点云的分割性能,但面对样本稀缺与结构复杂性,仍需进一步优化。
4.3 分割性能提升与结构参数提取方法评价
RLRSA-PointNet++通过引入RPE、LGRM和LRSA机制,显著提升了模型对点云局部几何细节的表达能力。相较于体素化或混合表示方法,该设计直接处理原始点云,更好保留了茎秆等细长圆柱结构的几何保真度。结合基于切片的椭圆结构特征拟合策略,该方法能够高效提取田间低密度、非均匀分布茎秆点云的横截面参数,展现出良好的适应性与鲁棒性。
4.4 计算效率与吞吐潜力
整体流程中,单株玉米三维重建耗时约5-6分钟,模型训练为离线过程(5-6小时),而单株推理时间仅2-5秒,表明该方法具备高通量应用潜力。通过模型优化与硬件加速,有望实现实时或近实时部署。
4.5 局限性及未来改进方向
当前方法仍依赖于点云质量与结构一致性,对遮挡、运动模糊及光照变化较为敏感。此外,椭圆拟合假设茎秆几何规则,对形态异常样本适应性有限。未来工作将聚焦于提升三维重建完整性、增强模型跨物种泛化能力,并开发便携式田间表型系统,以应对大规模、复杂农田环境下的应用需求。
5 结论
本研究提出的融合RLRSA-PointNet++与结构特征拟合的三维茎秆直径测量方法,在田间复杂环境下实现了玉米拔节期茎秆长轴与短轴直径的高精度测量。该方法为复杂语境下作物结构参数智能提取提供了高精度、可推广的技术路径,不仅为玉米表型精细监测与结构性状评估提供了技术支持,也为作物表型-基因型关系解析及智能育种决策提供了关键数据支撑与方法参考。