《Smart Agricultural Technology》:PFL-Net: A Deep Learning Network for Maize Leaf Point Cloud Completion
编辑推荐:
摘要专业翻译
玉米叶片是植株结构与光合作用过程的关键组成部分。叶片点云已被证明能够精确重建真实叶片的三维形态,因此成为玉米育种与栽培研究的重要工具。然而,由于植物器官遮挡、叶片表面反射以及环境光照条件等多种因素,经此过程获得的玉米叶片点云往往存在一定程度的数据
摘要专业翻译
玉米叶片是植株结构与光合作用过程的关键组成部分。叶片点云已被证明能够精确重建真实叶片的三维形态,因此成为玉米育种与栽培研究的重要工具。然而,由于植物器官遮挡、叶片表面反射以及环境光照条件等多种因素,经此过程获得的玉米叶片点云往往存在一定程度的数据缺失。此外,数据采集方法对后续叶片表型分析与可视化分析具有显著影响。现有点云补全方法在处理玉米叶片细长狭窄构型的点云时,常常难以获得令人满意的结果。针对这一问题,本研究提出了一种基于深度学习的玉米叶片点云补全网络,命名为Point Fractal Leaf Network(PFL-Net)。首先,研究人员采用四种不同的方法采集叶片点云数据,以构建高质量的玉米叶片点云数据集。PFL-Net以Point Fractal Network(PF-Net)为基础,引入图块(Graph Block, GB)模块以更好地捕捉点云中的边缘特征。此外,研究人员将原有的组合多层感知器(Combined Multi-Layer Perception, CMLP)编码器扩展为平均组合多层感知器(Average Combined Multi-Layer Perception, ACMLP)模块,引导模型关注细粒度的几何细节。PFL-Net在所有五项评估指标上均优于PF-Net,将推土机距离(Earth Mover's Distance, EMD)降低了0.013,并将F1分数(F1-score)提高了0.019。值得注意的是,基于PFL-Net重建叶片进行的生物量预测所获得的决定系数(R2)与基于完整叶片扫描所得结果完全一致。这些结果使PFL-Net成为玉米育种与栽培研究中三维表型分析和植株结构研究的关键使能技术。
论文解读文章
一、研究背景与问题提出
玉米是全球最重要的粮食作物之一,其株型结构对育种和栽培研究具有重大意义。三维点云技术能够为表征植株空间结构提供精确的数字媒介,因此获取和解读此类数据对推动玉米育种与栽培实践至关重要。叶片作为玉米株型结构和光合作用的核心组成部分,其生理功能和形态性状直接决定生物量积累、产量潜力、逆境耐受性和光合效率。通过点云数据重建玉米叶片的三维几何形态,可为株型研究提供高效、客观的数据基础。
然而,实际获取的玉米叶片点云常因植物器官遮挡、叶片表面反射、环境光照条件以及数据采集方式等因素而存在一定程度的数据缺失,这对后续叶片表型分析和可视化计算产生显著影响。作物点云补全,特别是在器官尺度上的补全,已成为植物表型组学领域的关键问题。
现有点云补全方法主要集中于规则几何形状的刚性物体,如飞机、汽车和椅子等,对植物这类复杂的非刚性结构关注相对较少。近年来,植物点云补全研究虽逐渐受到重视,但已有方法在处理圆形或掌状植物叶片时表现良好,而对于玉米叶片这类细长狭窄结构,其捕捉和生成特征的能力受限,补全效果不尽如人意。迄今为止,尚未有有效的方法来解决细长狭窄植物叶片的补全问题。
二、研究内容与核心结论
针对上述问题,研究人员利用四种数据采集方法构建了高质量、多样化的玉米叶片点云补全数据集,并以PF-Net为基线模型,提出了专门面向玉米叶片点云补全的深度学习网络PFL-Net,同时将PFL-Net应用于玉米叶片生物量预测,旨在提高基于点云的生物量估算精度,为玉米育种和栽培研究提供实用关键技术。
研究的主要贡献包括三个方面:其一,通过四种数据采集方法构建了高质量、多样化的玉米叶片点云补全数据集;其二,针对玉米叶片细长结构中的点云缺失问题,开发了PFL-Net模型作为PF-Net的改进;其三,将点云补全模型应用于玉米叶片生物量预测的下游任务,验证了其在表型分析任务中的潜力。
三、关键技术与方法
研究人员采用了以下主要技术方法开展研究。在数据层面,研究团队从课题组前期采集数据和公开数据集中获取玉米叶片三维点云数据,采样对象为吐丝期至灌浆期长势一致的玉米植株。四种采集设备包括MVS-Pheno多视角成像平台(经三维高斯溅射(3D Gaussian Splatting, 3DGS)重建)、FastScan三维数字化仪(经Loop细分生成点云)、FARO Scan150地面激光扫描仪以及FARO Design ScanArm 2.5C机械臂高精度三维扫描仪。经预处理和分割过滤后,最终获得2,073片完整玉米叶片点云,按3:1比例划分训练集和测试集。
在模型架构方面,PFL-Net由生成器和判别器组成。生成器采用编码器-解码器结构:编码器部分在2048分辨率点云上引入图块(Graph Block, GB)模块提取1024维多尺度图特征,该模块采用双分支结构,K1分支从40个最近邻提取全局图特征,K2分支从20个最近邻提取局部图特征;同时将原有组合多层感知器(CMLP)改进为平均组合多层感知器(ACMLP),将最大池化替换为平均池化以保留局部区域内所有点的分布信息,提取1920维特征。三个分辨率(2048、1024、512)的ACMLP特征与GB特征拼接后形成2944维特征向量,经多层感知器和全连接层逐步上采样生成缺失区域点云。判别器同样将CMLP替换为ACMLP以关注更多分类细节。损失函数由对抗损失和多尺度几何损失(层次化倒角距离)加权组合而成。
四、研究结果
玉米叶片点云补全结果
研究人员使用PF-Net和PFL-Net在同一数据集上训练玉米叶片点云补全模型,采用五项评估指标进行定量对比分析。结果表明,与PF-Net相比,PFL-Net将EMD从0.030降至0.017,F1分数从0.846提升至0.865,DCD从0.516降至0.504,MMD2从0.014降至0.008,AHD从0.032改善至0.029。PFL-Net在所有五项指标上均优于PF-Net,在玉米叶片点云补全任务中展现出明显优势。定性分析显示,PF-Net生成的补全点云存在点分布不均、局部点簇集和边缘特征模糊等问题,而PFL-Net生成的补全点云边缘轮廓更清晰、点分布更均匀。三种数据类型中,数字数据补全效果最为理想,主要因其点云由网格降采样获得,平滑度更高、几何复杂度更低;多视角和LiDAR数据更具挑战性,其中LiDAR捕捉的叶片表面精细几何起伏显著增加了补全难度。
消融实验
研究人员设计了消融实验以验证各模块的贡献。将基线中的CMLP替换为GB(Model A)在五项指标上均获得小幅提升,表明图特征提取对高分辨率特征提取更有效。Model B集成GB和CMLP后性能优于Model A,证实了两种模块联合特征提取的优势。进一步将CMLP改进为ACMLP后,设计了三种变体模型:Model C仅在生成器中使用ACMLP,Model D仅在判别器中使用ACMLP,Model E将所有CMLP模块替换为ACMLP。Model E在EMD、F1分数、MMD2和AHD四项指标上均优于其他模型,且定性分析显示其生成的点云具有更清晰的边缘轮廓和更均匀的点分布。Model E因此被选为最终模型,命名为PFL-Net。
点云补全模型对叶片生物量估算精度的影响评估
研究人员基于完整叶片点云和机器学习方法构建了玉米叶片生物量估算模型。数据集包含273片形态完整且具有对应生物量实测值的玉米叶片,按75%和25%划分训练集和测试集。比较了随机森林(RF)、梯度提升回归树(GBRT)、支持向量回归(SVR)三种机器学习方法和卷积神经网络(CNN)、全连接神经网络(FCNN)两种深度学习方法。虽然RF在R2和RMSE上略优于FCNN,但FCNN的MAPE显著更低(16.83%对22.13%),MAE也略低(0.379 g对0.390 g),表明其稳定性和实用性更强,因此被选为最优模型。
随后,研究人员对测试集叶片进行缺失处理,分别使用PF-Net和PFL-Net补全点云,并用最优生物量预测模型评估三组测试数据。缺失点云测试数据在四项指标上均表现不佳,R2仅为0.51,证实数据缺失严重损害叶片生物量预测精度。经PF-Net补全后,各项指标显著改善,R2达0.81。经PFL-Net补全的点云在所有指标上均优于PF-Net补全结果,R2达0.82,与完整点云结果一致,MAPE差异仅0.09%,MAE差异仅0.003 g,RMSE差异仅0.002 g。
五、讨论总结与研究结论
在讨论部分,研究人员指出现有点云补全研究多在ShapeNet、ModelNet和PCN等公开数据集上评估模型精度,这些数据集包含飞机、汽车、椅子等具有平面、球形或高度对称三维结构的简单几何物体。基于此类数据设计的补全模型通常利用共面或对称线索推断缺失形状,因此对具有多个对称面的圆形和掌状叶片处理效果良好。然而,玉米叶片具有明显细长狭窄的形态特征,边缘轮廓复杂、表面宽度有限且曲率显著,缺失部位周围的局部上下文缺乏来自多个方向的平面特征,难以准确捕捉叶片形态。PFL-Net通过GB模块的双分支结构(大尺度K=40捕捉全局轮廓和弯曲几何,小尺度K=20聚焦精细表面细节)实现从整体形态到局部细节的全面感知,同时ACMLP模块通过平均池化保留局部区域的整体分布信息,为模型提供更全面的空间特征。此外,点云补全为生物量预测模型提供了可靠的三维结构信息,验证了PFL-Net在表型分析任务中的可行性和实用价值。
研究结论指出,本研究使用四种不同设备获取点云数据,构建了高质量、多样化的玉米叶片点云重建数据集。以PF-Net为基线模型,引入GB模块和改进的ACMLP模块,增强了模型学习叶片边缘特征和提取细粒度细节的能力。所提出的PFL-Net模型有效解决了玉米叶片等细长狭窄结构中的点云数据缺失问题。定量分析中,PFL-Net在全部五项评估指标上均表现优异,补全精度显著提升;定性分析中,PFL-Net生成的补全点云边缘轮廓更清晰、点分布更均匀。此外,PFL-Net在表型分析任务中展现出优越的点云恢复能力,可实现更准确的生物量预测,为作物表型高精度三维重建和数字化育种提供了关键技术支撑。