《Computers and Electronics in Agriculture》：Leaf area extraction framework: Transformer-based segmentation and geometric-based completion approaches for accurate extraction of field maize leaf area from point clouds
编辑推荐：
三维点云技术用于玉米叶面积提取，提出结构光采集系统减少光照干扰，结合Transformer语义分割网络实现高精度叶片分割，并创新性引入轮廓补全和叶体补全算法解决遮挡问题，验证了不同生长期对提取精度的影响及算法优化效果。
Xingshuo Peng|Yongliang Zhang|Linqian Ma|Keyuan Wang|Lingyuan Kong|Shaojun Hu|Zhiyi Zhang|Nan Geng
西北农林科技大学信息工程学院，中国杨陵712100
摘要
准确测定玉米叶面积对精准农业和产量优化至关重要。三维点云技术提供了一种非破坏性和高效的方法，替代了传统方法，后者往往效率低下且不够准确。本研究旨在开发一个适用于田间的玉米叶面积提取框架。它主要关注两个关键挑战：一是环境因素（如强阳光）在点云采集过程中的干扰，二是复杂田间条件下叶片之间的相互遮挡。为了解决第一个挑战，我们提出了一种基于结构光的光源点云采集系统，该系统经过优化，能够最小化阳光干扰，从而在户外环境中实现高保真度的数据采集。然后，我们利用Transformer增强的语义分割网络准确分离单个叶片，在精确度、召回率、F1分数和交并比等关键评估指标上取得了高精度。随后通过三角测量计算叶面积。我们的分析显示，在营养生长阶段和生殖生长阶段，叶面积的测量结果存在显著差异。虽然该框架在早期生长阶段表现出色，但在抽穗到成熟阶段，由于叶片遮挡增加和几何结构复杂化，性能显著下降。为了解决这个问题，我们引入了两种新的几何处理算法：叶片轮廓补全和叶片主体补全。这些算法共同提高了测量精度，且随着点云丢失程度的增加，改进效果更加明显。因此，在后期生长阶段观察到了最显著的提升。这项工作通过建立一个适应生长阶段的叶面积提取框架，将技术创新与农艺需求相结合，为精准农业做出了贡献。
引言
叶面积是评估植物生长状况和作物产量的关键指标。它直接影响光合作用和生理过程的效率。因此，准确获取玉米叶面积对于实现精准农业管理和提高作物产量至关重要（Fang等人，2019年）。传统方法如手动测量和二维图像处理效率低下且成本高昂（Yan等人，2019年）。作为三维（3D）空间数据，点云在农业中得到了广泛应用，特别是在估算作物形态参数方面（Paulus，2019年；Vázquez-Arellano等人，2016年；Xiang和Wang，2023年）。近年来，许多研究提出了基于点云的技术来估算玉米等作物的形态参数和叶面积指数（LAI）。例如，Miao等人（2023年）提出了一种基于欧几里得和K均值聚类的单株玉米点云分割方法，为玉米叶面积计算提供了有效的技术支持。Wang等人（2023年）开发了一种基于距离场的快速自动化玉米茎叶分割流程，进一步推进了形态参数的精确提取。此外，Li等人（2021年）研究了相机视角对小麦叶参数估算的影响，揭示了选择观测点对3D点云数据采集结果的重要影响。这项研究为处理多角度点云数据提供了理论指导。Miao等人（2022年）探索了玉米形态参数的测量方法，并提出了一种基于点云图像转换的技术，为准确构建玉米模型提供了新方法。Li等人（2022a、2022b、2022c）进一步引入了一种结合无人机（UAV）倾斜图像和自适应微地形模型的方法，用于估算玉米冠层的LAI和高度，为基于点云的作物监测提供了新的视角和技术途径。这些研究表明，点云技术在估算作物形态参数方面具有广阔的应用前景。
准确的点云采集方法对于精确提取叶面积至关重要。点云采集方法可以分为基于视觉的方法（Zhou等人，2019年）、基于结构光的方法（Zhang，2018年）和基于飞行时间的方法（He & Chen，2019年）。每种采集方法都有其优缺点。Li等人（2022a、2022b、2022c）使用了基于视觉的方法，通过多视角图像序列重建和测量玉米幼苗的3D表型。然而，采集过程复杂，需要从多个角度收集数据。这种依赖性使得确保测量精度和鲁棒性变得困难（Alzahrani等人，2024年）。Huang等人（2022年）使用结构光投影仪将光线投射到小麦籽粒表面，通过相机捕捉到的变形光图案来计算籽粒的3D特征。Ma等人（2024b）使用基于飞行时间的采集系统捕获大豆的点云并提取相关表型参数。尽管研究人员提出了多种作物点云采集方法，但复杂的田间环境仍然带来巨大挑战。因此，具有强大抗干扰能力和高精度的点云采集设备仍有很大的发展潜力。
一旦收集到点云，就需要将其分割成不同的植物器官，以便提取叶面积。传统的点云分割方法依赖于几何特征进行分割（Grilli等人，2017年；Jin等人，2018年；Li等人，2021年；Miao等人，2021年；Sun等人，2021年）。近年来，基于深度学习的点云分割方法得到了广泛应用（Singh & Yadav，2024年）。最早的深度学习点云分割网络之一是PointNet（Qi等人，2017a），及其改进版本PointNet++（Qi等人，2017b）。PointNet成功解决了传统方法难以处理的无序点集问题，为后续的点云分割算法奠定了基础。Li等人（2023年）提出了一个名为PlantNet的语义分割网络，专门用于作物器官分析，在植物点云分析和表型参数提取方面具有巨大潜力。影响深度学习模型性能的一个重要因素是局部特征与局部点云之间关系的丢失。DGCNN旨在克服这一问题（Wang等人，2019年）。随着注意力模块的发展，研究人员开始使用它们来提升模型性能。通过Transformer网络，多头自注意力机制使模型能够同时关注点云数据的不同尺度特征（Zhao等人，2021年）。这使得模型能够更有效地适应不同大小和分布的点云，从而提高分割性能。PSTNeT有效处理了茄子茎和叶的语义分割（Ma等人，2024a），已被提出用于作物器官点云分割的应用。基于作物器官的点云分割网络取得了显著进展，实现了对作物点云中各种器官的高效精确分割。这些网络可以准确识别和区分作物中的叶片、茎、果实等器官。这不仅有助于农业生产者更有效地了解作物的生长状况和健康状况，还为精准农业管理提供了关键的数据支持。
研究人员不断推进基于叶点云的叶面积提取技术。Boukhana等人（2022年）分析了生菜的点云数据，并准确提取了每个生菜幼苗的叶面积，为后续的生物量测量提供了关键的数据基础。Guo等人（2023年）开发了一种准确测量卷心菜叶面积的算法，并将其应用于温室生产监测。Zhu等人（2023年）利用改进的骨架提取算法，基于点云数据准确检测番茄冠层的表型特征。目前，关于从作物叶点云中提取叶面积的研究相对有限，因为大多数研究是在室内盆栽环境中进行的（Wang & Chen，2020年）。这表明研究人员可以在受控条件下更容易地控制光照、湿度等环境因素，从而获得高质量的点云数据并进行准确的叶面积提取。然而，在实际田间条件下从作物叶点云中提取叶面积的研究仍处于早期阶段（Jiang等人，2019年；Qiu等人，2019年）。在田间环境中，光照和天气会导致点云数据的变化。此外，户外的叶片遮挡和重叠现象比室内更为明显。尽管两种环境中都可能发生遮挡，但由于玉米植株间距较小且背景更复杂，田间的遮挡现象更为严重，导致叶片重叠和遮挡区域增加，从而造成数据缺失和点云完整性和精度降低。
在这项研究中，我们使用了一种以红外激光为光源的结构光扫描设备来捕获作物点云，以减少强阳光和天气条件的影响。随后，应用深度学习点云分割网络准确分割作物器官点云，从而获得玉米叶的点云数据。为了解决由于遮挡导致的点云缺失问题，我们采用了增强的体素化采样、轮廓补全和叶片补全算法，有效实现了玉米叶面积的准确提取。研究结果不仅有助于更好地理解自然环境中的作物生长和发育情况，还为精准农业管理提供了更可靠的数据支持。处理工作流程如图1所示。
设备设计与数据采集
本研究在中国陕西省杨陵市的玉米试验田进行（34.16°N，107.75°E）。玉米植株行距为60厘米，单株间距为30厘米。试验田由两行组成，每行有三株玉米。
我们开发了一个专门的扫描平台，集成了线激光技术、双目视觉和旋转模块，以确保玉米的高精度3D点云数据。
网络训练与测试
本研究中使用的硬件平台包括一个Intel Core i7-13700 K CPU（12核20线程）、512 GB内存和NVIDIA RTX 3060 GPU。深度学习框架采用PyTorch。训练过程中，批量大小固定为64，初始学习率设置为0.005，每10个训练周期学习率降低50%。训练周期的最大数量设置为120。训练样本与测试样本的比例为3:1，如图12所示。
不同生长阶段对叶面积提取的影响
不同生长阶段的叶面积提取结果存在显著差异，尤其是在后期生长阶段，准确度明显下降。这可能是由于植物对外部因素（如风扰动）的敏感性增加所致，因为在后期生长阶段茎部伸长，导致植株倾斜或弯曲。因此，从不同阶段收集的点云数据之间可能存在显著变形。
结论
我们提出了一个玉米叶面积提取框架，该框架结合了Transformer网络和几何补全技术。该框架利用Transformer网络高效分割玉米植株点云，从而增强了点云数据的分析能力。此外，根据玉米叶片的几何特性，将轮廓补全、叶片主体补全和改进的基于体素的采样算法融入了传统的三角测量方法中。
作者贡献声明
Xingshuo Peng：撰写 – 审稿与编辑、撰写 – 原始草稿、验证、软件开发、方法论、数据整理、概念化。Yongliang Zhang：撰写 – 审稿与编辑、研究。Linqian Ma：方法论、数据整理。Keyuan Wang：数据整理、概念化。Lingyuan Kong：数据整理、概念化。Shaojun Hu：撰写 – 审稿与编辑、监督、方法论、研究、数据整理、概念化。Zhiyi Zhang：撰写 – 审稿与
利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文所述的工作。
致谢
本研究得到了陕西省重点研发计划（项目编号：170445463）和陕西省自然科学基础研究计划（项目编号：2022JM-363）的支持。
