基于无人机数字表型技术评估干豆（Phaseolus vulgaris L.）相对成熟度、株数和株高的研究及其重要意义

【字体：大中小】 时间：2025年02月10日 来源：Plant Phenomics

编辑推荐：

　　本文利用无人机 RGB 图像和深度学习（DL）方法，对干豆的相对成熟度（RM）、株数（SC）和株高（PH）进行评估。研究表明，CNN-LSTM 和 Faster R-CNN 模型比传统方法更有效，开发的开源软件也具有重要应用价值，为干豆育种研究提供了新途径。

引言

干豆（Phaseolus vulgaris L.）是全球重要的豆类作物，在营养、可持续发展、缓解气候变化、保障粮食安全和促进发展中国家增收等方面意义重大，也是美国重要的特色作物。

在干豆育种项目中，培育适宜成熟度的品种至关重要。成熟过晚易受霜冻、雨水影响，导致收获困难；成熟过早则无法实现产量最大化。同时，收获辅助化学品虽能加快收获，但会影响干豆的罐装品质并引发环境问题。因此，准确评估干豆的相对成熟度（RM）对品种选育意义重大。

植物株高（PH）和株数（SC）也是干豆育种关注的重要性状。合适的株高有助于提高产量、增强对环境的适应性和抗倒伏能力；早期准确估计株数能为农业决策提供关键信息，辅助筛选耐病基因型。

然而，传统测量 RM、PH 和 SC 的方法存在诸多局限性，如主观易出错、耗费人力和时间、成本高昂等。基于无人机（UAS）的高通量表型（HTP）技术应运而生，它能快速、准确且低成本地测量各种育种性状，加速育种进程。在大豆、玉米、小麦等作物研究中，已有利用无人机和深度学习（DL）技术进行相关测量的成功案例，但在干豆研究领域应用较少。本研究旨在利用无人机获取的干豆图像，结合 DL 技术高效评估 RM、SC 和 PH，并开发易用的 HTP 工具，推动干豆育种发展。

材料与方法

实验设计和基于地面的数据测量

选取密歇根州立大学干豆育种项目中的标准产量试验（AYT）和初步产量试验（PYT）的先进育种系，测量 RM、SC 和 PH 的地面真实（GT）数据和航空影像数据。实验在 2020 - 2022 年的 3 个生长季进行，地点位于美国密歇根州的两个地区。

RM 和 PH 数据在多个生长季和地点收集，SC 实验仅在 2022 年的一个地点开展。试验包含不同成熟时间和株高的育种系及对照品种，种植采用特定的地块布局和重复设置，并进行标准化的种子处理、施肥和除草。

RM 的 GT 数据通过训练有素的人员定期观察地块，根据植株成熟特征确定成熟日期；SC 的 GT 数据通过人工计数特定生长阶段的发芽植株获得；PH 的 GT 数据使用米尺测量地块内代表性植株的高度。所有 GT 数据通过 Android 应用 Fieldbook 记录。

UAS 平台和图像数据收集

使用配备 RGB 相机的 DJI Phantom 4 Pro v2 无人机收集图像。在干豆发芽后的不同生长阶段进行飞行，RM 相关飞行从成熟初期到完全成熟，SC 相关飞行在早期生长阶段。飞行选择在太阳中午前后 1 小时内进行，以减少阴影影响，且总飞行时长不超 25 分钟。

2020 年每周飞行一次，2021 和 2022 年每周飞行两次。飞行任务通过 DJI GSP Pro 软件自动规划，iPad 用于任务准备，飞行前上传任务至无人机主控板。为确保图像地理参考准确，在田间设置永久地面控制点（GCPs），并使用全球导航卫星系统（GNSS）接收机结合实时动态（RTK）校正进行测量。

图像数据处理和 CNN 方法

图像数据处理流程包括使用 Pix4D Mapper 软件进行照片对齐、匹配和光束平差，生成正射镶嵌图和数字表面模型（DSM）等数据。利用 R 软件和 QGIS 生成地块多边形形状文件，并进行空间调整。

对于 RM 分析，从正射镶嵌图中裁剪地块图像，构建时间序列数据；对于 SC 分析，类似地裁剪图像，但采用特定尺寸。利用 NumPy 库处理数据格式，将时间序列数据输入时间分布的 CNN 和 LSTM 网络预测 RM；利用 VGG 图像标注器标注单株干豆，使用 Faster R-CNN 模型进行目标检测分析 SC。

在 PH 分析中，比较基于 DSM 和点云（PC）数据源的两种方法，通过减去植被和土壤的海拔高度计算 PH，在缺乏裸土飞行数据时采用特定策略确定地面和植被高度。研究代码和数据集存储在 GitHub 仓库。

成熟度 DL 模型

本研究对 Moeinizade 等人提出的 DL 模型进行改进。原模型使用时间分布的 CNN 提取图像深度特征，结合 LSTM 网络捕捉时间序列数据的顺序行为。本研究采用相同的损失函数（Huber 损失函数），结合均方误差（MSE）和平均绝对误差（MAE），提高模型对异常值的鲁棒性。

成熟度 CNN-LSTM 模型设计

CNN-LSTM 模型包含 4 个时间分布的卷积层，为优化模型，调整了滤波器数量、LSTM 层数和超参数。通过 WandB 工具进行网格搜索选择最佳参数，采用随机失活（dropout）正则化技术防止过拟合。

模型输入经处理后，由卷积层提取特征，LSTM 层处理序列信息，最终通过全连接层输出 RM 预测值。模型采用 Xavier 初始化权重，除最后一层使用线性激活函数外，其余层均使用修正线性单元（ReLU）激活函数。使用自适应矩估计（Adam）优化器训练模型 200 个 epoch。

数据处理和超参数

在 RM 预测前，对图像进行预处理，调整图像大小并比较不同尺寸（64×256 和 128×512）对预测性能的影响，同时研究飞行频率（6 次和 9 次飞行）的作用。将多个环境的图像数据合并，按比例划分为训练集、验证集和测试集，并对部分训练数据进行数据增强，包括调整亮度、对比度和模糊处理。

通过网格搜索优化超参数，包括 Huber 损失函数中的 σ、批量大小、学习率、内核大小和衰减率等。使用优化后的超参数训练模型，以 MAE 和 MSE 评估模型性能。

植物成熟度基准

将 RM DL 模型与 Volpato 等人开发的成熟度评估方法（利用局部回归模型（LOESS）和分段线性回归模型（SEG））进行比较。开发 R Shiny 应用（matuRity app）实现 LOESS 和 SEG 模型，利用从原始 RGB 图像提取的数字计算植被指数（如绿度叶指数 GLI），通过优化阈值估计 RM。同时提供 Python 的 Streamlit 应用和 R 脚本进行植被指数提取。

SC DL 模型

SC 分析流程包含 6 个步骤，从原始图像和标注开始，到最终预测 SC。使用 VGG 标注工具标注 132 个地块的植株，添加额外 8 个地块数据，共获得 17259 个目标单株标注数据。

SC Faster R-CNN 模型设计

Faster R-CNN 是经典的目标检测方法，结合区域提议网络（RPN）和 Fast R-CNN 模块，具有高精度和鲁棒性。本研究采用 ResNet50-FPN 作为骨干网络，考虑计算量和对生物目标的检测识别能力。

数据处理

首先将 VGG 标注数据转换为 COCO 格式，调整图像大小为 3872×640 像素。使用 WandB 工具进行网格搜索，优化批量大小、学习率和衰减权重等超参数。将数据集划分为训练集、验证集和测试集，使用 PyTorch 开发植物检测模型，并利用 “Albumentations” 库进行图像增强。

为提高模型性能，对未标注数据进行伪标注，增加训练数据量。最终重新划分数据集，调整优化超参数，训练模型 1000 个 epoch，并使用交叉验证评估模型性能，设置检测阈值为 0.1 进行目标分类。

植物计数基准

将 DL 目标检测模型与传统方法（如基于 OpenCV 库的手工特征提取和基于 scikit-image 库的分水岭（WS）算法）进行比较。OpenCV 方法通过一系列图像处理步骤确定 SC，WS 方法利用像素强度值和标记进行图像分割获取 SC。同时调整 R 包 FieldImageR 中的 “fieldCount” 函数计算株数。

图像分割

采用基于 PyTorch 的 U-Net 架构和 MobilenetV2 骨干网络进行图像语义分割，将图像分为土壤和植被两类。使用 Adam 优化器训练模型，对输入数据进行增强和归一化处理。模型在基于植被指数 ExG - ExR 分割的图像上预训练，评估指标显示模型能可靠区分土壤和植物。

植物高度

DSM 和 PC 生成

利用 Pix4Dmapper 软件，通过结构从运动（SfM）算法和多视图立体（MVS）算法处理获取的图像，生成 DSM 和高密度 3D PC。对 PC 进行网格划分，2021 年的试验生成裸土数字地形模型（DTM），其他年份利用飞行获取的 DSM 代表植被海拔高度。

PH 估计

2021 年通过 DSM 减去 DTM 获取作物表面模型（CSM）计算 PH；2020 和 2022 年通过对 DSM 和 PC 数据进行像素分布分类，选择特定分位数的像素代表土壤和植被高度，相减得到 PH。开发 R Shiny 应用 “PlantHeightR” 辅助 PH 数据分析。

性能评估指标

通过计算决定系数（）和皮尔逊相关系数（）评估无人机表型估计与 GT 测量的准确性，RM 评估使用 MAE 和 MSE，PH 和 SC 评估使用 MAE 和均方根误差（RMSE）。对于 Faster R-CNN 模型，还计算精度（P）、召回率（R）、F1 分数（F1）和准确率（Ac）评估其检测和计数性能。利用自定义算法去除 PH 和 SC 相关性中的异常值。

结果

RM 性能

CNN-LSTM 模型在预测 RM 方面表现出色，在多个环境下，其相关系数（、）更高，MAE 和 MSE 值更低，优于传统的 LOESS 和 SEG 模型。不同环境和飞行数据集下，模型性能存在差异，较大图像尺寸（512×128）和较多飞行次数（9 次）在部分环境中提升了模型性能，但并非在所有环境中都如此。

GDD 对 RM 预测的影响

添加生长度日数（GDD）数据的 CNN-LSTM + GDD 模型在某些环境（如 2021 SVREC）中性能提升明显，和增加，MAE 和 MSE 降低；但在其他环境中，性能提升不显著或不如原模型。

SC 性能

Faster R-CNN 模型能准确识别早期生长阶段的干豆植株，在不同飞行高度（7m、10m、6m）下与 GT 测量值和标注框测量值相关性良好。7m 飞行高度时预测误差最低，不同飞行高度性能存在差异，早期飞行因图像质量和植物特征问题识别效果不佳。

比较 SC 方法

基于 DL 的 Pred_Faster RCNN 方法与 GT 和标注框的相关性最强，和最高，但与 GT 相比 MAE 和 RMSE 较大；WS_py 方法性能次之，传统的 OpenCV 方法性能相对较低。

PH 性能

基于 PC 数据源的分位数方法在估计 PH 时，平均相关性（）和（）略高于基于 CSM/DSM 数据源的方法，但差异较小。不同环境下，两种数据源的性能有所不同，2021 HURON 环境中相关性最好，2020 SVREC 环境中最差。

讨论

相对成熟度

CNN-LSTM 模型能准确估计干豆成熟日期，与实际成熟日期误差较小，相比传统模型更可靠。GDD 信息的加入在特定环境下提升了模型性能，但在不同环境中的效果存在差异，需进一步优化模型以更好地整合环境因素。

较大图像尺寸和较高飞行频率在部分环境中提高了模型预测准确性，但需权衡计算成本和实际收益。不同环境对模型性能影响显著，需深入研究环境因素与无人机飞行参数的相互作用，以优化模型性能。

株数

伪标注技术有效增加了训练数据量，提升了 Faster R-CNN 模型性能。选择合适的生长阶段和高质量的训练数据集对模型准确性至关重要，高分辨率图像和数据增强技术有助于提高模型对植物特征的识别能力。

模型在识别早期生长阶段植株时表现良好，但存在一定的漏检（FN）问题，受图像分辨率、叶片遮挡等因素影响。与传统方法相比，DL 模型在高密度作物群体株数检测中优势明显，但传统方法在分析间隔较大的作物（如玉米）图像时仍有应用价值。

此外，通过 SC 分析还可评估植物空间分布（PD），这对优化作物生长管理、提高产量预测准确性具有重要意义。当前研究中地块质量对预测结果有一定影响，需进一步评估该模型作为 HTP 质量控制工具的性能。

株高

PC 数据源在大多数情况下对 PH 估计更准确，但与 CSM/DSM 数据源性能差异较小，选择应综合考虑数据可用性、处理要求和环境条件等因素。

3D 重建 PC 数据在提取 PH 指标时准确性较高，但计算资源需求大。利用减法方法计算 PH 具有一定优势，即使在缺乏 GCPs 的情况下也能进行可靠估计。同时，选择合适的像素或数据代表植物和土壤高度，以及优化相关参数，对提高 PH 测量准确性至关重要。

结论

本研究利用低成本无人机图像和先进的机器学习技术，结合传统方法，为干豆试验的 HTP 应用提供了有效解决方案。开发的流程和开源软件有助于育种决策和 HTP 流程优化。

CNN-LSTM 和 Faster R-CNN 模型在不同飞行条件下表现良好，是育种决策的有力工具。但模型性能受图像大小、飞行频率和环境因素影响，未来需进一步优化这些参数，并探索更多环境因素对模型的影响。

传统方法在 RM 和 SC 分析中仍有价值，但需优化阈值选择和土壤分割。DL 技术减少了表型测量中的主观误差，为植物育种带来更客观可靠的结果。在 PH 估计方面，选择合适的数据源和优化土壤海拔数据处理方法可提高相关性，未来应探索多数据源融合和先进算法应用，以提升不同作物和生长阶段的 PH 估计准确性。

引言