《Smart Agricultural Technology》：MatchPlant: An Open-Source Pipeline for UAV-Based Single-Plant Detection from Undistorted Images with Orthomosaic Projection
编辑推荐：
从无人机（UAV）影像中准确识别单株植物对于高通量表型分析和植物育种中的数据驱动决策至关重要。本研究提出了MatchPlant，一个带有图形用户界面的模块化开源Python流程，用于基于无人机（UAV）的单株检测和地理空间性状提取。该流程整合了无人机（UAV）
从无人机（UAV）影像中准确识别单株植物对于高通量表型分析和植物育种中的数据驱动决策至关重要。本研究提出了MatchPlant，一个带有图形用户界面的模块化开源Python流程，用于基于无人机（UAV）的单株检测和地理空间性状提取。该流程整合了无人机（UAV）图像处理、用户引导的选定无畸变图像标注、基于卷积神经网络（CNN）的目标检测训练、边界框向正射影像的前向投影，以及用于空间表型分析的形状文件生成。该工作流在检测过程中保留了原始图像几何，同时维持了从源影像到地理参考输出的坐标可追溯性。在早季玉米影像的五个独立训练运行中，MatchPlant在源图像级别取得了平均精度AP@0.5 = 90.3 ± 1.1%和平均平均精度mAP@0.5:0.95 = 43.4 ± 2.9%的检测性能。前向投影后的正射影像级别评估显示AP@0.5 = 89.7 ± 0.8%和召回率 = 93.7 ± 1.2%，验证了该工作流将植物检测结果转移至地理参考输出的能力。植物水平性状，包括从冠层高度模型（CHM）导出的株高和从植被指数栅格导出的归一化植被指数（NDVI），与手动标注结果高度一致（r = 0.87–0.97）。检测输出可在不同时间点重复使用，且仅需最少的额外标注，支持早期生长阶段的时序表型分析。该框架使用单一地点和生长季的玉米影像进行验证，其中植物分离清晰。通过结合模块化设计、可重复性和坐标可追溯性，MatchPlant为基于无人机（UAV）的植物水平分析提供了一个开源工作流，其更广泛的应用需在更多作物、传感器、生长阶段、地面采样距离（GSD）和田间条件下进行验证。
**论文解读文章：MatchPlant——基于无人机影像的无畸变图像单株检测与地理空间表型提取开源流程**
**研究背景、问题与意义**
高通量成像技术正通过卫星、无人机（UAV）、机器人及人工智能集成传感器，推动作物监测向自动化、规模化方向发展，其中目标检测是实现植物个体识别与定位的关键。然而，现有目标检测管道在农业应用中面临多重挑战：首先，深度学习模型部署需要跨学科专业知识（数据预处理、超参数优化、工作流集成），而多数现有工具要求编程技能或云平台访问，限制了非技术背景研究者的使用；其次，高质量标注数据集的构建耗时费力；再者，任务常分散于多个软件工具，导致工作流复杂、可重复性差。此外，使用正射影像（由多张正射纠正图像拼接而成）训练模型时，拼接过程中的重采样与插值会改变对象边界，可能影响检测性能。尽管已有研究（如Wang等将正射影像中的区域感兴趣（ROI）反投影至原始UAV图像以降低标注工作量，Liu等结合原始图像检测与正射影像地理参考进行小器官定位），但这些工作依赖商业摄影测量软件，仅解决部分环节，缺乏可重复的端到端流程及对植物水平性状提取的系统验证。为填补这一空白，研究人员开发了MatchPlant——一个开源、模块化的管道，整合UAV图像预处理、数据集准备、目标检测训练、地理空间投影及植物水平性状提取，旨在为非专业用户提供可访问的集成工作流，并保持坐标可追溯性。该论文发表在《Smart Agricultural Technology》。
**主要关键技术方法（不超过250字）**
MatchPlant利用以下关键技术：1）**OpenDroneMap（ODM）**开源摄影测量平台，生成无畸变图像、正射影像、数字表面模型（DSM）和数字地形模型（DTM）；2）图形用户界面（GUI）模块支持用户引导的GPS嵌入、地面控制点（GCP）文件创建、图像选择、边界框标注（支持COCO和YOLO格式）及图像分块与数据集划分；3）**Faster R-CNN**（ResNet-50-FPN骨干）作为目标检测模型，支持从头训练和迁移学习，训练时采用较低置信度阈值（0.05）以保留候选提议，测试时使用较高阈值（0.5）以平衡精度与召回率；4）**前向投影算法**基于共线方程和DSM，将检测到的边界框从无畸变图像坐标投影至正射影像坐标；5）**空间数据转换**模块将投影边界框转换为形状文件，并提取冠层高度模型（CHM）衍生的株高及植被指数栅格衍生的归一化植被指数（NDVI）。样本来源：美国密苏里大学遗传农场早季玉米田，使用DJI Mavic 2 Pro（RGB）和DJI Matrice 600（多光谱RedEdge-MX）在播种后3周和4周采集影像。
**研究结果**
**3.1 数据采集（Data Collection）**：在20米高度、85%航向和旁向重叠下采集RGB与多光谱影像，确保均匀光照。
**3.2 数据预处理（Data Preprocessing）**：通过Module 0（GPS嵌入）和Module 1（GCP文件创建）增强地理定位精度，Module 2（ODM处理）生成0.3 cm地面采样距离（GSD）的正射影像、无畸变图像及DSM/DTM，为后续模块提供输入。
**3.3 数据准备（Data Preparation）**：Module 3（图像选择）将575张原始图像缩减至27张选定无畸变图像，减少冗余；Module 4（边界框标注）在GUI中手动标注玉米植株；Module 5（图像分块与划分）将图像切分为约1024×1024像素瓦片（重叠100像素，瓦片交并比IoU保留阈值0.3），划分出训练（432张瓦片，8,981个标注）、验证（96张瓦片，1,901个标注）和测试（120张瓦片，1,511个标注）集，且按原始图像分层划分以避免数据泄露。
**3.4 模型训练与验证（Model Training and Validation）**：Module 6.1使用Faster R-CNN（ResNet-50-FPN）训练150个epoch，设置骨干学习率0.005、区域提议网络（RPN）和感兴趣区域（ROI）头学习率0.01，采用随机梯度下降（SGD）和余弦退火学习率调度，并应用数据增强（水平翻转、亮度/对比度/饱和度调整）。训练稳定性通过5次独立随机种子运行评估，验证集平均精度AP@0.5作为最佳检查点选择依据。
**3.5 模型测试与评估（Model Testing and Evaluation）**：Module 7在固定测试集上评估，5次运行平均源图像级检测性能为AP@0.5 = 90.33 ± 1.09%，mAP@0.5:0.95 = 43.35 ± 2.91%。按COCO对象大小分类，小对象（<1,024像素2）的精确率/召回率为71.46%/33.16%，中对象（1,024–9,216像素2）为92.67%/90.35%，大对象（>9,216像素2）为93.11%/91.22%，表明检测性能随对象尺寸增大而提升。
**3.6 利用：检测植物投影（Utilization: Detected Plant Projection）**：Module 8将检测结果通过前向投影（基于共线方程和DSM）映射至正射影像。5次运行的正射影像级评估显示AP@0.5 = 89.68 ± 0.83%，召回率 = 93.71 ± 1.15%。单因素消融实验表明，瓦片大小、重叠和IoU保留阈值参数变化下，OT级别AP@0.5范围为87.33%–92.43%，召回率范围为92.96%–94.76%。失败分析显示，主要错误类型为检测/边界框不匹配（70.02 ± 8.82%）和重复/模糊植物区域（19.97 ± 9.53%），几何因素占比较小。
**3.7 利用：空间数据转换（Utilization: Spatial Data Conversion）**：Module 9将投影边界框转换为形状文件，并从CHM和NDVI栅格中提取植物水平性状。与手动标注形状文件的比较显示，株高（第3周和第4周）和NDVI（第4周）的分布无显著差异（Kolmogorov–Smirnov检验p > 0.05），线性相关系数r = 0.87–0.97，且超过90%的绝对差异在0.00–0.05范围内，约86%的投影边界框与手动标注的IoU > 0.4–0.5，表明自动化提取与手动测量高度一致。
**讨论与结论**
讨论部分指出，MatchPlant的模块化设计及其与ODM的集成避免了商业软件许可限制，但ODM在处理速度和多光谱校准方面存在局限。GCP数量与分布、DSM分辨率及相机姿态估计精度会影响前向投影的准确性，但本研究中由于株高和NDVI基于整体植物区域而非像素级对齐，误差影响有限。图像选择模块可减少高重叠任务中的冗余，但依赖正射元数据；标注GUI提供轻量离线解决方案。图像分块参数的消融实验表明，在测试配置下性能稳定，但参数需根据作物间距、GSD和冠层结构调整。Faster R-CNN在早季玉米上表现稳定，但小对象检测受限于图像分辨率，可通过降低飞行高度或提高传感器分辨率缓解。检测输出的时间可重用性降低了标注成本，但需考虑植物生长引起的空间位移。MatchPlant通过前向投影保持坐标可追溯性，与直接使用正射影像瓦片检测的方法相比，避免了冗余标注。未来工作将利用CHM改进投影精度、扩展支持更多检测模型，并发布打包版本以提升可用性。
**结论**：本研究提出了MatchPlant，一个模块化、开源的管道，用于基于UAV的单株检测和地理空间性状提取，通过集成图像预处理、数据准备、深度学习检测、地理空间投影和性状提取的端到端工作流。使用选定无畸变UAV影像进行模型训练，保留了原始图像几何，并支持正射影像级别投影的坐标可追溯性。在评估的玉米数据集中，MatchPlant表现出稳定的源图像级检测性能，且投影边界框与手动标注高度一致。早期检测结果在后续时间点重用减少了标注需求，同时保持了有用的空间对齐。该管道验证于单一作物、地点和生长季，所有时间点均在早期生长阶段。将其推广至中晚期阶段、不同作物、其他传感器或GSD及不同田间条件，需额外验证和方法改进。MatchPlant整合了基于无畸变图像的检测、前向投影和开源模块化设计，为基于UAV的植物表型分析提供了可访问的工作流。
