基于改进Mask2YOLO级联深度学习的玉米冠层表型性状检测方法

《Industrial Crops and Products》：A maize canopy phenotypic traits detection method based on improved Mask2YOLO cascade deep learning network

　　

玉米是粮食生产以及轻化工、能源和制药等行业的关键作物。提高玉米产量对于确保粮食安全和满足工业生产需求至关重要，高质量、高效的玉米生产是玉米栽培研究的核心目标之一。随着智能农业的发展，计算机视觉和表型组学技术（phenotyping technologies）已越来越多地融入玉米育种和栽培研究。这种整合通过分析玉米的生理生态特征，建立植物遗传数据与表型信息之间的研究联系。玉米冠层表型性状（canopy phenotypic traits）是植物生长状态的重要指标，与产量预测、籽粒品质评价、田间管理和株型优化密切相关。因此，利用深度学习（deep learning）和机器视觉技术自动检测和定量分析玉米冠层表型性状，对于高通量、非破坏性的作物表型分析具有重要意义。这种自动表型分析能够直观、实用地评估田间玉米生长趋势，并为田间管理决策、产量估算和株型优化提供可靠的数据基础。目前，深度学习在目标检测和分割（object detection and segmentation）领域展现出高效的处理能力和广阔的应用前景。在目标检测方面，Faster R-CNN、SSD、YOLO和DETR等深度学习模型相比传统机器学习方法在检测速度、准确性和计算效率方面具有优势。这些模型有助于解决目标尺度变化敏感度不足、遮挡目标提取弱以及复杂背景下鲁棒性有限等问题。在图像分割方面，U-Net、DeepLab、Mask R-CNN、Mask2Former等深度学习模型具有强大的特征提取和参数学习能力，减少了传统分割方法对人工设计阈值的依赖，并提高了复杂场景中小目标的分割性能。这两种模型通常使用COCO和ADE20K等公开数据集进行训练和验证，但这些数据集无法涵盖所有实际情况，尤其是在农业领域。因此，应用改进的深度学习模型实现不同作物的检测和分割已成为高通量处理和解译作物信息的研究热点。对于玉米，研究人员已使用改进的Faster R-CNN模型进行不同生长阶段的幼苗检测，准确率达到97.71%。在玉米雄穗计数方面，研究人员比较了Faster R-CNN、YOLOv3、FaceBoxes、RetinaNet和TasselNet，其中TasselNet整体表现最佳，MAE和MSE分别为5.4和8.4。除玉米外，研究人员还针对其他作物目标开发了改进的分割网络，如用于作物幼苗分割的边缘信息增强U-Net和用于重叠叶片分割的Eff-UNet++。此外，研究人员将改进的YOLOv5与匈牙利匹配和卡尔曼滤波算法相结合，实现了复杂背景下玉米植株的跟踪和计数。最近，玉米表型分析已从简单的检测和计数转向多维冠层和株型性状提取。研究人员开发了MVS-Pheno平台，可自动提取44个三维玉米株型性状，包括基本表型、投影面积相关性状、叶片相关性状、体积相关性状和颜色相关性状。研究人员还量化了玉米叶片的二维形态特征，为器官级结构表型分析提供了基础。此外，研究人员提出冠层高度均匀性作为新的三维表型指标，用于连接单株高度变异与冠层结构特征。研究人员还展示了使用自主地面机器人在多个田间环境中进行大规模冠层内玉米表型分析的能力。这些研究表明玉米冠层和株型表型分析正在快速发展。然而，许多现有方法依赖于无人机遥感、LiDAR、多视角重建或机器人传感平台。在自然背景下，从田间RGB图像中准确识别器官级目标并直接提取多个冠层表型性状仍然具有挑战性，尤其是当玉米器官与田间背景颜色相似且在灌浆期部分被遮挡时。因此，研究人员以灌浆期多个品种的玉米植株为研究对象，使用固定式玉米冠层图像采集平台在自然田间条件下采集图像。尽管成像装置固定，但数据集包含了典型的田间变异，包括自然光照变化、基因型间冠层结构差异、部分器官遮挡以及玉米器官与田间背景的颜色相似性。基于该数据集，研究人员整合了具有多尺度二值掩膜分割能力的DT-Mask2Former和具有更强特征提取能力的DSM-YOLOv8，构建了DTMask2YOLO级联深度学习网络。最后，利用上述模型，研究人员提出了一套计算表型性状的算法。这些性状包括株高、冠层宽度、雄穗长度、叶长、叶宽和茎叶角。分析表明，研究人员建立了一种准确、高效的玉米冠层表型性状检测方法。

# 论文解读：基于改进Mask2YOLO级联深度学习的玉米冠层表型性状检测方法

## 研究背景与问题

玉米是全球粮食安全及轻化工、能源、制药等产业的关键作物。提高玉米产量是育种与栽培研究的核心目标。随着智能农业的发展，计算机视觉与表型组学技术被用于建立植物遗传数据与表型信息之间的联系。玉米冠层表型性状（如株高、冠层宽度、雄穗长度、叶长、叶宽、茎叶角）是植物生长状态的重要指标，与产量预测、品质评价、田间管理和株型优化密切相关。然而，现有方法多依赖无人机遥感、LiDAR、多视角重建或机器人传感平台，从自然背景下的田间RGB图像中准确识别器官级目标并直接提取多个冠层表型性状仍面临挑战，尤其在灌浆期，玉米器官与背景颜色相似且部分被遮挡时。为此，研究人员提出一种基于改进Mask2YOLO级联深度学习网络的玉米冠层表型性状检测方法，以实现高通量、非破坏性的自动表型分析。

## 研究内容与结论

研究人员以灌浆期五个玉米品种（Demea 1、Demea 3、东农264、郑单958、瑞普909）为研究对象，在黑龙江八一农垦大学实验实习基地（安达，46°37'N，125°35'E）的自然田间条件下，使用固定式玉米冠层图像采集平台（相机距地面340 cm，距植株95 cm，与地面呈45°角）采集987张图像。构建了DTMask2YOLO级联网络，包括第一阶段的DT-Mask2Former（用于冠层分割）和第二阶段的DSM-YOLOv8（用于器官识别），并基于检测结果提出了株高、冠层宽度、雄穗长度、叶长、叶宽和茎叶角的计算方法。DT-Mask2Former冠层分割模型的mIoU达90.59%，mDice达95.10%，准确率95.03%；DSM-YOLOv8器官识别模型的mAP达0.909，FPS为65.9；六种表型性状的预测值与实测值R2分别为0.8659、0.8965、0.791、0.7509、0.7014和0.7789。该研究为复杂田间背景下玉米冠层分割和器官识别提供了新方法，并为高通量、非破坏性表型分析提供了有效工具，对玉米表型组学、品种选育和株型优化具有重要意义。论文发表在《Industrial Crops and Products》。

## 主要关键技术方法（不超过250字）

研究人员采用了以下关键技术：（1）构建DT-Mask2Former网络，其核心是精简的tPKI Net特征提取模块（去除原PKI Net中11×11深度可分离卷积，保留3×3、5×5、7×7、9×9多尺度卷积）和双通道Transformer解码器（DT-Decoder，两个并行解码器输出加权平均），用于从自然背景图像中分割玉米冠层。样本来源：灌浆期五个品种玉米植株，共987张图像，85%训练集、15%测试集，经数据增强后训练集为1678张。（2）改进DSM-YOLOv8网络，在骨干网络中替换四个C2f模块为C2f_DSC模块（引入动态蛇形卷积，通过迭代偏移学习适应器官细长曲折形态），并在头部添加混合局部通道注意力模块（MLCA，将特征图划分为局部子图，通过双分支提取局部和全局特征，采用一维卷积加速），用于识别冠层内雄穗、叶片、果穗、茎秆等器官。（3）基于二维坐标系和标定板比例因子，开发了六种表型性状的计算算法（株高、冠层宽度、雄穗长度、叶长、叶宽、茎叶角），其中叶长通过颜色分割、阈值化、形态学操作和骨架化提取像素长度；叶宽通过Canny边缘检测和Hough变换确定最宽处；茎叶角通过连接茎秆骨架和叶片方向线计算夹角。

## 研究结果

### 3.4.1 玉米冠层分割
通过对比U-Net、PSP-Net、DeepLabV3、SegFormer、Mask2Former等12种分割模型，DT-Mask2Former（基于tPKI Net骨干）在512×512输入下取得最优性能：mIoU 90.59%、mDice 95.10%、准确率95.03%，模型大小552 MB。相比Mask2Former（SwinT骨干），mIoU提升2.26%，mDice提升1.29%，准确率提升2.87%。该模型能从复杂田间背景中准确分割出玉米冠层，边缘清晰、鲁棒性好。

### 3.4.2 冠层器官识别
（1）识别结果分析：DSM-YOLOv8（同时引入C2f_DSC和MLCA）在测试集上mAP达0.909，相比YOLOv8（mAP 0.866）提升2.56%，模型大小仅6.98 MB，FLOPs 9.03 G，FPS 65.9。与SSD、Faster R-CNN、YOLOv5、YOLOv9等模型相比，DSM-YOLOv8在mAP和FPS上均具优势，且计算开销较小。
（2）消融实验：逐步替换C2f模块为C2f_DSC，mAP逐步提升（从0.866升至0.900）；仅在头部添加MLCA时mAP提升3.2%（0.866→0.894），而仅在颈部添加或同时添加时效果下降。最佳配置为全部C2f替换+头部MLCA。
（3）可视化与混淆矩阵：Grad-DSM可视化显示DSM-YOLOv8比YOLOv8更聚焦于目标器官区域。混淆矩阵显示，DSM-YOLOv8对果穗、叶片、茎秆、雄穗的分类准确率分别为91%、92%、88%、99%，较YOLOv8分别提升9%、1%、12%、32%。

### 3.5 表型性状计算
通过线性回归分析预测值与实测值，六种性状的R2和MAE分别为：株高R2=0.8659，MAE=6.32 cm；冠层宽度R2=0.8965，MAE=4.88 cm；雄穗长度R2=0.791，MAE=1.90 cm；叶长R2=0.7509，MAE=7.83 cm；叶宽R2=0.7014，MAE=0.84 cm；茎叶角R2=0.7789，MAE=2.91°。结果表明计算方法具有较高的准确性和可靠性。

## 讨论与结论

### 讨论
（1）模型性能：DT-Mask2Former的mIoU（90.59%）比Peng等（2023）方法提升19.56%，模型大小比Bhalgaonkar和Munot（2024）减少8%，分割准确率比Naser和Deen（2020）提升11%。DSM-YOLOv8的mAP（0.909）比Yan等（2021）提升4.2%，参数量比Wang等（2022b）减少14.11%，模型大小比Xu等（2023a）减小36.52 MB，FLOPs降低31.17%。表型性状计算中，株高和冠层宽度的R2比Zheng等（2022）分别提升5.3%和6.5%。
（2）局限与改进：①分割和检测仍存在轻微误差（mIoU 90.59%，mAP 0.909），原因包括标注人为误差、器官形状多变及田间风、强光等不利因素。未来将优化模型参数并采用更严格的标注，同时采集多视角图像增强鲁棒性。②数据集环境多样性有限，仅来自单一实验田和固定成像平台，虽包含典型田间变异，但未覆盖多地、多年、多种背景。未来将扩展数据集至不同地点、年份、种植密度、生长阶段和成像配置。③表型性状计算存在误差（如株高R2=0.8659，MAE=6.32 cm），源于不同品种间的冠层结构、叶片分布和颜色属性差异。未来将扩大样本集以定制模型参数，提高计算精度。

### 结论
研究人员提出了一种新技术，用于识别玉米冠层器官并有效计算表型性状。该方法首先将DT-Mask2Former与DSM-YOLOv8级联，构建DTMask2YOLO级联深度学习网络。用于玉米冠层分割的DT-Mask2Former网络实现了mIoU 90.59%和mDice 95.10%，为冠层器官识别提供了可靠的数据基础。用于冠层器官识别的DSM-YOLOv8网络达到了mAP 0.909，为表型计算提供了准确的数据源。最终，通过整合二维坐标系和提出的表型计算方法，计算了株高、冠层宽度、雄穗长度、叶长、叶宽和茎叶角，实测值与预测值的R2分别为0.8659、0.8965、0.791、0.7509、0.7014和0.7789。结果表明，DTMask2YOLO网络模型和表型性状检测方法具有高准确性，能够快速计算玉米冠层形态特征。该研究为复杂田间背景下的玉米冠层分割提供了一种新实用方法，为玉米器官的非破坏性检测和定位提供了快速高效的新方法，同时为玉米冠层表型性状的提取和分析提供了高效、非破坏性的视觉分析技术，对玉米表型组学发展、植物生长监测、优良品种选择和株型优化研究具有重要意义。