《Agronomy》:A Lightweight GDMM-YOLO11 Model for Cotton–Weed Instance Segmentation and Image-Plane Operation-Point Localization
编辑推荐:
为解决棉花田间视觉相似性、背景干扰、叶片遮挡和植株形态不规则给作物-杂草实例分割和图像平面作业点定位带来的挑战,研究人员开发了一种轻量级实例分割模型GDMM-YOLO11。以YOLO11n-seg为基础,将骨干网络在P2/4、P3/8、P4/16和P5/32处
为解决棉花田间视觉相似性、背景干扰、叶片遮挡和植株形态不规则给作物-杂草实例分割和图像平面作业点定位带来的挑战,研究人员开发了一种轻量级实例分割模型GDMM-YOLO11。以YOLO11n-seg为基础,将骨干网络在P2/4、P3/8、P4/16和P5/32处的四个阶段过渡下采样卷积替换为GhostConv,以减少冗余计算;引入C3k2_DySnakeConv_Mona模块以增强结构及多尺度特征表示;并将SPPF后的原始C2PSA模块替换为混合局部通道注意力(MLCA),以对高层特征响应进行重新校准。研究人员在包含2856个标注植物实例的2177张图像上开展了实验,采用分层65%/15%/20%训练-验证-测试划分。在随机种子3407、3408和3409的三次独立运行中,GDMM-YOLO11的掩膜精确率达到89.82±2.60%,掩膜召回率为84.50±2.49%,掩膜mAP@0.5为89.76±0.66%,掩膜mAP@0.5:0.95为68.50±0.34%。相对于YOLO11n-seg,对应的三次运行均值分别高出3.52、1.07、1.67和2.33个百分点,同时参数量从2.836 M降至2.533 M,计算成本从9.6 GFLOPs降至8.8 GFLOPs。在图像平面作业点定位方面,528个真实杂草实例中有505个获得了有效的同类掩膜匹配。研究人员提出的骨架约束融合中心方法达到了99.41%的真实掩膜包含率、91.29%的条件Success@0.15和87.31%的端到端Success@0.15。与掩膜质心基线进行配对比较,真实掩膜包含率和杂草边界距离的改善具有统计学显著性,而定位误差和Success@0.10/0.15的差异未达到统计学显著。在NVIDIA Jetson AGX Orin上进行TensorRT FP16部署,模型单独推理延迟为2.796±0.115 ms,对应357.67 FPS。上述结果表明,GDMM-YOLO11在支持图像平面作业点生成和高吞吐模型单独边缘推理的同时,提供了良好的精度-复杂度权衡。
论文解读
**研究背景与存在问题**:精准农业和智能农机将基于视觉的作物-杂草识别与分割作为农业感知的核心任务。棉田杂草与棉花竞争水分、养分和生长空间,降低棉花生长与产量。早期方法主要依赖手工设计的颜色、纹理和形状特征,在均匀光照和简单背景下可行,但对光照变化、异质土壤以及作物与杂草的视觉相似性敏感。基于边界框的目标检测器无法恢复像素级叶片轮廓;当棉花与杂草重叠、接触或相互遮挡时,单个检测框可能同时包含土壤、棉花叶片和邻近杂草,难以支持精准喷施、机械除草和图像平面作业点定位等应用。语义分割(semantic segmentation)可像素级划分区域,但会合并同类的相邻对象,无法分离相互接触或遮挡的杂草个体。实例分割(instance segmentation)结合目标定位与逐像素掩膜预测,更适合棉田作物-杂草分离及后续作业点生成,但许多高精度实例分割模型计算量过大,难以在农业边缘硬件上实时运行。为此,研究人员基于YOLO11n-seg提出轻量级模型GDMM-YOLO11,以兼顾分割精度、模型复杂度与边缘端部署能力。
**研究内容与总体结论**:研究人员在YOLO11n-seg基础上,将骨干网络P2/4、P3/8、P4/16和P5/32四个阶段过渡下采样卷积替换为GhostConv,引入C3k2_DySnakeConv_Mona模块增强对细长叶片、弯曲结构、不规则边界和遮挡区域的特征表示,并用混合局部通道注意力(MLCA)替换SPPF后的C2PSA模块以重新校准高层特征。在2177幅图像、2856个标注实例的数据集上,GDMM-YOLO11在三次独立运行中获得89.82±2.60%的掩膜精确率、84.50±2.49%的掩膜召回率、89.76±0.66%的掩膜mAP@0.5和68.50±0.34%的掩膜mAP@0.5:0.95,较YOLO11n-seg分别高出3.52、1.07、1.67和2.33个百分点,同时参数量由2.836 M降至2.533 M,计算成本由9.6 GFLOPs降至8.8 GFLOPs。总体结论是,GDMM-YOLO11提供了有利于资源受限农业感知的精度-复杂度权衡,并支持图像平面作业点生成与高吞吐边缘推理。
**关键技术与方法(不超过250字)**:研究图像采集自中国新疆昌吉华兴农场试验田,使用iPhone 13 Pro拍摄;经质量控制后共2177幅图像、2856个标注实例,涵盖棉花及苋、藜、马齿苋、狗尾草、茄五类杂草,按65%/15%/20%图像级分层划分为训练、验证和测试子集。主要技术包括:将YOLO11n-seg骨干四个下采样卷积替换为GhostConv;引入C3k2_DySnakeConv_Mona模块;用MLCA替换SPPF后的C2PSA;提出骨架约束融合中心的图像平面作业点定位算法;采用TensorRT FP16在NVIDIA Jetson AGX Orin上部署。训练采用三随机种子重复,测试子集仅用于最终评估。
**研究结果**:
**3.1 与其他实例分割模型的比较**:在固定训练、验证和测试划分下,GDMM-YOLO11与YOLO11n-seg、YOLOv5n-seg、YOLOv8n-seg、YOLO12n-seg、YOLO13n-seg、YOLO26n-seg、GELAN-C-DSEG、YOLACT、Mask R-CNN和PointRend比较。GELAN-C-DSEG获得最高的掩膜精确率、掩膜mAP@0.5和掩膜mAP@0.5:0.95,但需要27.391 M参数和145.2 GFLOPs;GDMM-YOLO11的掩膜mAP