《Image and Vision Computing》:YOLOv11-RESE: A lightweight network for precise sesame weed detection
编辑推荐:
摘要杂草竞争可大幅降低芝麻产量,因此准确区分芝麻植株与杂草对于实施针对性杂草管理至关重要。然而,现有检测器往往在检测性能与计算效率之间进行权衡,限制了其在资源受限的农业平台上的部署。我们提出了一种基于YOLOv11n的轻量级检测器YOLOv11-RESE。RepViT在保留层
摘要
杂草竞争可大幅降低芝麻产量,因此准确区分芝麻植株与杂草对于实施针对性杂草管理至关重要。然而,现有检测器往往在检测性能与计算效率之间进行权衡,限制了其在资源受限的农业平台上的部署。我们提出了一种基于YOLOv11n的轻量级检测器YOLOv11-RESE。RepViT在保留层次化特征表示的同时压缩主干网络;C2PSA-EDFFN将空间注意力与频域滤波相结合;C3K2-Star通过乘法特征融合增强上下文交互;EfficientHead利用特定尺度的分组卷积干支和解耦的分类与回归分支来降低预测头复杂度。在合并后的芝麻-杂草测试集上,YOLOv11-RESE的精确率为0.929,召回率为0.951,mAP@0.5为0.976,mAP@0.5:0.95为0.7929,分别比YOLOv11n高出0.059、0.049、0.036和0.0199。参数量、GFLOPs和模型大小分别减少了34.8%、15.9%和23.1%。为评估架构的可迁移性,YOLOv11-RESE在外部四分类葡萄叶数据集上独立重新训练,mAP@0.5:0.95从0.939提升至0.950。在Jetson Orin Nano Super上,FP16 TensorRT引擎实现了61.7 FPS的TensorRT推理速度和16.21 ms的TensorRT推理延迟,峰值系统内存为3.62 GB。五次匹配种子实验进一步证实了整体mAP@0.5:0.95的显著改善。因此,YOLOv11-RESE将改进的田间检测与更低的计算成本以及边缘硬件上的实时FP16 TensorRT推理相结合。
引言
芝麻(Sesamum indicum L.)是一种重要的油料作物,其产量和品质受杂草竞争的影响很大。芝麻幼苗生长缓慢,与杂草的竞争力弱,这使得早期的田间管理尤为重要 [1]。广泛使用除草剂仍然是常见做法,但不当使用会增加土壤和水中化学残留 [2]。针对性的杂草管理可以减少这些投入,同时保护作物生产力和周边生态系统 [3]。因此,深度学习检测器在作物监测、表型分析和杂草控制领域受到了广泛关注 [4]、[5]。在芝麻田间进行检测仍然困难,因为作物和杂草可能具有相似的形状、颜色和纹理。密集生长和相互遮挡进一步增加了误检和漏检 [6]。Wang等人 [7] 报告称,在结合DINO与MobileNetV3主干网络 [8] 并优化注意力后,mAP达到0.818。Chen等人 [9] 将自适应空间特征融合 [10] 和本地重要性池化 [11] 纳入YOLOv4,mAP达到0.9616。然而,高性能检测器的计算需求可能会限制其在嵌入式农业平台上的使用 [12]。
现有研究已改进了检测性能,但性能与计算成本之间的平衡仍未解决。基于DINO和YOLOv4的变体可能对无人机和嵌入式设备造成较大的内存和处理负担 [7]、[9]、[12]。芝麻田间还存在背景杂乱、目标尺度变化、部分遮挡以及视觉相似的作物和杂草结构 [6]。这些条件增加了漏检和类别混淆。轻量级架构和通道注意力机制,包括挤压与激励建模 [13],可以在受限计算条件下改善辨别能力。然而,仍然需要一种兼具强田间检测性能和实际部署效率的检测器。
为弥补这一空白,我们提出了一种基于YOLOv11的轻量级芝麻-杂草检测器YOLOv11-RESE。该架构将四个组件赋予互补的角色。首先,RepViT替换原始主干网络,在减少冗余计算的同时保留层次化空间表示。其次,EDFFN嵌入C2PSA中,将空间注意力与频域增强边界和纹理线索相结合。第三,C3K2-Star引入乘法特征交互,在无需大型稠密卷积核的情况下拓宽上下文建模。第四,EfficientHead使用特定尺度的分组卷积干支和解耦分支来降低预测头复杂度。我们评估了模型比较、组件消融、分类性能、特征可视化、失败案例、跨数据集可迁移性和边缘设备效率。
章节摘要
数据收集与数据集构建
我们使用了Kaggle上的公开CropWeed数据集 [14],该数据集包含1300张带标注的512 × 512彩色图像,涵盖芝麻植株和杂草。该数据集提供边界框标注,并已用于芝麻田间环境中检测器的评估。为增加环境多样性,我们还在中国内蒙古呼和浩特市和林格尔县的试验田中收集了图像(约北纬40.82°,东经111.81°)。图像采集时间为2024年5月,主要在上午09:00至11:00以及
基于YOLOv11的轻量级模型
YOLOv11作为基线模型,因为它结合了无锚框设计、C3K2模块、C2PSA注意力和解耦预测分支。在复杂的芝麻田间,基线模型可能会漏检小型或部分遮挡的植株,并且在移动端部署中保留了不必要的计算。因此,YOLOv11-RESE引入了四项协同改进。RepViT [15] 提供高效的层次化特征提取,而C2PSA-EDFFN结合空间与频域增强。C3K2-Star添加了
与基线检测器的比较
将YOLOv11-RESE与YOLOv3-tiny [31]、YOLOv5s [32]、YOLOv10n [33]、YOLOv11n [34]、YOLOv12n [35]和YOLOv13n [36]进行了比较。所有比较均使用640 × 640像素输入、相同的数据集划分和相同的评价协议。每个检测器均使用其相应实现中发布的预训练权重。数据集划分、输入尺寸、训练时长、批次大小和评估设置均已匹配,同时保留了架构特定的算子。具体的
结论
我们为复杂田间条件下的芝麻-杂草检测开发了YOLOv11-RESE。该架构将RepViT、C2PSA-EDFFN、C3K2-Star和EfficientHead相结合,将模型压缩与更强的空间-频率表示相耦合。在合并后的测试集上,YOLOv11-RESE的精确率为0.929,召回率为0.951,mAP@0.5为0.976,mAP@0.5:0.95为0.7929。与YOLOv11n相比,这些指标分别提高了0.059、0.049、0.036和0.0199,而参数量和GFLOPs
CRediT作者贡献声明
吕贺:撰写 – 审阅与编辑、研究方法、资金获取。徐军涛:撰写 – 原稿撰写、可视化。刘志刚:撰写 – 审阅与编辑、研究方法。裴承辉:撰写 – 审阅与编辑。宋晓文:撰写 – 审阅与编辑。戴立国:撰写 – 审阅与编辑、研究方法。王磊:撰写 – 审阅与编辑、资金获取。刘哲:撰写 – 审阅与编辑。马振豪:撰写 – 审阅与编辑。
致谢
本研究由国家发展和改革委员会重点项目(NMGCZY2022)和内蒙古自治区自然科学基金(2025QN06004)资助。
吕贺|徐军涛|刘志刚|裴承辉|宋晓文|戴立国|王磊|刘哲|马振豪
内蒙古工业大学机械工程学院,呼和浩特 010051,中国