编辑推荐:
这篇综述聚焦深度学习(DL)在杂草检测中的应用。阐述了其在精准农业中,借助无人机(UAV)和机器人的检测技术,分析了 DL 模型优势、面临挑战,探讨未来方向,为精准杂草管理提供全面参考。
深度学习在杂草检测中的应用回顾:无人机和机器人助力精准农业的方法
摘要
深度学习(DL)改变了杂草检测的面貌,极大地提升了特定地点杂草管理(SSWM)水平。本文全面回顾了基于 DL 的杂草检测方法,涉及无人机(UAVs)、自主机器人以及高分辨率正射镶嵌影像。不同的 DL 模型,如卷积神经网络(CNNs)、迁移学习架构和自监督模型等,被用于提高农田中杂草检测和分类的准确性。此外,该综述探讨了 DL 模型在自动除草机器人、实时边缘计算系统和基于 UAV 的精准农业解决方案中的互操作性,为精准杂草控制提供了综合视角。通过对 90 篇研究论文的系统分析,识别出当前检测方法的趋势,包括轻量化 DL 网络、多模态数据融合以及 UAV 相关发展。然而,DL 模型在不同环境下的泛化能力、标记数据集的缺乏以及 DL 技术在大规模农业应用中的可扩展性有限等问题,仍是该领域面临的挑战。本文旨在通过批判性地回顾近期进展,突出知识空白,并提出未来研究方向,促进 DL 在精准农业和高效杂草管理中的融合。
引言
杂草是指在农业土壤中自然生长且不受欢迎的植物。它们的生长给大豆、棉花等经济作物带来诸多挑战,比如阻碍收获机械作业,增加谷物和作物中的杂质与水分含量。杂草通过竞争水、光、养分和空间等关键资源,严重影响作物生长,导致生产成本上升、收获困难、产品质量下降、病虫害易感性增加,以及耕地商业价值降低。研究表明,若不加以控制,杂草可造成高达 34% 的作物产量损失,每年带来巨大经济损失。在美国和加拿大,若不进行任何杂草控制,玉米和大豆平均每年分别损失 52% 和 49.5%,仅这两种经济作物每年就造成约 430 亿美元的经济损失。杂草还致使美国和加拿大冬小麦产量损失 23.5%。因此,有效的杂草管理对提高作物产量、应对农业生产中的杂草问题至关重要。
另一方面,杂草控制措施对环境的影响不容忽视。例如,除草剂的使用会造成环境污染,相当一部分化学药剂会通过漂移或沉积进入环境。机械除草虽有效,但会引发土壤侵蚀,还会损害土壤节肢动物和蚯蚓。杂草肆意生长带来的经济和农艺影响,凸显了合理杂草管理的必要性。对于综合控制,建议采用能精准识别抗药性杂草植株且对周围系统影响最小的方法。其中,在采取控制措施前对杂草进行实时检测和定位是一个有前景的发展方向,有助于提高杂草管理的精准度和可持续性。
杂草控制一直是农业的关键环节,其方法从早期的人工密集型逐渐发展为高度机械化、技术驱动的方式。手工拔草和锄头除草在小农场尚可,但不适用于大农场。20 世纪初出现的机械工具,如中耕机和旋转锄头,虽能除草,但广泛使用会导致土壤退化和作物受损。绿色革命开启了化学除草时代,草甘膦等合成除草剂使大规模除草成为可能,不过其带来了健康、环境问题,还导致了抗除草剂植物物种的出现。为降低成本和实现精准控制而培育的抗除草剂作物(HRCs),却引发了更严重的抗性问题。
在这样的背景下,21 世纪杂草检测朝着自动化和机器学习(ML)方向发展。传统 ML 算法,如支持向量机(SVMs)、随机森林(RF)和 k 近邻(k-NN),利用手工特征(如颜色、纹理、形状和植被指数)进行杂草分类。SVMs 在高维特征空间表现良好,但调参困难且扩展性不佳;RF 模型能处理噪声和不平衡数据集,但难以应对复杂的杂草 - 作物相互作用;k-NN 算法计算成本高、可解释性差,且对距离度量选择敏感。多年来,研究人员改进基于 ML 的分类器,试图用少量图像训练模型以区分作物和杂草,但这些模型在有阴影、遮挡和视觉相似杂草物种的真实环境中表现不佳。更关键的是,基于 ML 的分类器无法有效定位检测到的杂草,难以解决实时杂草管理问题。随后,边界框回归技术的应用提高了检测精度。基于 RGB、多光谱、高光谱信息以及 LiDAR 和热成像的传感器检测系统的发展,拓宽了杂草识别的范围,但由于成本高和计算需求大,尚未得到广泛应用。从 ML 到基于 DL 的方法的转变,显著提高了检测精度,为田间可部署的实时解决方案奠定了基础。
DL 算法,尤其是 CNNs 的发展,自 2015 年起彻底改变了农业领域的杂草检测方式,克服了传统 ML 的诸多问题。像 YOLO、Faster R-CNN 和 Mask R-CNN 等 DL 模型,能够从原始输入图像数据中自动学习特征,为实时精准杂草识别开辟了道路。自 2018 年以来开发的 YOLOv4、YOLOv5 和 YOLOv8 等先进目标检测模型,不断突破复杂农业环境下的精度和实时检测能力的界限。同时,MobileNet、EfficientNet 和 ShuffleNet 等轻量化 DL 模型的改进,有效推动了在资源受限的边缘设备上的部署,提高了田间适用性。多模态数据源(如 RGB、多光谱、高光谱和 LiDAR 传感器)的融合,增强了模型的鲁棒性和杂草 - 作物区分能力。这些创新与基于 UAV 的成像平台和迁移学习技术相结合,显著推动了可扩展、自适应且适用于田间的杂草检测系统的发展,标志着精准农业的变革性转变。
基于这些技术进步,UAVs 已成为现代农业中杂草检测和控制的变革性工具。配备 UAVs 的农业机器人为杂草检测和控制提供了更优解决方案。搭载一系列传感器的农业机器人在农田中导航,利用 DL 模型基于视觉数据检测和分类杂草物种。这些机器人能适应各种地形和天气条件,其成像设备可捕获作物和杂草的高清图像和数据。DL 算法对这些数据进行分析和学习,使机器人能够实时、高精度地将作物与杂草区分开来。定位到杂草后,机器人可自主完成精准机械除草或局部除草剂施用,有助于资源利用,减少除草剂使用,对环境更友好。
与此同时,配备高分辨率相机或专用传感器的 UAVs 革新了农业杂草检测方式。UAVs 能快速勘测大面积农田,生成详细的航拍图像,涵盖多光谱、高光谱和热数据,通过光谱特征或热轮廓暴露杂草和作物的差异。DL 算法分析这些海量数据,识别指示杂草存在和侵染程度的模式。UAVs 提供鸟瞰视角,可发现地面方法难以检测的隐藏杂草斑块的位置和分布。这些航拍数据随后被转化为特定位置的杂草地图,辅助精准干预。使用 UAVs 检测杂草不仅提高了准确性,还有助于早期发现杂草爆发,实现有效杂草管理,是精准农业进一步发展的重要组成部分,可帮助农民降低投入成本、提高产量。
现有文献虽广泛涵盖了 DL 在杂草检测中的应用,但在系统且以应用为导向地探讨轻量化模型、多模态数据融合和基于 UAV 的杂草检测方面仍存在不足。本综述通过对现代基于 DL 的方法进行全面、系统和批判性分析,强调实际部署和可扩展性,为该领域做出独特贡献。
本综述概述了 DL 在精准杂草管理中的现状,指出了从地面技术向空中技术的转变。文章结构如下:
- 第 2 节:描述材料和方法,详细介绍系统文献回顾过程。
- 第 3 节:展示文献调查的结果和讨论,聚焦精准杂草管理,分为数据采集技术、杂草分类和检测技术、无人除草机器人用于杂草检测与清除、使用无人机(UAV)进行杂草检测四个部分。
- 第 4 节:探讨 DL 在精准杂草管理应用中的挑战和局限性。
- 第 5 节:探索使用 DL 的创新杂草检测技术的未来方向。
- 第 6 节:总结文章主要发现,识别研究空白,突出贡献,得出结论。
本综述研究的主要目标包括:
- 概述集成 DL 的精准除草技术,涵盖地面和空中系统中的杂草检测和分类。
- 研究用于杂草检测的 DL 模型,重点关注 CNNs、迁移学习和其他 DL 架构等技术。
- 强调使用 UAVs 进行空中杂草检测,评估其在实时农业应用中的有效性和潜力。
- 分析各种传感技术,包括 RGB、多光谱和高光谱传感器,以及它们与 DL 的集成用于杂草识别。
- 讨论 DL 在精准杂草管理应用中的挑战和局限性,特别是与数据质量、模型泛化、可扩展性和实时处理相关的问题。
- 推荐未来研究方向,强调改进 DL 模型、数据增强技术以及物联网集成,以提升杂草管理解决方案。
材料和方法
本节概述了对基于 DL 的杂草检测和分类方法进行系统综述的研究方法。在 2015 年至 2024 年期间选取研究文章的搜索策略,涉及查阅主要科学数据库,如 IEEE Xplore、ScienceDirect、Web of Science 和 Google Scholar。采用关键词驱动的方法,结合布尔搜索运算符,查询语句如(“deep learning”)AND(“weed detection” OR “weed” )。
数据采集技术
标记数据集是训练基于 DL 的杂草检测和分类模型的重要组成部分。通过安装在不同平台上的不同传感器收集多种类型的数据,以实现多模态。本节讨论收集杂草数据的常见方法及其面临的挑战。
挑战和局限性
DL 在精准杂草管理中存在挑战和局限性。若能克服这些挑战,将有助于进一步提高相关系统的性能和应用范围。本节基于文献研究对这些问题进行探讨。
未来方向
在农场中检测杂草至关重要,借助 DL 可提高检测的准确性和效率。随着对改善杂草控制的需求不断增长,研究人员致力于开发适应现实农业系统复杂性的新型 DL 方法。本节讨论 DL 在杂草检测方面几个有前景的研究方向,包括多模态方法、利用迁移学习提升性能、适用于小型设备的轻量化模型,以及提高模型可解释性。
结论
本综述通过汇编 Science Direct、Web of Science 和 Google Scholar 等流行数据库中的多数研究文章,对当前用于杂草检测的 DL 方法进行了广泛调查。总体而言,2017 年后相关出版物显著增加,表明利用 DL 开发精准农业方法的研究兴趣日益浓厚。本综述按关键部分进行组织 。