《Discover Agriculture》:Advancements in deep learning methods for precise weed and rice classification from UAV imagery: a comprehensive review
杂草入侵对全球水稻生产构成重大威胁,导致产量损失以及过量除草剂使用造成的环境退化。无人机(Unmanned Aerial Vehicles, UAVs)结合先进的遥感与深度学习技术,为精准的杂草与水稻分类提供了变革性方法,支持特定地点的杂草管理(Site-Specific Weed Management, SSWM)。本综述不仅综合了利用无人机获取数据、多样植被指数及多传感器模态(RGB、多光谱、高光谱、热红外及LiDAR)的深度学习方法近期进展,还对模型架构的演变提供了批判性视角,揭示了实际农业应用中的关键趋势与挑战。研究人员讨论了持续存在的问题,包括数据稀缺性、模型在不同环境条件下的有限泛化能力,以及实时部署的计算需求。此外,研究人员基于对该领域发展的洞察提出了未来研究方向,强调通过生成对抗网络(Generative Adversarial Networks, GANs)进行合成数据生成、先进注意力机制,以及无人机与地面机器人平台的集成,以实现更自主、高效和可持续的农业实践。本综述 thus 为提升水稻种植中基于无人机的精准杂草管理提供了全面的综合女工和前瞻性视角。通过整合这些见解,研究人员提供了将基于无人机的杂草检测从实验研究转化为可扩展、田间就绪解决方案的路线图。
## 1. 引言
### 1.1 水稻生产的全球意义与杂草管理挑战
水稻作为全球粮食安全的基石,是世界人口主要的主食来源。尽管其地位关键,水稻生产面临严峻威胁,其中杂草入侵是主要限制因素。杂草导致的水稻产量损失估计在16%至86%之间,具体取决于水稻类型、品种、杂草种类与密度、种植季节、管理措施、施肥量及当地环境条件等多重因素。即便按保守的16%产量损失估算,也会严重影响农民盈利能力和整体粮食安全。这种巨大的产量损失变异性凸显了杂草对水稻生产力的普遍而严重的影响。
现有杂草控制方法主要依赖全田均匀喷施除草剂。这种不加区分的方式虽有一定效果,却导致过量化学药剂使用,带来深远负面影响:生物层面造成土壤和水体污染、影响生物多样性、促使杂草种群产生抗药性;经济层面增加了农民投入成本,削弱盈利能力。此外,杂草存在常引发过度喷施,加剧上述问题。向更可持续高效杂草管理转型的根本挑战在于准确绘制杂草分布图的固有困难,这主要源于水稻作物与多种杂草物种之间显著的视觉和光谱相似性,尤其在其早期生长阶段,使得精确区分成为一项艰巨任务。
### 1.2 精准农业的演进与无人机的角色
精准农业代表了当代农业实践的模式转变,强调整合数据驱动方法以提升资源效率并减少环境影响。在此演进格局中,遥感技术成为关键使能技术,而无人机则展现出变革性力量。传统地面杂草检测调查方法本质上劳动密集、耗时低效,尤其在大面积农业区域中更为突出,且易受人为误差影响,限制了其可扩展性和准确性。卫星遥感虽覆盖范围广,却存在空间与时间分辨率低、时效性差、易受云层遮挡等关键局限,严重阻碍数据获取与分析。
这些固有缺陷直接推动了无人机技术在精准农业中的快速发展和应用。无人机通过以下优势克服上述局限:能在短时间内覆盖大面积区域、具备搭载多样光学传感器的载荷能力、灵活性高、硬件成本相对低廉、操作简便。无人机不受云层遮挡影响,提供更高的时间分辨率灵活性,实现作物生长信息的快速无损提取。多传感器载荷(RGB、多光谱、高光谱、热红外及LiDAR)的整合提供卓越的光谱、空间和时间分辨率,标志着农业监测的范式转变。结合深度学习模型,无人机实现了自动化、准确且可扩展的杂草识别,为复杂田间条件下的实时特定地点管理铺平道路。
### 1.3 本综述的范围与贡献
本综述对2018至2025年间发表的基于无人机的遥感与深度学习方法进展进行了全面综合,重点关注针对精准杂草与水稻分类的方法,提供技术进步与应用趋势的整合视角。研究批判性审视了无人机平台演进及多样化传感器技术的部署,深入探讨光谱分化的细微差别及专门化植被指数的开发。重点探索了各种植被指数及无人机数据适应性以增强杂草制图分类精度。此外,综述对主流深度学习模型进行了全面比较分析,概述其典型流程并评估在水稻田应用中的精度,最终识别领域现存挑战并提出具体未来研究方向,旨在指导开发更稳健、可泛化且实用的全球可持续水稻生产解决方案。
### 1.4 无人机类型与农业监测的运营优势
无人机因其运营灵活性、快速部署和成本效益而成为现代精准农业的关键工具。其在异质农业景观中仅需最少人工干预即可运行的能力,促进了高通量田间表型鉴定和大空间范围的监测。与有人系统相比,维护简便且运营成本较低,使无人机特别适合常规农业评估。
农业应用中的无人机平台通常分为共轴、单旋翼和多旋翼构型。这些无人机支持广泛的农业任务,包括作物健康监测、生长分析、病害检测和产量估算。未来发展预计将聚焦于提升能源效率、自主飞行稳定性和传感器集成能力。
### 1.5 传感器模态:RGB、多光谱、高光谱、热红外与LiDAR
无人机搭载多种传感器,各自为精准农业做出独特贡献。RGB相机提供价格适宜的高分辨率成像,用于植被制图和冠层分析。多光谱传感器扩展至近红外范围,使归一化植被指数(Normalized Difference Vegetation Index, NDVI)等植被指数成为可能,对绘制作物活力和早期杂草检测具有价值。高光谱传感器捕获数百个连续波段,促进具有相似光谱特征的植物物种(如水稻与杂草)的精细判别。热传感器测量冠层温度,对监测作物水分胁迫和灌溉效率有效。LiDAR系统生成密集三维点云,支持生物量估算、冠层高度建模和地形重建。然而,热和LiDAR等先进传感器的集成增加了载荷和功耗需求,可能减少无人机飞行时间并带来部署挑战。这些互补传感器模态的集成实现多模态数据融合,显著提高分类精度和鲁棒性,尤其在作物与杂草光谱混淆度高的环境中。
#### 1.5.1 资源受限农业系统中的低成本无人机平台
除配备高光谱或LiDAR传感器的高端无人机外,近期研究强调低成本无人机作为小农户和当地合作社可及替代方案的作用。此类无人机常配备RGB或低成本多光谱传感器,以可负担、可重复的方式开展田间调查,为作物监测、产量估算和杂草制图提供足够精度。其与OpenDroneMap和Pix4Dmapper等开源摄影测量软件的集成进一步支持低成本摄影测量工作流,使其适合可持续和可扩展部署。
#### 1.5.2 数据采集与预处理考量
无人机农业成像通常在低空进行,提供对检测早期杂草等小尺度植被特征至关重要的超高空间分辨率。环境变异性(如波动阳光和云影造成的光照变化)可能对图像质量和模型性能产生负面影响。因此,预处理对模型精度和泛化至关重要。标准程序包括几何校正、辐射归一化、图像尺寸调整以适配神经网络输入维度,以及数据集分割为训练、验证和测试子集。旋转、翻转和缩放等数据增强策略有助于扩充训练数据量、减少过拟合并提升跨成像条件的鲁棒性。此外,正射校正、镶嵌、光谱波段归一化和对比度增强等预处理步骤对缓解光照变异性必不可少,确保数据集标准化并与神经网络输入要求兼容,改善模型泛化并减少训练偏差。
无人机图像采集高度直接影响地面采样距离(Ground Sampling Distance, GSD)和图像清晰度。较低飞行高度(如30-50米)产生更精细分辨率,适合早期杂草检测和小地块研究;较高高度(100-150米)支持更广空间覆盖,但存在光谱混合和特征可分离性降低的风险。因此,最优高度选择需权衡分辨率、覆盖范围和加工效率。
## 2. 光谱特征与植被指数用于杂草-水稻制图
准确的杂草-水稻判别 heavily 依赖遥感捕获的光谱反射特征。植被指数(Vegetation Indices, VIs)在监测作物生长和健康中发挥关键作用。值得注意的是,植被指数性能在不同种植系统中差异显著。NDVI和GNDVI等指数已广泛应用于玉米和大豆田的杂草检测,但在水稻田中由于密 canopy 和早期阶段与杂草的光谱重叠,其有效性常降低。反之,专为水田环境设计的指数如WDVI
NIR在区分杂草与水稻方面表现出比旱作作物更高的可靠性。
### 2.1 基于光谱特征区分水稻与杂草物种
区分水稻与视觉相似的杂草物种,尤其在早期生长阶段,是农业遥感中的重大挑战。高光谱影像通过揭示生理和生化差异形成独特光谱特征而提供解决方案。特定光谱波段被识别为有效分化的关键。尽管取得这些进展,早期阶段分类仍因幼苗高度光谱相似性而具挑战性。近期研究探索了深度学习方法:结合多种光谱预处理技术和传统机器学习达到93.94%的最大分类精度;基于深度学习的高光谱特征提取框架实现98.18%的精度区分稗草和水稻幼苗。
### 2.2 植被指数及其在杂草判别中的应用
植被指数是为增强特定植被特征同时最小化土壤或非植被元素背景干扰而设计的光谱组合辐射值。WDVI
NIR(杂草判别近红外植被指数)利用绿光、红边和近红外波段反射率,达到93.47%的最大精度和0.859的Kappa系数。然而,该指数主要通过统计建模构建,缺乏农艺机制或环境变异的整合,限制了跨生态条件和品种的泛化性。
传统植被指数如NDVI、LCI、NDRE和OSAVI虽广泛用于作物监测,但在水稻田杂草判别中精度常较低。RGB指数(如ExG、ExR、VARI)对植被绿度敏感但易受光照变异影响;多光谱指数(如CI
red edge、CI
green、NDVI、GNDVI)涉及包括近红外和红边在内的离散波段,对植物生化特性敏感性改善。SAVI和GSAVI与非监督聚类结合实现早期杂草检测超过94%的精度。许多光谱指数在中晚稻生长阶段面临饱和问题,密集冠层阻碍反射信号,降低与生物量的相关性,限制其对连续叶面积指数(Leaf Area Index, LAI)估算和时间杂草监测的效用。
## 3. 杂草与水稻感知的深度学习模型
深度学习已成为基于无人机的杂草和水稻分类的支柱,在处理高维异构数据集方面相较传统机器学习具有显著优势。
### 3.1 典型模型开发流程:从数据采集到部署
深度学习模型开发通常遵循结构化多阶段流程。过程始于图像采集,无人机在各关键生长阶段系统捕获水稻田高分辨率RGB图像。从卷积神经网络(Convolutional Neural Networks, CNNs)到基于Transformer模型的演进反映了更广泛的深度学习轨迹,但其适用性存在重要差异:CNNs在高分辨率无人机影像的空间特征提取方面表现强劲,但常难以处理水稻与杂草的光谱相似性,尤其早期生长阶段。Transformer架构凭借自注意力机制改善上下文理解和长距离依赖,但需要更大标注数据集和更高计算资源,限制了田间可扩展性。多模态无人机数据引入额外挑战:CNNs有效处理多光谱和RGB输入,而高光谱和LiDAR数据常需结合光谱和空间注意力机制的混合架构。
### 3.2 主流深度学习架构与模型比较分析
CNNs在农业图像分析中发挥关键作用,提供层次化特征提取能力,消除手动特征工程需求。GoogLeNet因其深层结构和Inception模块实现多尺度特征提取而被广泛采用。ResNet和VGG架构因鲁棒的特征学习能力和易迁移性在多样作物-杂草场景中显示出高精度。分割架构如U-Net及其轻量级变体(包括MobileNetV2-U-Net和FFB-BiSeNetV2)将杂草识别视为像素级分类任务,特别适合无人机RGB影像,即使在实时操作约束下也能高精度勾画作物和杂草区域。近期进展包括检测 Transformer(Detection Transformers, DETR)及其农业适配版本如RMS-DETR,整合基于Transformer的全局上下文建模与CNN驱动的局部特征提取,在识别小型、稀疏或部分遮挡杂草场景方面表现卓越。YOLO系列目标检测模型(包括YOLOv7-FWeed和YOLO-sesame)因其实时处理能力和高检测精度而获得关注,在无人机快速田间监测中部署时尤为有效。CNN与传统机器学习分类器(如VGG-SVM)的混合方法也被探索用于增强分类稳定性和计算效率。标准评估指标包括准确率(Accuracy)、精确率(Precision)、召回率(Recall)、F1-分数(F1-Score)、平均精度均值(mean Average Precision, mAP)、交并比(Intersection over Union, IoU)和Dice分数。
## 4. 挑战与未来研究方向
### 4.1 深度学习、机器学习与植被指数的现有精度
2018至2025年精度趋势回顾揭示深度学习的主导地位日益增强,2020年后精度显著提升。植被指数呈现稳定的中等改善,机器学习因DenseNet+SVM等混合模型集成而精度急剧增加。植被指数常优于传统机器学习方法,WDVI
NIR、SAVI/GSAVI和CI
red edge等指数在特定田间条件下达到或超过90%的较高精度。深度学习模型尤其CNN_LVQ、DenseNet+SVM和定制CNN架构持续达到最高精度(超过98%)。
### 4.2 数据可用性、标注与泛化性问题
深度学习模型的"数据饥饿"特性是根本挑战。训练高准确性和可靠性模型需要大量高质量、精细标注的数据,而实际农业环境中数据获取和标注 inherently 耗时、劳动密集且成本高昂。许多公开数据集可能无法完全捕获实际田间条件的巨大多样性和变异性,目前不存在统一的水稻-杂草分化数据集。数据稀缺性和代表性不足直接影响模型泛化性:在特定环境开发的模型应用于不同田间数据集或变化环境条件时,识别精度常显著下降。动态环境因素如光照变化、云影和密集冠层遮挡也是准确植被分析的主要障碍。
未来研究必须优先获取更多样化、具代表性的数据集,并开发鲁棒的数据收集策略。通过生成对抗网络进行合成数据生成是扩充真实数据集的有效途径,尤其某些杂草类型或生长阶段代表性不足时。域自适应技术为改善多样田间条件下的模型性能提供重要潜力。
### 4.3 环境因素与实时处理约束
农业环境的动态和不可预测性对无人机杂草分类构成持续挑战。不可预测的天气条件直接影响图像采集质量和分类算法性能。真实农场环境的复杂性,如小型、遮挡和密集分布的杂草实例,使判别过程复杂化。近期模型集成复杂架构和多尺度特征提取技术虽提高分类精度,却常增加计算负载、降低推理速度,对无人机引导精准喷施等实时应用至关重要。因此,轻量级、计算高效的快速田间性能模型需求日益增长。
#### 4.3.1 计算基础设施与数据管理约束
无人机图像采集生成的大容量数据需要鲁棒计算资源进行预处理、模型训练和推理。高分辨率正射影像尤其来自多光谱和高光谱传感器,需要高性能计算(High-Performance Computing, HPC)或GPU赋能服务器。云基解决方案提供运营可扩展性的可行替代,但成本可能限制小农户的可及性。建立涵盖压缩、瓦片化和Metadata索引的数据管理流程对优化处理时间和维持可重复性 essential。
### 4.4 与机器人系统及变量施用的集成
无人机杂草检测的最终目标不限于制图,更扩展至特定地点杂草管理(Site-Specific Weed Management, SSWM)中的可操作成果。精准喷施系统依赖准确杂草图指导除草剂施用,从而减少化学品使用和环境影响。实现与机器人系统的无缝集成仍需克服挑战:需要无人机与地面喷施设备间的同步操作,以及实时通信协议、鲁棒地理参考和决策控制系统。从检测到行动的转化涉及图像分析、机器人和网络通信基础设施的多学科挑战。
### 4.5 新兴技术与方法
多项新兴技术展现出应对上述挑战的潜力:合成数据生成(GANs生成真实植物影像以扩充现有数据集)、先进深度学习技术(注意力机制使模型优先处理影像中的显著特征)、无监督和半监督学习(利用大量未标注影像减少对标注定数据的依赖)、多模态数据采集与融合(整合RGB、多光谱、高光谱、热红外和LiDAR数据提供更丰富的田间环境表征)、边缘部署与实时优化(为边缘设备优化的轻量级模型支持现场决策并减少延迟)。
生成对抗网络、扩散模型和变分自编码器(Variational Autoencoders, VAEs)等合成数据生成方法为克服标注瓶颈和提升模型鲁棒性提供有前景的方案。扩散模型和VAEs正成为主流方法,能够产生更稳定多样的合成无人机数据集。先进注意力机制包括Swin Transformer和谱-空注意力模块,对处理多光谱和高光谱无人机数据的高维度特别 promising。联邦学习(Federated Learning)和迁移学习可进一步支持跨区域泛化,同时缓解农业研究中的数据稀缺性和隐私限制挑战。无人机平台与地面机器人(如自主喷施机)及边缘计算框架的集成,为实时自主杂草管理系统提供路径。
### 4.6 社会经济障碍与农民对无人机采用的抵制
尽管已证明农学效益,无人机精准农业技术在许多地区的采用仍有限。关键原因包括设备高初始成本、技术培训缺乏、投资回报不确定性。文化因素和风险规避也导致抵制,尤其习惯于传统实践的传统农民。此外,无人机操作、数据解读和法规遵从的感知复杂性也起到阻碍作用。克服这些障碍需要有针对性的推广项目、经济激励和示范项目,强调无人机辅助杂草管理的实际和经济效益。
## 5. 结论
水稻种植中的杂草侵染仍是作物产量和可持续性的主要威胁,传统除草剂使用的环境和经济成本尤为突出。配备先进传感器和深度学习的无人机为精准杂草-水稻分类和特定地点杂草管理提供了强有力解决方案。无人机系统凭借卓越的空间-时间分辨率和传感器多功能性超越传统和卫星方法,实现光谱相似植被的准确判别。RMS-DETR和U-Net变体等深度学习模型达到高分类精度,尤其与数据融合技术结合时。然而实际实施面临关键挑战:深度学习需要大量标注数据集、环境变异影响图像质量、模型泛化性有限、实时部署的计算需求。未来研究应优先发展合成数据生成(如GANs)、注意力机制和轻量模型、无监督学习、多模态数据融合(尤其热红外和LiDAR)以及边缘计算。扩展数据集多样性和优化实时性能对部署水稻农业中鲁棒、可扩展和可持续的杂草管理系统 essential。除技术改进外,无人机深度学习还提供切实的经济和环境效益:田间试验证明特定地点喷施可减少高达40%的除草剂使用和25%的运营成本。及时检测杂草胁迫支持改善资源配置,有助于更高产量和可持续性。本综述强调了从实验研究到可扩展、田间就绪解决方案转化的关键路径,倡导向数据高效学习范式转变,通过多模态和时间数据融合提升模型性能,轻量级AI架构和无缝机器人集成实现自主田间作业,标准化基准数据集对推动持续评估和领域快速进步不可或缺。