利用无人机多光谱图像，基于深度学习技术检测稻田中阔叶杂草侵染的时间变化情况

《Frontiers in Plant Science》：Deep learning-based temporal change detection of broadleaved weed infestation in rice fields using UAV multispectral imagery

精准农业中杂草监测与 herbicide reduction 的时空动态研究，采用多光谱无人机影像与 DFNN 模型，通过 34、41、47 DAS 的分类比较，发现 T1 未处理区杂草覆盖率在 7 天内增 16.52%，14 天达 23.71%，paddy 减 23.03%，herbicide reduction 潜力从 40.95% 降至 37.06%，R2=0.9487。

　　在水稻种植过程中，及时且准确地监测杂草侵害对于优化除草剂的使用至关重要，尤其是在特定区域杂草管理（Site-Specific Weed Management, SSWM）策略中。传统的全面喷洒方法仍然被广泛采用，这导致了除草剂的过度使用，增加了成本，并可能引发环境问题和杂草抗药性的产生。为了解决这一问题，本研究提出了一种基于深度学习的变更检测方法，用于评估水稻田中阔叶杂草侵害的时间动态变化。通过使用无人飞行器（UAV）采集多光谱图像，并开发了一个深度前馈神经网络（DFNN），以对水稻、土壤和阔叶杂草进行分类。此外，采用后分类变更检测方法来评估不同时间点的杂草侵害率。研究发现，在未处理的地块中，杂草覆盖面积呈现出持续上升的趋势，从34天后播种（DAS）的40.95%增加到48天后的47.43%，而处理地块的杂草侵害率则保持在较低水平。变更检测图还帮助估算了通过精准施药可能实现的除草剂节省潜力，显示出在34 DAS时的潜在节省高达40.95%，但随着时间推移，这一节省潜力下降至48 DAS时的37.06%，并且R2值为0.9487，表明杂草覆盖与除草剂节省潜力之间存在强烈的负相关关系。这些发现展示了将基于UAV的多光谱成像与深度学习相结合在时间杂草监测和精准农业中的潜力。

水稻是全球数十亿人口的主要主食作物，其高产性常受到杂草侵害的威胁。杂草会与水稻争夺关键资源，如养分、水分、光照和空间，从而显著降低产量。尤其是在主要和非主要季节，阔叶杂草的快速生长和适应能力使其成为威胁水稻产量的主要因素之一。研究表明，如果不加以控制，杂草可能导致水稻产量损失高达80%。例如，在孟加拉国，冬季的产量损失范围为20%-50%，而在雨季则为15%-68%。在加利福尼亚州，杂草压力甚至导致产量损失高达69%，并影响谷物质量和生物量。因此，采用精准农业技术进行杂草管理变得尤为重要。

近年来，无人飞行器在精准农业中受到越来越多的关注，因为它们能够快速、低成本地获取高分辨率的图像数据。UAV可以用于杂草图谱，使研究人员能够检测和定位杂草区域。当结合深度学习（Deep Learning, DL）技术时，UAV图像可以被自动分析，从而实现高效且准确的杂草检测。例如，一些DL模型如分割网络（SegNet）、金字塔场景解析网络（PSPNet）、U-Net和全卷积网络（FCN）在水稻田的杂草分类任务中表现出高性能，分类准确率超过90%。然而，大多数研究集中在单一时间点的杂草图谱上，而对杂草侵害的时间动态分析则相对较少。本研究通过开发一个基于差分的后分类变更检测框架，利用多光谱UAV图像与DFNN结合，实现了对阔叶杂草侵害的动态分析。

本研究的实验地点位于马来西亚的Tunjang地区，面积为0.504公顷。实验设计包括两个处理组：有处理组（T0）和无处理组（T1），每个处理组有四个重复，总共有八个地块。在有处理组（T0）中，农民使用了除草剂2,4-D amine和肥料，而在无处理组（T1）中，仅使用肥料而不使用除草剂。实验采用的UAV搭载了Micasense RedEdge-MX多光谱相机，并在飞行前和飞行后对UAV图像进行了辐射校正，以确保图像数据在不同飞行时间点的辐射一致性。为了确保数据处理的效率，所有图像被子集为八个地块，每个地块的图像大小约为2262 x 2091像素。同时，训练数据经过归一化处理，以标准化输入特征。

在本研究中，DFNN模型的构建采用了Keras库，其结构包括一个输入层、两个隐藏层和一个输出层。每个隐藏层的神经元数量根据问题的复杂性和维度进行调整。输入层使用了多光谱图像的五个波段（红、绿、蓝、红边、近红外），而输出层则用于将每个像素分类为水稻、杂草或土壤。通过经验测试和交叉验证，确定了隐藏层的配置，即20个神经元和15个神经元，以平衡模型的复杂性和泛化能力。在训练过程中，采用了Dropout正则化和L2正则化技术，以防止模型过拟合，提升其在未见数据上的性能。Dropout在每个隐藏层后以0.2的比例应用，以减少神经元之间的依赖关系。L2正则化则应用于隐藏层的权重，以在模型复杂性和泛化之间取得平衡。

为了确保模型的稳定性和有效性，研究采用了随机划分训练样本的方法，将数据集分为训练集、验证集和测试集，比例为60%、20%和20%。模型的性能评估采用了多种指标，包括总体准确率、Kappa系数、分类交叉熵损失函数（CCE）、均方误差（MSE）、混淆矩阵、精确率、召回率和F1分数。这些指标能够提供更细致的评估，而不仅仅是总体准确率。此外，模型的训练过程采用了Adam优化器，其结合了AdaGrad和RMSProp的优点，能够在稀疏梯度的情况下加速收敛。Adam优化器的配置参数包括学习率0.005和默认的beta参数（β?=0.9，β?=0.999）。

研究的实验数据采集受到新冠疫情期间马来西亚实施的行动控制令（MCO）的影响，数据采集时间点被限制在30 June 2020（34 DAS）、7 July 2020（41 DAS）和13 July 2020（47 DAS）。这些时间点对应于水稻的生长阶段和杂草竞争的关键阶段，因此仍然提供了有价值的杂草侵害动态信息。通过将UAV图像进行拼接，并将其数字化数转换为反射率值，确保了不同日期图像数据的可比性。几何配准则确保了所有正射影像在相同的坐标参考系统和网格下对齐，使得同一地面点在所有时间点上都对应于同一像素位置。

模型的训练和验证过程中，采用了多种超参数进行实验，包括隐藏层的神经元数量（{10, 20, 50}）、学习率（{1e-6, 1e-4, 1e-3, 5e-3, 1e-2}）、批量大小（{16, 32, 64}）、L2正则化参数（{1e-5, 1e-4, 1e-3}）和Dropout率（{0.1, 0.2, 0.4}）。模型训练至200个epoch，同时采用早停机制（patience = 10）来监控验证损失并恢复最佳权重。最终选择的超参数包括神经元数量、学习率、epoch数量和批量大小，这些参数通过实验确定，并总结在表3中。

在进行变更检测分析时，研究采用了基于像素的比较方法，以识别不同时间点的类别变化。通过计算像素值的变化，可以识别出杂草和水稻之间的转变，以及杂草与土壤之间的变化。研究还采用了常见的变更检测方法，如在遥感中使用的变更矩阵（Change Matrix），以提供杂草扩展、水稻损失和土壤暴露的定量测量。通过将变更矩阵中的变化像素数量除以总有效像素数量，可以计算出每个类别的变化百分比。这些变化百分比作为关键指标，用于评估杂草侵害的动态变化，以及水稻和土壤的相应变化。

在计算除草剂使用量时，研究首先通过杂草分类图谱计算了杂草密度，然后将其用于估算除草剂需求量。通过收集农民在杂草控制方面的实际使用数据，并结合计算出的杂草密度，研究估算了除草剂的使用量。研究还展示了通过变更检测图谱，农民可以实现除草剂使用的潜在节省。例如，在34 DAS时，农民预计可节省40.95%的除草剂使用量，但随着杂草覆盖面积的增加，这一节省潜力下降至41 DAS时的39.36%和47 DAS时的37.06%。这些结果表明，及时的杂草监测和干预对于减少除草剂使用和保持作物产量至关重要。

此外，研究还分析了不同处理组的杂草侵害动态。在有处理组（T0）中，杂草覆盖面积增长幅度较小，而在无处理组（T1）中，杂草覆盖面积增长显著。这表明，杂草的生长与处理措施密切相关，而无处理组的杂草侵害则可能导致更高的除草剂需求。通过计算不同时间点的杂草覆盖面积变化，研究能够评估不同处理组的杂草侵害趋势，并据此估算除草剂的使用量。

研究还发现，水位变化对杂草生长具有显著影响。在无处理组（T1）中，水位较高的地块表现出更高的杂草侵害率，这可能与水生杂草（如Monochoria vaginalis）的生长习性有关。因此，研究建议在水稻种植过程中加强水位管理，以减少杂草的生长。此外，研究还指出，虽然DFNN模型在本研究中表现出良好的分类性能，但其在处理其他杂草类型（如禾本科杂草和莎草科杂草）时可能需要进一步验证。未来的研究可以探索如何将DFNN模型与其他DL架构（如卷积神经网络和变换器）结合，以提高模型的泛化能力和适应性。

本研究的结论表明，结合UAV多光谱成像与深度学习模型能够有效监测水稻田中的杂草侵害动态。通过变更检测分析，研究揭示了杂草覆盖面积与除草剂节省潜力之间的强负相关关系。这为精准农业中的杂草管理提供了重要的参考，强调了及时干预的重要性。研究还指出了未来改进的方向，包括提高UAV数据采集的时间分辨率、引入更多生态数据以提高模型的解释性和可靠性，以及探索更高效的训练方法，如迁移学习和预训练CNN架构的微调。这些方法可以进一步提升模型的性能，使其更适用于实际农业生产中的精准管理需求。