《Smart Agricultural Technology》：Field-Based Deep Learning Classification of Cotton and Weeds for Machine-Vision-Assisted Intra-Row Weed Management
编辑推荐：
摘要
及时且精准的杂草管理对于减少棉花生产中作物与杂草的竞争、劳动力需求以及不必要的杂草防控投入至关重要。可靠地区分棉花植株与杂草是自动化行内杂草管理的前提条件。本研究评估了两种预训练的卷积神经网络（CNN）模型，即MobileNetV2与DenseNet16
摘要
及时且精准的杂草管理对于减少棉花生产中作物与杂草的竞争、劳动力需求以及不必要的杂草防控投入至关重要。可靠地区分棉花植株与杂草是自动化行内杂草管理的前提条件。本研究评估了两种预训练的卷积神经网络（CNN）模型，即MobileNetV2与DenseNet169，利用田间采集的RGB图像进行棉花与杂草的二分类。图像于2025年5月至9月在自然田间条件下采集自哈里亚纳邦一处农户管理的棉花田以及位于新德里的ICAR-印度农业研究所（ICAR-Indian Agricultural Research Institute）实验棉花田。数据集包含2,195幅杂草图像（涵盖六种主要杂草物种）和1,211幅棉花图像。图像被划分为棉花和杂草两个操作类别。对训练图像进行了增强以解决原始类别不平衡问题，而验证集和测试集图像保持未经增强的原始状态。采用迁移学习对两种模型进行微调，并使用准确率（Accuracy）、精确率（Precision）、召回率（Recall）、F1分数（F1-score）、混淆矩阵（Confusion Matrix）和推理时间（Inference Time）对性能进行评估。两种模型均取得了较高的分类性能。DenseNet169的测试准确率达到99.47%，而MobileNetV2为98.27%。结果表明，在所研究的田间条件下，预训练CNN能够实现对棉花与杂草植被的精确图像级判别。因此，DenseNet169有望作为机器视觉辅助行内杂草管理中的视觉感知组件。然而，本研究仅限于图像级分类，未展示植株定位、连续机器运行、执行器协调或田间尺度杂草清除能力。未来仍需在独立地点、不同杂草密度、光照条件、机器行进速度以及完整的感知-决策-执行流程下开展进一步验证。
基于预训练卷积神经网络的棉花与杂草田间图像分类研究解读
**研究背景与问题**
杂草是制约农业生产力的主要生物因素之一，其与作物竞争水分、养分、光照和生长空间。在棉花生产中，由于生育期较长且行内与行间间距较大，杂草在棉花生长的关键阶段极易建立种群。研究表明，杂草侵染可导致棉花产量损失约30%-58%，在无人管理的情况下损失可能更高。有效的杂草管理因此对维持棉花生产力至关重要。
然而，棉花杂草管理在劳动力和生产投入方面要求极高。棉花生长早期需要多次中耕和除草作业，而除草和中耕作业合计占棉花生产劳动力需求的很大比重。日益增长的劳动力成本和农业劳动力减少，强化了对机械化与自动化杂草管理方法的需求。传统杂草管理实践，包括均匀施用除草剂和人工或机械除草，无法充分应对作物行内杂草发生的空间变异性。相比之下，定点杂草管理（Site-specific Weed Management）要求能够区分作物与杂草，并仅在需要处进行选择性干预。
机器视觉已成为自动化作物-杂草判别的重要技术。早期方法依赖人工设计的图像特征并结合k近邻和支持向量机等传统分类器。尽管这些方法证明了自动化杂草识别的可行性，但其性能易受光照变化、植株生育阶段、背景特征以及作物与杂草视觉相似性的影响。户外农业环境尤为具有挑战性，因为自然光照、阴影、土壤背景、植株密度和叶片重叠在田间作业过程中均会发生显著变化。此外，杂草多样性也是棉花-杂草判别的重要挑战。一个实用的分类系统应能识别形态和视觉特征差异显著的杂草植被，而非针对单一杂草类型开发。因此，本研究考虑了研究地点遇到的六种主要杂草物种，以代表研究地点捕获的主要杂草变异性。
对于自动化行内杂草管理而言，一个重要的实际考虑因素未必是识别单个杂草物种，而是区分应受保护的作物植株与应作为靶标清除的植被的操作性判别。二分类框架将棉花与杂草区分开来，可为自动化除草系统提供一个相对简单的视觉决策层。此类框架可集成相机与控制系统，以判断视野中的植被是应受保护的棉花植株还是可由机械或选择性化学执行器靶向清除的杂草。在此背景下，分类模型的计算需求尤为重要，因为图像采集、分类和执行必须在农业机械田间行进所允许的时间内完成。
在已有的CNN架构中，MobileNetV2与DenseNet169具有对比鲜明的特性。MobileNetV2采用倒残差结构和线性瓶颈设计，计算效率高，适合计算资源和推理延迟受限的应用场景。DenseNet169通过在层间建立密集连接，促进特征复用和网络中的信息传播。两种架构的差异为评估棉花-杂草图像分类中分类性能与计算需求之间的权衡提供了契机。
尽管基于深度学习的杂草识别已在多种作物中被广泛研究，但专门针对自然条件下使用田间采集图像进行棉花-杂草判别的研究相对较少，尤其是考虑到后续自动化行内杂草管理应用的计算需求时更是如此。此外，仅分类准确率不足以完全确定模型对农业机械的适用性，因为预测延迟和计算要求会影响实时操作的可行性。因此，使用具有代表性的田间图像评估不同CNN架构，并对分类性能和预测性能同时进行评价，对于识别适合集成到自动化杂草管理系统中的模型具有重要意义。
**研究目的与假设**
本研究旨在开发和评估MobileNetV2与DenseNet169两种模型在田间条件下对棉花和六种主要杂草进行二分类的性能，重点关注分类准确率和计算效率，以服务于潜在的实时行内杂草管理应用。研究假设是，预训练CNN模型能够在田间条件下实现高分类准确率，且对两种架构的比较评估能够确定适合自动化杂草管理应用的分类性能与计算需求之间的适当平衡。
**主要技术方法**
研究人员在印度两个地理上不同的棉花种植环境采集了田间RGB图像：第一处为哈里亚纳邦Jharli村（28.446690° N, 76.286468° E）的农户管理棉花田，第二处为新德里ICAR-印度农业研究所（IARI，28.633714° N, 77.146995° E）的实验棉花田。图像采集时间为2025年5月至9月，涵盖棉花播种后约15-20天（早期叶片期）、35-40天（现蕾前期）和50-60天（开花前期）等与行内杂草管理需求相关的关键生育阶段。采集在白天自然光照条件下进行，相机与植株距离约35 cm，使用Canon EOS 760D DSLR相机和OnePlus 7T智能手机两种设备，以引入传感器和图像质量差异。数据集包含六种主要杂草物种（Cyperus rotundus、Trianthema portulacastrum、Commelina benghalensis、Digera muricata、Echinochloa crus-galli和Sesbania bispinosa）的2,195幅图像和1,211幅棉花图像。训练集采用六种增强操作（缩放、左右翻转、上下翻转、随机亮度调整、旋转和剪切变换）进行扩充以平衡类别，验证集和测试集仅使用原始非增强图像。两种预训练CNN模型MobileNetV2和DenseNet169以ImageNet权重初始化，替换原分类头为任务特定分类头（全局平均池化、批量归一化、256神经元全连接层、ReLU激活、0.5丢弃率、2神经元softmax输出层），解冻预训练层进行微调。使用Adam优化器（学习率0.0001）、稀疏分类交叉熵损失函数，批次大小32，训练50轮。评估指标包括准确率、精确率、召回率、F1分数、混淆矩阵、McNemar精确检验和CPU环境下逐图像平均推理时间。
**研究结果**
**Model Training and Validation Performance（模型训练与验证性能）**
经过50轮训练，两种模型均呈现分类准确率逐步提升并随后期稳定的趋势。MobileNetV2最终训练准确率为97.92%，DenseNet169为99.09%；对应验证准确率分别为98.67%和99.07%。训练与验证准确率之间的较小差异表明两种模型在验证数据集上表现一致。在损失方面，MobileNetV2训练损失为0.0622、验证损失为0.0453；DenseNet169取得了更低的训练损失0.0276和验证损失0.0216。训练与验证曲线的紧密对应且无明显分离，表明两种模型均未出现过拟合现象。
**Classification Performance on the Independent Test Dataset（独立测试数据集上的分类性能）**
在包含750幅原始非增强图像的独立测试集上，DenseNet169取得了99.47%的测试准确率（95% CI：98.64-99.79），MobileNetV2为98.27%（95% CI：97.06-98.98）。在精确率方面，DenseNet169为99.20%（95% CI：97.69-99.73），MobileNetV2为97.38%（95% CI：95.25-98.57）。召回率方面，DenseNet169达到99.73%（95% CI：98.51-99.95），MobileNetV2为99.20%（95% CI：97.67-99.73）。F1分数上，DenseNet169为99.47%（95% CI：98.89-99.87），MobileNetV2为98.28%（95% CI：97.28-99.14）。计算性能方面，DenseNet169的预测时间为50 ms/图像，MobileNetV2为229 ms/图像。
**Confusion Matrix Analysis（混淆矩阵分析）**
在混淆矩阵分析中，以杂草为正类、棉花为负类。MobileNetV2正确分类了372幅杂草图像和365幅棉花图像，3幅杂草被误分类为棉花，10幅棉花被误分类为杂草，共正确分类737/750幅图像。DenseNet169正确分类了374幅杂草图像和372幅棉花图像，仅1幅杂草被误分类为棉花，3幅棉花被误分类为杂草，共正确分类746/750幅图像。DenseNet169的总分类错误数为4（错误率0.53%），MobileNetV2为13（错误率1.73%）。McNemar精确检验显示两种分类器在相同750幅测试图像上的成对预测存在统计学显著差异（b=0，c=9；精确p=0.0039），DenseNet169比MobileNetV2多正确分类了9幅图像。
**讨论与结论**
本研究表明，两种预训练CNN架构均能在自然田间条件下基于RGB图像实现高准确率的棉花-杂草判别。DenseNet169的优良性能可部分归因于其密集连接架构，此类结构通过特征复用促进信息传播，有助于学习区分视觉上相似植被所需的细粒度视觉特征。研究中采用二元棉花-杂草分类框架而非物种级杂草分类，从自动化行内杂草管理的角度具有重要的实践意义：除草机无需识别每一株杂草的确切物种即可做出操作决策，分类器只需输出"棉花-保护"或"杂草-清除"的决策结果即可为自动化除草系统提供简化的视觉感知层。
错误类型分析显示，混淆矩阵中的错误性质对于自动化除草尤为重要：杂草被误分类为棉花可能导致杂草未被处理；而棉花被误分类为杂草则可能引发靠近作物的不合期望的除草动作。因此，当分类模型用作自动化作物保护或除草机制的决策输入时，对个别错误类型的评估比仅关注准确率更具意义。
尽管MobileNetV2在设计上是轻量高效的CNN架构，但在本研究所使用的硬件和软件配置下，DenseNet169显示了更低的实测推理时间。这凸显了在实际目标计算平台上评估推理延迟的重要性，而非仅从模型的标称架构推测其计算适用性。DenseNet169高分类准确率与低推理时间的结合，对其在行内除草平台上的应用具有重要意义：相机可连续获取植被图像，CNN将植被分类为棉花或杂草，分类输出传输至控制器以触发除草机制。
研究的局限性包括：所开发的模型执行的是图像级二元分类而非目标检测或像素级分割，无法在包含多株植物的复杂图像中独立确定单株植物的精确位置，因此需与适当的植株定位策略或目标检测/分割框架结合使用。尽管数据集包含两个地理上不同地点的图像，但来自两个地点的图像均出现在训练、验证和测试子集中，因此研究结果证实了模型在空间可变田间条件下的性能，但不构成对未见地点的地理泛化证据。此外，实验仅进行了单次训练运行，未使用多个受控随机种子进行重复评估。
总体而言，研究结果证明了预训练CNN作为机器视觉辅助行内杂草管理视觉感知组件的潜力。未来研究应在更广泛的光照条件、作物生长阶段、杂草密度、行进速度和自然田间条件下评估模型，并着重于将图像分类与实时植株定位、机器控制和机械或定向化学执行器进行集成，通过田间尺度综合评估作物安全性、杂草防除效果、端到端处理延迟、除草剂减量、劳动力需求、能耗以及集成化精准除草系统的实际性能。
