《AgriEngineering》:CB-YOLOv7: A Modified YOLOv7 Approach for Accurate Weed Detection in Complex UAV Imagery from Cotton Fields
编辑推荐:
杂草检测是精准农业中的重要组成部分,因为其能够帮助农户更高效地管理杂草并减少不必要的除草剂使用。随着无人驾驶航空器(UAV)的应用,现已能够获取农田的高分辨率影像,但由于背景复杂、光照变化以及作物与杂草之间的视觉相似性,基于此类影像进行杂草识别仍然具有挑战性。
杂草检测是精准农业中的重要组成部分,因为其能够帮助农户更高效地管理杂草并减少不必要的除草剂使用。随着无人驾驶航空器(UAV)的应用,现已能够获取农田的高分辨率影像,但由于背景复杂、光照变化以及作物与杂草之间的视觉相似性,基于此类影像进行杂草识别仍然具有挑战性。本研究开发了一种改进的基于YOLOv7的方法,以解决上述问题;该方法使用采集自得克萨斯狭长地带(Texas Panhandle)旱作棉田的UAV影像。原始数据集由高分辨率UAV图像构成,研究人员将其划分为较小图像块,并进行人工标注,以标记杂草和棉花两类目标。经数据清洗并施加简单数据增强后,共有8396幅图像用于训练和测试。为提升检测性能,研究人员引入了两项改进:卷积块注意力模块(CBAM),用于帮助模型聚焦重要特征;双向特征金字塔网络(BiFPN),用于改进不同尺度间的信息共享。研究共评估了3种模型——YOLOv7-CBAM、YOLOv7-BiFPN以及组合模型CB-YOLOv7。结果表明,CBAM有助于检测到更多杂草实例,BiFPN可减少误检,而组合模型表现出最佳总体性能,其mAP@0.5达到0.89,F1-score达到0.84。总体而言,本研究表明,同时改进数据集和模型能够在真实田间条件下实现更可靠的杂草检测。所提出的方法可用于基于UAV影像识别棉田杂草,并可支持更优的作物管理以及在精准农业中更高效地使用除草剂。
本文发表于《AgriEngineering》,聚焦于复杂田间环境下基于无人驾驶航空器(UAV)影像的棉田杂草检测问题。研究背景在于,精准农业要求对杂草进行空间定位与定点治理,以降低除草剂过量施用、生产成本上升及环境负担。然而,真实农田中的杂草检测长期受制于多重因素:其一,UAV影像虽然具有高空间分辨率,但数据量大、人工判读效率低;其二,棉田场景存在背景杂乱、光照变化显著、杂草尺度小且分布密集、植株间相互遮挡等问题;其三,棉花与杂草在颜色、纹理和形态上具有较强视觉相似性,导致标准目标检测模型容易出现漏检与误检。既有研究已证明YOLO系列模型在农业目标检测中具有实时性和较好精度,但在复杂农业场景中,对小目标、重叠目标以及易混淆目标的识别能力仍有限。因此,开展针对YOLOv7结构的适应性改进,对于提升棉田杂草检测鲁棒性和实用性具有明确必要性。
围绕这一问题,研究人员构建并评估了一种改进型YOLOv7框架,即CB-YOLOv7。该研究并未引入全新检测范式,而是基于既有深度学习检测框架,通过整合卷积块注意力模块(CBAM)与双向特征金字塔网络(BiFPN),从特征表达和多尺度特征融合两个层面增强模型对杂草目标的识别能力。研究结论表明,单独引入CBAM能够提升杂草实例召回能力,单独引入BiFPN能够减少误检,而将两者联合后,模型在精确率、召回率与综合性能之间获得更优平衡,最终取得最高的F1-score和mAP指标。该研究的重要意义在于,为复杂UAV农业影像中的杂草自动检测提供了一条“数据集优化+模型结构改进”的协同路径,可为棉田杂草空间制图、精准施药和智能农情管理提供技术支撑。
研究人员主要采用了以下关键技术方法。首先,以美国得克萨斯州Bushland旱作棉田UAV-RGB影像为样本来源,对约300幅高分辨率原始图像进行切片,生成非重叠图像块,并以LabelImg完成杂草与棉花两类标注。其次,对数据集进行质量筛选,剔除噪声图像、冗余图像和空白图像,并通过水平翻转和亮度
+10%、
?10%调整进行数据增强,以改善类别不平衡和泛化能力。再次,以YOLOv7为基线模型,在骨干网络中嵌入CBAM,在颈部网络中以BiFPN替换PANet,分别构建YOLOv7-CBAM、YOLOv7-BiFPN和CB-YOLOv7,并在相同训练配置下用精确率、召回率、F1-score和mAP进行比较评估。
在研究结果部分,论文首先通过整体性能比较说明改进模型的有效性。研究显示,在经过数据精炼与结构改进后,模型对复杂田间杂草目标的检测能力得到提升。与基线YOLOv7相比,CB-YOLOv7取得了最均衡的综合表现,F1-score由0.82提升至0.84,mAP@0.5:0.95由0.50提升至0.55,说明联合注意力机制与双向多尺度融合有助于提高在复杂UAV农业场景中的检测稳定性。
在“2.1. Data”部分,研究人员说明了数据来源与构建流程。数据采集于美国Texas Panhandle地区Bushland的旱作棉田,该地区具有半干旱气候、降水有限且季节波动明显,土壤以Pullman clay loam为主。研究使用搭载RGB相机的Autel Robotics EVO II Dual 640T采集棉花生长季晴空条件下的低空UAV影像。原始高分辨率图像经切片后形成9249幅图像,再经过数据筛选保留7582幅,并在增强后形成8396幅最终样本,按70:20:10划分为训练集、验证集和测试集。该部分结果表明,研究数据不仅来源真实田间环境,而且在处理过程中兼顾了小目标可见性、训练样本数量与数据真实性。
在“2.2.1. Base Framework”部分,论文界定了基线检测框架YOLOv7的组成与作用。YOLOv7作为单阶段(one-stage)目标检测器,由骨干网络、颈部网络和检测头构成,其中骨干网络依赖扩展高效层聚合网络(E-ELAN)提升特征学习和梯度传播能力,颈部网络负责跨尺度特征聚合,检测头完成边界框、目标置信度和类别概率预测。该部分为后续结构改进提供了统一参照。
在“2.2.2. Convolutional Block Attention Module (CBAM)”部分,研究人员通过理论与结构说明了CBAM的作用机制。CBAM依次执行通道注意力和空间注意力,使模型在中间特征图上能够同时学习“关注什么”和“关注何处”。这一模块通过自适应强化有效通道和关键空间区域、抑制冗余背景,从而改善复杂场景下的特征判别能力。论文后续结果表明,加入CBAM后,模型对杂草目标的召回能力提高,说明其对复杂背景中的细粒度杂草特征具有更强捕获能力。
在“2.2.3. Bidirectional Feature Pyramid Network (BiFPN)”部分,论文介绍了BiFPN对多尺度信息融合的增强作用。与传统特征金字塔网络(FPN)及路径聚合网络(PANet)不同,BiFPN采用双向路径实现自顶向下与自底向上的反复融合,并通过可学习权重分配不同尺度输入的重要性。研究指出,该结构有利于在高层语义信息与低层空间细节之间建立更高效的信息交换,因此更适合处理UAV影像中大小变化显著的杂草目标。结果显示,YOLOv7-BiFPN在精确率方面表现较高,提示BiFPN对于降低误检具有积极作用。
在“2.2.4. Proposed CB-YOLOv7 Architecture”部分,研究人员提出了完整的CB-YOLOv7框架。该模型在YOLOv7骨干网络多个层级嵌入CBAM,以增强特征筛选;同时将原有PANet替换为BiFPN,以提升跨尺度信息传播效率;检测头保持YOLOv7原有多尺度预测方式。论文指出,该联合设计针对的正是棉田UAV影像中小型、重叠且与作物外观相似的杂草目标。实验结果进一步证明,这种“注意力增强+多尺度加权融合”的双重改进比单一改进更有效。
在“2.2.5. Models and Parameters”部分,研究人员说明了模型比较策略。研究共设置基线YOLOv7、YOLOv7-CBAM、YOLOv7-BiFPN和CB-YOLOv7四类模型,并在一致的优化器、学习率、动量、权重衰减、预训练权重、训练轮次、批大小和工作线程等条件下进行训练,保证了模型性能差异主要来源于结构变化而非超参数扰动。该设计增强了实验对比的可解释性。
在“3. Results”部分,研究人员系统给出了定量与定性结果。性能对比结果显示,基线YOLOv7具有最高精确率,说明误报相对较少,但召回率较低,仍存在漏检。YOLOv7-CBAM取得更高召回率,说明注意力机制提升了对杂草实例的发现能力,但其总体mAP@0.5略低于基线,提示单独使用CBAM尚不足以全面提升精确率—召回率平衡。YOLOv7-BiFPN具有较高精确率,反映其在减少假阳性方面效果较好,但较低召回率与杂草类别平均精度(AP)说明其对小型或易混淆杂草目标仍存在检出不足。相比之下,CB-YOLOv7在各项指标之间取得最佳平衡,mAP@0.5达到0.89,mAP@0.5:0.95达到0.55,F1-score达到0.84,且杂草类别AP优于其他改进模型,说明联合结构有效提升了杂草检测性能。
在计算复杂度与推理效率分析中,论文指出基线YOLOv7具有最快推理速度和最低计算代价,而改进模型因引入注意力与特征融合模块而增加了参数量和浮点运算量(FLOPs)。尽管如此,CB-YOLOv7在获得更高总体检测性能的同时,其计算复杂度低于YOLOv7-CBAM,显示出较为合理的精度—效率权衡。
在精确率—召回率(PR)曲线分析中,研究显示基线YOLOv7对棉花检测性能较强,但在杂草类别上,随着召回率提高,精确率下降明显。YOLOv7-CBAM的杂草检测曲线更平稳,表明其特征表达改进有助于提高检测稳定性。YOLOv7-BiFPN增强了多尺度融合,但在复杂或重叠杂草目标上曲线下降仍较快。CB-YOLOv7的PR曲线则更接近右上角,表明其在杂草与棉花两类目标上都获得了更优的精确率—召回率平衡。
在混淆矩阵分析中,研究进一步验证了模型分类表现。基线YOLOv7的杂草检测准确度为0.83,漏检约0.15;YOLOv7-CBAM的杂草检测准确度为0.82,漏检约0.17;YOLOv7-BiFPN准确度为0.79,漏检约0.21;CB-YOLOv7则将杂草检测准确度提升至0.88,并将漏检降至约0.12。该结果说明,联合应用CBAM与BiFPN有助于提高模型在当前实验条件下区分杂草实例的能力。
在可视化检测结果分析中,研究人员比较了真实标注与各模型预测输出。结果表明,基线YOLOv7虽具备基本检测能力,但在背景杂乱区域存在漏检和混淆;YOLOv7-CBAM改善了杂草识别,但仍残留部分误检与漏检;YOLOv7-BiFPN在不同尺度目标定位上有所提升,但对小而不明显的杂草识别依然不足;CB-YOLOv7则在代表性测试图像中表现出更高一致性,能够检出更多杂草实例,同时减少漏检与误检,且与人工标注结果更为一致。
讨论部分强调,本研究的贡献不仅在于对YOLOv7架构进行定向增强,也在于将数据集精炼与模型改进协同推进。研究认为,在真实农业环境中,数据质量对深度学习检测性能具有关键影响,因此删除噪声样本、空白样本并进行针对性增强,对提高模型泛化能力和少数类学习效果具有重要作用。研究同时指出,CBAM与BiFPN在功能上具有互补性:前者强化与杂草相关的关键特征响应,后者促进不同尺度特征间的信息传递,二者联合使模型在复杂背景、小目标和重叠目标场景中获得更稳定表现。论文也明确提出局限性,包括杂草样本仍少于棉花、未进行不同随机种子重复实验及统计显著性检验、仅使用RGB影像、验证场景局限于特定地点环境等。因此,研究人员认为当前性能提升应被理解为在既定实验设置下的改进,而非已被统计学严格确认的普适优势。
研究结论部分可译述为:本研究开发了CB-YOLOv7这一改进型YOLOv7框架,用于提升采自旱作棉田UAV影像中的杂草检测性能。该工作的主要贡献在于,在YOLOv7框架内引入基于CBAM的注意力机制、基于BiFPN的多尺度特征融合策略以及数据集精炼流程,以应对农业影像中的常见难题,包括杂草尺度小、作物—杂草视觉相似、植被重叠以及田间背景复杂等。结果表明,CB-YOLOv7较单独改进模型实现了更优的精确率与召回率平衡;CBAM增强了模型对杂草相关信息特征的关注,BiFPN改善了跨尺度特征利用能力,二者结合后提升了模型在复杂田间条件下稳定检测杂草的能力。研究同时表明,移除噪声与空白图像并进行针对性数据增强,对于保持真实田间条件下训练数据质量同样重要。总体而言,CB-YOLOv7在棉田UAV杂草检测中展现出良好应用潜力,但在确认更广泛鲁棒性和实际部署价值之前,仍需基于更多地点、季节、生育时期、种植密度及光照条件下的更大规模多样化数据集开展进一步验证。