HDMS-YOLO：一种适用于复杂农田环境的多尺度杂草检测模型

《Frontiers in Plant Science》：HDMS-YOLO: a multi-scale weed detection model for complex farmland environments

杂草检测模型HDMS-YOLO通过引入SRFD/DRFD多尺度特征模块和PC-MSFA部分卷积聚合模块，结合IntegraDet动态任务对齐检测头，显著提升复杂农田环境下的多尺度杂草识别精度，mAP@50达71.2%，优于YOLO11基线模型。

　　随着农业技术的不断进步，自动化除草在精准农业中变得越来越重要。然而，准确识别杂草仍然是一个挑战，因为杂草种类繁多，且在大小、形状、颜色和纹理上与农作物高度相似。为了应对这一挑战，本研究提出了一种名为HDMS-YOLO的模型，该模型基于公开可用的CropAndWeed数据集进行训练和评估，旨在提升杂草识别的鲁棒性和准确性。HDMS-YOLO引入了两个新颖的特征提取模块——浅层与深层感受野蒸馏（SRFD和DRFD模块）——以有效捕捉不同层次的杂草特征。此外，传统C3K2结构被替换为基于部分卷积的多尺度特征聚合（PC-MSFA）模块，以增强特征表示能力。同时，还设计了一个新的IntegraDet动态任务对齐检测头，以进一步提高定位和分类的准确性。

实验结果表明，HDMS-YOLO在CropAndWeed数据集上实现了74.2%的精度、66.3%的召回率和71.2%的mAP，分别比YOLO11提高了2.6%、2.1%和2.6%。与主流算法相比，HDMS-YOLO在整体检测性能上表现出色。这些结果凸显了该模型在精准农场管理和智能除草机器人开发中的应用潜力。

在方法部分，研究使用了CropAndWeed数据集，该数据集由奥地利数百个商业农田中的植物图像组成，涵盖了多种作物和杂草。数据集被划分为训练集、验证集和测试集，比例为7:1:2，分别包含5,393、770和1,542张图像。这些图像是在不同光照条件、土壤类型和湿度环境下拍摄的，为模型提供了丰富的训练样本。为了提供全面的数据分布概述，图1展示了部分数据集内容，而图2则展示了各类杂草的数量和分布特征。

实验设置部分提到，该研究在远程服务器上进行，详细的软件、硬件配置和训练环境参数如表1所示。模型的训练参数包括批次大小为16，训练轮数为300，初始权重为随机权重，动量为0.937，优化器为SGD，学习率为0.01，工作线程数为8，输入图像尺寸调整为640 x 640像素。这些参数的设置是为了在保证模型性能的同时，优化计算效率。

在模型构建方面，研究基于MMDetection框架，结合了RetinaNet和Faster R-CNN两种经典检测算法。MMDetection是一个由香港中文大学多媒体实验室和SenseTime联合开发的开源目标检测工具箱，它封装了数据集构建、模型构建和训练策略，使得新算法的实现更加简便，显著提高了代码的可复用性。此外，MMDetection以其快速的训练速度而著称，近年来在商业研究中被广泛用于检测移动和静态物体，取得了比其他检测框架更高的准确率。在该框架中，模型使用了FPN作为检测头，ResNet-50和ResNet-101作为主干网络，这些模块的组合使得模型在复杂场景下具有更强的特征提取能力。

在YOLO11的基础上，研究进一步改进了HDMS-YOLO模型。YOLO11是YOLO系列中的一个目标检测模型，支持检测、分类和分割任务。其颈部模块基于特征金字塔网络（FPN）和路径聚合网络（PAN）的概念进行了改进，用C3K2模块替代了原来的C2f模块，以实现更快的速度和更高的效率，从而提升整体特征聚合性能。此外，YOLO11还引入了C2PSA模块，以增强对图像关键区域的注意力，显著提升了对复杂场景的理解能力。YOLO11采用解耦检测头，从不同尺度的特征图中输出预测结果，从而实现对小目标的精细检测和对大目标的粗粒度识别。

尽管YOLO11的小尺寸保证了速度和效率，但其在准确率方面存在一定的局限性。为此，研究开发了HDMS-YOLO模型，以提高对各种杂草和作物的识别能力，特别是在复杂天气条件下。首先，在特征提取部分，引入了SRFD和DRFD模块，以替代YOLO11主干网络中的卷积模块，从而提升模型在检测过程中的图像特征提取能力。其次，研究提出了PC-MSFA模块，该模块结合了部分卷积和残差连接，以扩展感受野并增强模型的表达能力。最后，设计了动态任务对齐集成检测头（IntegraDet），以增强对形态相似作物和杂草的区分能力，从而显著提升检测性能。HDMS-YOLO在作物和杂草检测任务中取得了更高的检测准确率，其架构如图3所示。

在HRFN模块的设计中，研究提出了一种分层鲁棒特征网络（HRFN），以解决传统卷积下采样过程中可能丢失关键空间细节的问题。HRFN通过引入SRFD和DRFD模块，替代了YOLO11主干网络中的传统下采样层，以保留图像的空间信息。SRFD模块通过两阶段的下采样流程，首先使用7×7卷积提取初步特征并保留空间分辨率，然后通过两个并行路径：CutD用于保留空间特征，ConvD用于提取局部特征，最终通过特征融合保留结构和语义信息。第二阶段将图像分辨率减少至四分之一，使用三个并行分支：ConvD用于上下文提取，MaxD用于突出特征捕捉，CutD用于空间细节保留，从而确保在下采样过程中保留全面的特征信息。

DRFD模块则用于处理更深层的特征，其设计在SRFD的基础上进行了一些关键调整。它将通道数量翻倍，同时将空间维度减半，从而提升网络对复杂特征的表示能力。DRFD还引入了GELU激活函数，以增强非线性变换能力，这对于捕捉农业场景中的高阶语义模式至关重要。HRFN的核心创新在于其多路径融合策略，通过整合CutD、ConvD和MaxD三种互补机制，实现了对关键信息的保留，即使在空间分辨率降低的情况下也能保持对小杂草的检测能力。这种分层结构使得SRFD负责处理低层次细节，而DRFD处理深层次语义特征，从而构建了一个稳健的特征金字塔，提升了对不同尺寸和外观杂草的检测能力。

在PC-MSFA模块的设计中，研究提出了一种基于部分卷积的多尺度特征聚合方法，以提升多尺度特征提取的效率。该模块首先通过3×3卷积进行基础特征提取，然后将这些特征图分为两组：一组通过5×5卷积提取中等尺度特征，另一组通过7×7卷积提取大尺度上下文信息。这种部分卷积方法通过在特定通道子集上应用不同的卷积核，而不是对所有通道进行全尺度处理，从而减少了计算负担。多尺度特征通过1×1卷积进行融合，然后与原始特征通过残差连接进行组合，从而在保留细节的同时，捕获更广泛上下文信息，这对检测不同生长阶段的杂草至关重要。

IntegraDet检测头的设计旨在解决传统YOLO检测头中分类和回归任务相互独立导致的任务错位问题。该模块通过统一的处理流程，实现了分类和回归任务之间的双向信息流动，从而提升检测性能。IntegraDet使用共享卷积层和GroupNorm激活函数，对多尺度特征进行处理，然后通过注意力机制将其分解为任务特定的表示。在回归分支中，IntegraDet采用可变形卷积v2，以适应性地调整感受野，从而提升对不规则形状杂草的定位能力。在分类分支中，使用空间注意力机制进行前景与背景的区分，从而增强对目标的识别能力。这种设计使得检测头能够更好地处理小目标和形态相似的杂草，从而提升整体检测性能。

在评估指标方面，研究引入了标准的物体检测评估指标，包括精度、召回率、平均精度（AP）和平均平均精度（mAP）。精度衡量预测结果的准确性，计算所有预测为正的样本中实际为正的比例，反映了预测的可靠性。召回率衡量检测的完整性，计算所有实际为正的样本中被正确识别的比例，反映了模型对目标的检测能力。平均精度（AP）则通过计算不同置信度阈值下的精度-召回曲线面积来衡量模型对单个类别的检测性能。而平均平均精度（mAP）则是对所有类别AP值的平均，提供了模型在多类别检测任务中的整体性能评估。研究采用mAP@50（IoU阈值为0.5）和mAP@50-95（IoU阈值从0.5到0.95，间隔为0.05）两种指标，以更全面地评估模型的性能。

实验结果显示，HDMS-YOLO在作物和杂草检测任务中表现出显著的性能提升。例如，在玉米（Maize）类别中，准确率从90.1%提升至91.4%，召回率保持一致；在甘蓝（Sugar beet）类别中，准确率从86.2%提升至88.5%，召回率从88.7%提升至89.2%；在向日葵（Sunflower）类别中，准确率从71.8%提升至78.0%，召回率从72.4%提升至78.6%。这些改进表明，HDMS-YOLO在处理不同作物类别时表现出更强的适应能力。对于更具挑战性的类别，如草类（Grasses），准确率从68.8%提升至70.2%；在天竺葵（Geranium）类别中，准确率提高了5.7个百分点，从64.9%提升至70.6%，召回率也提升了2.7个百分点。这些结果展示了HDMS-YOLO在复杂农业环境中的强大检测能力。

此外，研究还进行了消融实验，以评估各个模块对模型性能的贡献。如表5所示，每个提出的模块都对性能提升有积极影响。HRFN模块提升了召回率，PC-MSFA模块提高了精度和mAP@50，而IntegraDet模块则增强了定位和分类能力。当这些模块被集成时，模型在精度、召回率、mAP@50和mAP@50-95方面均取得了一致的提升，最终的HDMS-YOLO模型在这些指标上分别达到了74.2%、66.3%、71.2%和49.2%。这表明，该模型在提升检测准确率的同时，仍然保持了较高的计算效率。

在计算效率方面，YOLO11基线模型需要6.3G FLOPs，每秒处理540帧。而最终的HDMS-YOLO模型虽然将计算负荷提升至10.5G FLOPs，但参数数量仅为227万，模型大小仅为4.6MB，仍然能够保持实时推理的效率，每秒处理263帧，即每张图像仅需6.7毫秒。这些结果证实了该模型在提升检测准确率的同时，也保持了较高的计算效率。此外，模型的收敛行为如图8所示，训练和验证损失在后期阶段平滑下降，且保持高度一致，而准确率曲线则相对稳定，波动较小，这表明模型具有良好的泛化能力。

在模型性能比较方面，研究将HDMS-YOLO与主流检测器、优化变体和基于Transformer的模型进行了对比。如表6所示，HDMS-YOLO在mAP@50上达到了71.2%，在mAP@50-95上达到了49.2%，优于轻量级模型如YOLOv8n、YOLOv10n和YOLOv12n，并在YOLOv9t上保持了0.2个百分点的优势。同时，HDMS-YOLO也超过了优化变体，如Ma等人提出的YOLO-CWD模型（在mAP@50和mAP@50-95上分别达到了66.9%和45.6%）以及Wang等人提出的YOLO-CBAM模型（在mAP@50和mAP@50-95上分别达到了70.5%和48.4%）。与基于Transformer的检测器相比，HDMS-YOLO在精度上接近DINO（mAP@50-95为50.2%），并在Deformable DETR（mAP@50-95为47.6%）上表现出色，同时所需的计算资源远低于DINO和Deformable DETR（分别为178.5G和173G FLOPs）。这表明HDMS-YOLO在精度和计算效率之间取得了良好的平衡。

除了精度，HDMS-YOLO还在精度与复杂度之间实现了良好的权衡。如图9所示，它在轻量级YOLO模型中取得了最高的mAP@50，同时保持较低的FLOPs。这种性能提升在不显著增加计算成本的情况下，使HDMS-YOLO在资源受限的环境中更具优势。相比之下，两阶段检测器如RetinaNet和Faster R-CNN虽然在计算成本上更高，但其检测精度较低，因此在低资源环境中，HDMS-YOLO更具优势。此外，如表7所示，该模型在18秒内完成了评估，每张图像的推理时间为6.8毫秒。尽管YOLOv11n的总时间稍短，仅为17秒，但其较长的后处理时间使得两者的推理差异可以忽略不计，而HDMS-YOLO在准确率上的优势更为显著。

在模型性能分析方面，图11展示了YOLO11和HDMS-YOLO在杂草数据集上的混淆矩阵。YOLO11在大多数类别上表现良好，但存在一些显著的误分类情况。例如，草类（Grasses）和向日葵（Sunflower）经常被误认为大豆（Soy），其召回率分别为55.6%和72.4%。背景类别也与草类和蓟类（Thistle）存在显著重叠，导致漏检。这表明，YOLO11在识别与作物视觉特征相似的杂草时存在一定的困难。相比之下，HDMS-YOLO的混淆矩阵显示了更高的精度和召回率。例如，草类的精度提升至60%，向日葵的召回率提升至78%。此外，蓟类和天竺葵的召回率也有所提高，分别从48.4%提升至51.0%，以及从51.7%提升至53.7%。这表明HDMS-YOLO在处理这些更具挑战性的类别时表现更优。

精度-召回曲线（图12）进一步说明了HDMS-YOLO的性能提升。例如，大豆（Soy）在精度上达到99.3%，召回率接近1.0，显示出接近完美的检测能力。玉米和马铃薯（Potato）也表现出色，其精度分别为95.9%和94.9%。然而，草类（Grasses）和荠菜（Chickweed）的性能较低，其精度分别为61.1%和71.6%，召回率分别为39%和52%。这主要归因于它们与其他物种的视觉相似性以及数据集中样本数量的限制。对于Poppy和Goosefoot等类别，其召回率更低，分别为31%和25%，这反映了类别不平衡和视觉相似性带来的挑战。这些定量结果证实了HDMS-YOLO在精度和召回率上的显著提升，但进一步的改进仍需在处理少数类别上进行。

尽管HDMS-YOLO在CropAndWeed数据集上表现优异，但其在不同环境中的泛化能力仍有待提升。例如，模型在处理小而密集的杂草时存在一定的困难，而这些杂草往往在实际环境中更加常见。此外，由于数据集的类别分布不均，某些杂草类别的样本数量较少，可能导致模型在这些类别上的性能下降。这种泛化能力的不足是AI模型在实际应用中常见的问题，如Xu等人在W-YOLOv5的研究中所指出的，该模型在作物检测中面临适应新环境的挑战。因此，为了提升模型的泛化能力，未来的研究可以考虑结合多传感器数据，如视觉、热成像和激光雷达（LiDAR），以增强在低能见度或遮挡条件下的检测能力。此外，研究还建议引入时间序列分析，以跟踪杂草的生长过程，从而提升模型对不同生长阶段杂草的识别能力。

在实际应用中，模型的部署策略也至关重要。例如，将HDMS-YOLO应用于农业机器人系统，需要实现实时决策，以确保精准除草的可行性。因此，未来的研究可以进一步探索少样本学习（few-shot learning）和领域适应（domain adaptation）技术，以提升模型对新环境和稀有物种的适应能力。此外，为了提高模型的泛化能力，还可以考虑引入数据增强策略，以增加稀有物种的训练样本数量，从而减少类别不平衡带来的影响。

总之，HDMS-YOLO模型在作物和杂草检测任务中表现突出，具有较高的检测精度和较低的参数复杂度，为农业自动化提供了坚实的技术支持。然而，为了进一步提升模型的泛化能力和对稀有类别的识别能力，还需要在多传感器融合、时间序列分析和领域适应等方面进行深入研究。这些改进将有助于HDMS-YOLO更好地适应实际农业环境，提高其在智能除草系统中的应用价值。