频率引导的RT-DETR害虫检测器:面向密集诱捕场景中小目标的高效检测

《Frontiers in Computer Science》:PestFG-RTDETR: an efficient pest detector for small targets in dense trap-captured scenes

【字体: 大 中 小 】 时间:2026年10月31日 来源:Frontiers in Computer Science 3.4

编辑推荐:

  农业害虫对作物产量和品质构成持续威胁,精准高效的检测对现代作物保护至关重要。尽管基于诱捕器的系统已被广泛用于害虫自动监测,但捕获图像中的害虫检测仍面临挑战,原因包括虫体极小、分布聚集、捕获状态多样以及类间相似性。为应对这些挑战,研究人员提出了PestFG-RT

  
农业害虫对作物产量和品质构成持续威胁,精准高效的检测对现代作物保护至关重要。尽管基于诱捕器的系统已被广泛用于害虫自动监测,但捕获图像中的害虫检测仍面临挑战,原因包括虫体极小、分布聚集、捕获状态多样以及类间相似性。为应对这些挑战,研究人员提出了PestFG-RTDETR检测器,包含三个关键组件:频率引导自适应特征交互(frequency-guided adaptive feature interaction)、动态上采样(dynamic upsampling)以及轻量级骨干网络(lightweight backbone)。研究人员还引入了一种受生物启发的Copy-Paste增强策略,以丰富少数类别并在数据集上生成逼真的密集害虫布局。在416 × 416像素输入分辨率下评估时,PestFG-RTDETR取得了61.64%的mAP@0.5和37.27%的mAP@0.5:0.95,分别较RT-DETR-R18提升4.67和6.08个百分点,同时参数量减少1.55M。与代表性两阶段、一阶段及基于Transformer的检测器进行的大量比较表明,PestFG-RTDETR取得了具有竞争力的性能,表明所提出设计的有效性。在自采集水稻害虫数据集上的独立训练与评估进一步表明,所提出的架构可应用于另一种基于诱捕器的害虫检测场景。
农业害虫和病害对全球粮食生产构成持续威胁。据联合国粮食及农业组织(FAO)估计,害虫每年破坏全球20%–40%的作物产量。植物病害和入侵昆虫每年分别造成约2200亿美元和700亿美元的经济损失。这一挑战在中国尤为严峻,中国是世界上最大的农业生产国之一,病虫害管理仍是一个重大问题。2019年,中国农业农药使用量达到约177万公吨,约占全球消费量的42%。因此,准确及时的害虫检测对于针对性干预和有效害虫管理至关重要。灯光诱捕器和其他捕获装置提供了监测害虫种群的实用手段。这些装置采集的图像可支持自动检测、计数和种群预测。然而,诱捕图像中的可靠检测仍然困难。单个害虫仅占图像的一小部分,且往往包含有限的视觉信息。诱捕器还将昆虫集中在受限区域内,产生密集分布、重叠和接触实例。此外,害虫外观随发育阶段、姿态和捕获条件而变化,包括展翅、翻倒的身体和物理损伤。近缘物种还可能具有相似的形状、颜色和纹理。这些因素使准确定位和细粒度分类尤为困难,而物种频率不均可能给训练数据带来严重的类别不平衡。早期害虫识别系统使用手工特征和传统机器学习分类器来应对这些挑战。颜色、形状和纹理描述符与径向基函数核及支持向量机(SVM)相结合,用于分类几种水稻鳞翅目害虫。三阶颜色矩和交叉匹配指数同样与随机森林分类器配对用于油菜害虫识别。尽管这些方法在受控条件下表现良好,但其成功在很大程度上取决于人工设计特征的质量。因此,光照变化、背景复杂性和遮挡可能降低其在外场环境中的性能。例如,Liu等人(2016)报告了跨季节田间图像上超过15%的性能下降。这一结果凸显了手工表示在变化环境条件下泛化能力有限。深度学习通过直接从图像学习任务特定的表示,减少了对人工特征工程的依赖。两阶段检测器,如Faster R-CNN,首先生成区域提议,然后对候选区域进行分类和细化。该方法已广泛应用于农业害虫检测。例如,Wang等人(2023)开发了一种改进的Faster R-CNN模型,在甘薯叶片害虫检测中达到95.7%的mAP。类似地,Ali等人(2023)提出了Faster-PestNet,将基于MobileNet的特征提取与两阶段检测框架相结合,在IP102数据集上达到82.43%的准确率。然而,区域提议生成和后续的逐区域处理通常会引入额外的计算开销。一阶段检测器,包括YOLO和SSD,在单一阶段直接预测对象类别和位置,从而产生更简单且通常更高效的检测流程。两种检测范式之间的速度-精度权衡由Redmon等人(2016)展示。在PASCAL VOC 2007基准上,YOLO达到45 FPS和63.4% mAP,而使用VGG-16的Faster R-CNN达到7 FPS和73.2% mAP。这些结果表明,一阶段预测可以显著提高推理速度,尽管两阶段检测器在该基准上取得了更高的精度。由于其计算效率,一阶段检测器已被广泛用于实时农业害虫检测。例如,Dong等人(2024)通过多尺度特征聚合增强YOLOv5,在复杂农业环境中达到90.7% mAP@0.5。此外,Tang等人(2023)提出了Improved Pest-YOLO,集成了高效通道注意力机制和Transformer编码器用于实时害虫检测。尽管效率高,传统一阶段检测器在害虫小、密集分布或部分遮挡时仍然困难。其主要基于卷积的特征提取器强调局部模式,可能提供不足的全局上下文来分离拥挤实例。它们还可能生成需要非极大值抑制(NMS)的冗余边界框。这些局限在诱捕图像中尤为关键,因为弱对象特征和严重空间干扰同时出现。基于Transformer的检测器为超越这些局限提供了有希望的途径,因为自注意力可以捕获长程依赖和全局上下文。RT-DETR将Transformer编码器-解码器架构与端到端预测流程相结合,消除了对非极大值抑制的需求。该设计与YOLO系列模型相比提供了有竞争力的检测性能。Wang等人(2025)进一步将RT-DETR适配于小目标和非刚性对象,达到87.75% mAP@0.5。因此,RT-DETR为检测密集分布的害虫提供了合适的基础,但其在诱捕图像中的应用仍未充分探索。仍有若干任务特定问题需要解决。第一,类别不平衡和有限的场景多样性可能限制模型对稀有物种和复杂捕获状态的暴露。第二,仅空间域特征可能无法完全保留区分小型且视觉相似害虫所需的细粒度线索。第三,有效的多尺度特征重建对于定位小目标至关重要,但内容自适应上采样在此设置中受到的关注有限。最后,这些表示改进应避免不必要的参数量和计算成本增加。因此,统一的检测器应在控制模型复杂度的同时改善数据多样性、频率感知交互和自适应重建。为满足这些要求,研究人员提出了PestFG-RTDETR,一种基于RT-DETR的检测器,专为诱捕害虫图像设计。主要贡献如下:研究人员将受生物启发的Copy-Paste策略适配于诱捕害虫图像的特征。该策略通过模拟密集分布、重叠、尺度变化和多样捕获状态来缓解类别不平衡并增加场景多样性。研究人员提出了FG-AIFI,一种用于RT-DETR编码器的频率条件特征交互机制。它为小波分量分配非对称角色,使用多频带表示进行特征编码,并将投影的低频分量作为前馈网络内特征门控的条件信号。研究人员开发了PestFG-RTDETR作为面向小型和密集分布害虫的任务导向检测框架。该框架使用DySample进行内容自适应多尺度特征重建,同时FasterNet块使其参数量和GFLOPs低于RT-DETR-r18基线。材料与方法部分:研究人员使用了Pest24数据集的处理后版本进行模型训练和评估。Pest24包含使用自动灯光诱捕器和中国科学院合肥物质科学研究院智能机械研究所开发的成像系统采集的图像。农业专家手动标注了所有害虫实例以提供真实标签。每张图像分辨率为800 × 600像素,数据集涵盖中国农业部监测的24类田间作物害虫。这些类别包括棉铃虫、草地螟、斜纹夜蛾和其他常见农业害虫。Pest24旨在检测复杂农业场景中的多个极小害虫,已被广泛用于基准测试害虫检测模型。Pest24呈现三个主要检测挑战。第一,许多害虫实例占图像面积不到1%,有些仅包含几个到几十个像素。第二,害虫经常密集聚集,导致大量重叠和接触实例。第三,许多类别具有相似的形状、颜色和纹理,使定位和细粒度分类复杂化。除这些视觉挑战外,Pest24还呈现明显的长尾分布。最频繁的类别包含29,735个训练实例,而最稀有的仅包含54个。此外,24个类别中有12个包含少于1,000个实例。这种不平衡可能使检测器偏向主导类别并损害其识别稀有害虫的能力。在每个物种内,发育阶段、姿态和损伤状态的变化进一步增加了诱捕场景的复杂性。这些尺度、外观和分布挑战共同推动了下述针对性增强策略。为解决上述类别不平衡和场景变化问题,研究人员将Copy-Paste增强适配于诱捕害虫图像。所得的实例级流程丰富了少数类别,同时模拟密集空间分布、重叠、尺度变化和异质捕获状态。该流程包括四个阶段:实例库构建、背景模板生成、实例自适应增强和空间偏置合成。在第一阶段,研究人员为少数类别构建了害虫实例库。实例从公共在线图像和原始Pest24数据集的分割对象中获得。结合这些来源增加了实例多样性,同时保持每个害虫类别的视觉特征。在第二阶段,研究人员从包含相对较少害虫的图像生成背景模板。通过图像修复移除现有害虫实例,产生具有有限前景干扰的干净背景区域。在第三阶段,研究人员对收集的害虫应用实例自适应变换。随机擦除减少对孤立局部模式的依赖,鼓励模型使用更广泛的结构信息。随机重叠再现拥挤诱捕图像中的遮挡模式。偏置缩放和弹性变形进一步模拟害虫大小、形状和姿态在发育和捕获状态间的变化。在第四阶段,研究人员将变换后的实例粘贴到生成的背景上。研究人员没有均匀随机放置实例,而是使用了受害虫趋光性启发的质心偏置分布。首先从有效图像区域采样聚类质心。然后根据类高斯空间分布将害虫实例定位在该质心周围。该过程再现了诱捕图像中常见的聚集布局。在Copy-Paste增强期间,应用了若干约束以保持合成图像的真实性。粘贴的害虫实例数量限制在4–15个,以避免过于稀疏或密集的场景。实例缩放限制在0.6–1.3,旋转限制在?20°至20°,两者概率均为25%,以减少过度外观失真。最大重叠比设置为0.5以避免严重遮挡。此外,害虫位置从高斯分布采样,以模拟真实诱捕场景中观察到的中心密集、外围稀疏的聚集模式。增强后,研究人员手动检查生成的图像,并移除具有明显位置异常、尺度失真、过度遮挡或其他不真实特征的样本。与增强前相比,增强主要增加了少数类别的实例数量并生成了更多样的空间排列。数据集划分及小、中、大对象的COCO风格分布:训练集15,701张图像,130,729个实例(小63,390、中67,276、大63);验证集5,077张图像,31,753个实例(小18,042、中13,710、大1);测试集7,600张图像,58,199个实例(小30,773、中27,420、大6);总计28,378张图像,220,681个实例(小112,205、中108,406、大70)。总体架构:在准备训练图像后,研究人员以RT-DETR为基线检测器构建了PestFG-RTDETR。RT-DETR是一种端到端对象检测器,在后处理中消除了非极大值抑制。其架构包括骨干网络、高效混合编码器和带有辅助预测头的Transformer解码器。输入害虫图像首先由ResNet-18骨干网络处理,该网络提供适中的参数量和计算成本。其分层卷积表示和局部归纳偏置也有助于提取害虫轮廓和纹理信息。混合编码器随后处理最后三个骨干阶段产生的多尺度特征图,记为S3、S4和S5。尺度内交互和跨尺度融合将这些特征图变换为编码图像特征序列。最小不确定性查询选择机制随后选择置信度最高的Top-K编码器特征作为初始解码器查询。Transformer解码器迭代细化这些查询,而每层的辅助预测头促进优化并改善定位。尽管RT-DETR提供端到端检测,但其直接应用于诱捕害虫图像存在三个改进领域。第一,编码器可能无法充分保留极小或视觉相似害虫的细粒度特征。第二,多尺度融合期间的固定插值可能模糊弱边界并混合相邻实例的特征。第三,可以在保持检测性能的同时减少参数量和计算成本。研究人员通过三个相应修改解决这些方面。FG-AIFI将频率分解与空间交互相结合,以增强编码器对小害虫的表示。DySample取代固定插值,在多尺度融合期间提供内容自适应特征重建。FasterNet块取代骨干网络中的选定卷积块,以在保持检测精度的同时降低模型复杂度。频率引导自适应交互模块:在RT-DETR中,AIFI在混合编码器内执行尺度内特征交互。研究人员用FG-AIFI替换原始AIFI模块,以增强小型和视觉相似害虫的细粒度特征表示。自注意力有效建模长程依赖,但缺乏卷积神经网络(CNN)固有的局部归纳偏置。这一局限在诱捕图像中很重要,因为害虫相对于背景较小且经常出现在密集或重叠群体中。判别线索,包括身体轮廓、翅膀纹理和微妙的颜色模式,可能在特征交互期间被背景响应所掩盖。因此,编码器必须在抑制无关诱捕背景信息的同时保留弱局部线索。为解决该问题,FG-AIFI使用离散小波变换(DWT)将输入特征分解为低频和高频分量。高频分量捕获局部细节但也可能包含背景响应,而低频分量保留较粗的结构信息。一些现有基于小波的方法在不同频率分量组合或在后续网络层中联合处理,主要将其视为共享表示的一部分。FG-AIFI保留这种联合多频带建模,同时额外使用低频分量作为条件信号来显式调制后续特征变换。设输入特征图为F∈?C×H×W。Haar小波下采样(HWD)模块首先使用Haar小波应用DWT。该操作将F分解为一个低频分量LL和三个高频分量LH、HL和HH。四个分量沿通道维度拼接并使用1 × 1卷积融合以产生增强特征x。LL分量保留为辅助低频特征。增强特征x首先由多头自注意力(MHSA)处理以建立全局交互。所得特征随后传递到所提出的频率门控前馈网络(FG-FFN),其中LL提供低频引导。FG-FFN将其输入投影到更高维空间并分为两个分支x1和x2。同时,LL分量被处理以提取空间结构信息。处理后的LL特征与x1拼接,融合卷积后接SiLU激活生成门控图M。该图通过逐元素乘法调制x2。最终的1 × 1卷积将调制特征投影回原始通道维度。操作表示为M=SiLU(Conv(x1⊕LL)),xout=Conv(M⊙x2),其中⊕表示通道级拼接,⊙表示逐元素乘法。通过这种交互,DWT将精细局部细节与全局结构信息分离。低频分支随后引导FG-FFN在抑制背景干扰的同时保留弱害虫特征。FG-AIFI因此改善了提供给后续多尺度融合阶段的编码特征。基于DySample的内容自适应上采样:FG-AIFI改善了编码器中的特征表示,第二项修改则解决多尺度融合期间的特征重建问题。传统的最近邻和双线性上采样使用固定采样位置。这些操作可能模糊弱边界并混合相邻害虫的特征,特别是当实例重叠或接触时。因此,研究人员用DySample替换传统上采样,这是一种使用内容自适应采样位置重建特征的动态模块。DySample包括两个组件:采样点生成器和动态重采样模块。采样点生成器接收低分辨率特征图,并使用轻量级卷积头预测二维偏移场O∈?2 × H′ × W′。这里H′和W′表示上采样特征图的高度和宽度。像素自适应范围机制还通过sigmoid函数生成范围因子σ。该因子根据局部特征内容调整每个位置的偏移幅度。动态重采样模块首先构建初始双线性上采样网格。然后添加预测的偏移场O以生成内容自适应采样坐标。最后,使用grid_sample操作在这些坐标处采样原始特征图。该过程表示为Xup(p)=Sample(X,G+O(p)),其中G表示标准双线性采样网格,O(p)是位置p处的自适应偏移。这种基于学习的机制允许采样位置向信息丰富的边缘、纹理和显著结构移动。从而减少插值相关模糊并限制相邻实例之间的特征污染。在实现中,DySample增加少于0.05M参数,同时为后续融合和检测提供更高质量的特征。最终修改通过降低骨干网络的参数量和计算成本来抵消模型复杂度。带有FasterNet块的骨干网络:最终架构修改针对模型复杂度。为降低基线的参数量和FLOPs,研究人员将FasterNet块集成到ResNet-18骨干网络中。修改后的骨干网络包含三个ConvNorm层、一个MaxPool2d层和四个由FasterNet块构建的阶段。输入图像首先通过三个ConvNorm层进行初始特征提取和优化稳定。随后的最大池化操作降低空间分辨率同时保留最强的局部响应。然后研究人员用FasterNet块替换原始ResNet BasicBlocks,以在保持特征提取能力的同时降低计算成本。每个FasterNet块包含两个ConvBL模块和一个FasterBlock。每个FasterBlock包括一个部分卷积(PConv)、两个1 × 1逐点卷积(PWConv)和一个SimAM注意力模块。PConv仅对前cp个连续通道应用3 × 3卷积,其余通道保持不变。这种部分操作利用通道冗余来减少计算和内存访问。由于PConv提供有限的跨通道交互,研究人员将SimAM紧接其后放置。SimAM是一种无参数注意力机制,在不增加参数量的情况下跨空间和通道维度细化特征。第一个PWConv随后扩展通道维度以促进跨通道交互。批量归一化和ReLU激活跟随此投影。第二个PWConv恢复原始通道维度以进行高效特征融合。残差连接改善梯度传播并促进网络优化。对于输入和输出通道维度为Cin和Cout的卷积,近似计算成本为FLOPs=Cin×Cout×K2×H×W,其中K是核大小,H×W是输出空间分辨率。该表达式将一次乘累加操作视为一次浮点运算;当乘法和加法分别计数时,该值应乘以二。PConv、SimAM和两个PWConv共同降低模型复杂度,同时保持空间和通道级特征交互。因此,三个所提出的修改在PestFG-RTDETR的互补阶段运行。FasterNet降低骨干网络复杂度,FG-AIFI增强频率感知编码,DySample在多尺度融合期间执行自适应重建。这种协调设计在控制模型参数量和GFLOPs的同时改善特征表示和定位。实验结果部分:所有实验均在PyTorch框架上使用配备Intel Core i5-14600K、NVIDIA GeForce RTX 5060Ti GPU(16 GB显存)的系统进行。模型使用SGD优化器训练200个epoch,初始学习率为0.01,动量为0.9。批量大小设置为32,所有输入图像调整大小为416 × 416像素。训练期间,输入图像经过随机平移(0.1)、随机缩放(0.5)、水平翻转(0.5)、Mosaic增强(1.0)和HSV颜色扰动,hsv_h = 0.015、hsv_s = 0.7、hsv_v = 0.4。所有GFLOPs值均在同一输入分辨率下使用相同的性能分析工具对所有模型进行测量。评估指标:研究人员使用五个指标评估模型:精确率(P)、召回率(R)、所有目标类别的平均精度(mAP)、参数量(Params)和以十亿浮点运算(GFLOPs)测量的计算成本。精确率P表示预测正样本中真正正样本的比例,而召回率R衡量模型正确识别的实际正样本的比例。AP通过计算精确率-召回率曲线下的面积来评估模型对单一类别的检测性能。平均精度(mAP)是所有类别AP值的平均值,反映模型在多类别检测任务中的整体性能。相应公式为:Precision=NTP/(NTP+NFP),Recall=NTP/(NTP+NFN),APc=∫01pc(r)dr,mAP=(1/Nc)∑c=1NcAPc,其中TP表示真正正预测数,FP是假正预测数,FN是假负预测数。报告的精确率和召回率在所有类别上宏平均,每个类别贡献相等,无论其样本大小。这里,mAP@0.5表示当交并比(IoU)阈值为0.5时所有类别的平均精度。mAP@0.5:0.95表示在IoU阈值从0.5到0.95以0.05增量计算的平均mAP值,提供模型在不同定位精度要求下的更全面评估。APS指仅在小对象上计算的平均精度,小对象通常定义为面积小于32 × 32像素的对象,突出模型在检测小尺度目标上的性能。输入分辨率的影响:输入分辨率对检测精度和计算效率均有明显影响。将分辨率从320 × 320增加到416 × 416,mAP@0.5从53.95%提高到61.64%,对应增加7.69个百分点。同时,计算成本从14.9增加到20.2 GFLOPs,而推理速度仅从60.72略微下降到57.91 FPS。进一步将分辨率增加到640 × 640,mAP@0.5额外提高4.80个百分点,但计算成本大幅增加到52.3 GFLOPs,推理速度降至51.73 FPS。因此,选择416 × 416作为输入分辨率,因为它在检测精度、计算成本和推理速度之间提供了更合适的权衡。所提出的数据增强策略评估:在Pest24上应用Copy-Paste增强策略前后,若干类别的mAP@0.5明显改善。例如,八字虎显示最大改进,其mAP@0.5从4.18%增加到12.50%,对应增益8.32个百分点。甘蓝斜纹夜蛾从39.00%增加到46.20%,获得7.20个百分点的增益。线虫沟也提高5.90个百分点,而其他几个类别获得约4–5个百分点的增益。总体而言,总mAP@0.5从55.60%增加到56.97%,提高1.37个百分点。这些结果表明,该设计可以生成更多样和逼真的害虫分布,从而提高检测器在复杂诱捕场景中的鲁棒性。与先进对象检测模型的比较:为全面评估所提出的PestFG-RTDETR模型,本文将其与代表性检测器进行比较,包括两阶段Faster-RCNN、一阶段基于CNN的检测器(YOLOv5s、YOLOv8s、YOLOv10s、YOLOv11s、FCOS)、TP-YOLO、近期基于实时Transformer的检测器RF-DETR以及基线RT-DETR-r18。PestFG-RTDETR在检测精度和模型效率方面均较基线RT-DETR-r18取得显著改进。尽管所提出的模型未达到所有YOLO系列模型中最小的参数量,但与RT-DETR-r18相比,其参数量和计算成本分别减少1.55M和6.5 GFLOPs。同时,mAP@0.5和mAP@0.5:0.95分别提高4.67和6.08个百分点。更重要的是,APS从19.32%增加到26.22%,绝对提高6.90个百分点。该结果表明所提出的修改显著改善了小害虫实例的检测。精确率和召回率也一致增加,表明所提出的设计通过FG-AIFI、DySample和基于FasterNet的骨干网络的联合效应,在RT-DETR框架内实现了效率和检测性能之间更好的平衡。作为两阶段网络,Faster-RCNN在本实验中检测精度低于PestFG-RTDETR。其mAP@0.5为38.62%,mAP@0.5:0.95为15.48%,精确率为39.09%,召回率为50.45%。同时,其计算成本高,为41.75M参数和46.8 GFLOPs。与YOLO系列模型和TP-YOLO相比,PestFG-RTDETR取得最高的mAP@0.5,分别超过YOLOv5s、YOLOv8s、YOLOv10s、YOLOv11s和TP-YOLO 3.23、2.68、4.57、1.08和3.95个百分点。TP-YOLO是专为微小害虫检测开发的轻量级检测器,先前在Pest24数据集上评估。它仅需4.28M参数和3.5 GFLOPs,是该比较中计算效率最高的模型。然而,PestFG-RTDETR在mAP@0.5:0.95上超过TP-YOLO 2.43个百分点,在APS上超过8.25个百分点,尽管计算成本更高。YOLOv11s在检测精度上仍是最接近的竞争者,且所需参数量和GFLOPs显著更少,表明精度与效率之间存在明显权衡。FCOS表现相对较差,仅达到45.60% mAP@0.5和24.60% mAP@0.5:0.95,大幅低于PestFG-RTDETR和所评估的基于YOLO的模型。RF-DETR代表基于Transformer的实时检测架构的最新发展。然而,RF-DETR在实验设置下表现出有限性能。其mAP@0.5比RT-DETR-r18低4.05%,mAP@0.5:0.95低2.5%。这可能是因为RF-DETR更多针对实时效率而非小目标和密集目标优化设计。可视化研究:为直观展示PestFG-RTDETR在所提出实验设置下的性能优势,研究人员基于检测结果和注意力热图进行全面的视觉分析。害虫密度从左到右逐渐增加。在低密度场景中,PestFG-RTDETR已经通过恢复漏检目标和纠正偶尔的误分类而优于基线RT-DETR-r18。随着场景复杂度增加,这一优势变得更加明显。在高密度场景中,基线模型在相同置信度阈值下倾向于为同一对象生成多个重叠边界框,表明定位次优。相比之下,PestFG-RTDETR始终为每个目标产生单一、良好对齐的边界框,反映更准确的定位和更自信的预测。为进一步研究潜在机制,采用梯度加权类激活映射(Grad-CAM)可视化模型注意力。所提出的模型在害虫区域表现出更强和更集中的激活,主要关注纹理和形状等判别特征。这些观察进一步证实了PestFG-RTDETR改善的定位精度和检测可靠性。消融研究:为全面评估所提出的PestFG-RTDETR,研究人员在两个层面进行消融实验。首先,评估FasterNet、FG-AIFI和DySample对整体模型的个体和组合贡献。其次,研究FG-AIFI模块的内部设计,包括HWD模块和不同频率分支配置。整体组件消融:为量化三个组件的个体和组合贡献,研究人员以RT-DETR-r18为基线进行全因子消融研究。基线达到56.97% mAP@0.5、31.19% mAP@0.5:0.95和19.32% APS。将选定骨干块替换为FasterNet块,mAP@0.5和mAP@0.5:0.95分别提高1.14和0.64个百分点。然而,APS从19.32%略微下降到19.21%,表明FasterNet单独主要改善整体检测指标而未对小对象提供相应改进。当独立引入FG-AIFI时,mAP@0.5、mAP@0.5:0.95和APS分别提高1.85、2.24和3.53个百分点。APS相对较大的增益表明频率条件特征交互对小害虫实例特别有益。DySample在三个指标上分别产生2.49、2.73和2.22个百分点的改进。在个体组件中,DySample在两个整体mAP指标上提供最大增益,而FG-AIFI在小对象检测上提供最大改进。所有双组件配置均优于基线,尽管改进并非严格相加。FasterNet和FG-AIFI的组合达到59.55% mAP@0.5、34.31% mAP@0.5:0.95和21.51% APS。FasterNet与DySample组合分别达到58.45%、33.52%和20.37%。在双组件配置中,FG-AIFI和DySample的组合表现最佳,达到60.01% mAP@0.5、35.31% mAP@0.5:0.95和24.11% APS。与基线相比,这些结果对应3.04、4.12和4.79个百分点的改进,表明频率条件交互和内容自适应特征重建提供互补益处,特别是对小对象检测。完整的PestFG-RTDETR在三个指标上均取得最佳性能,为61.64% mAP@0.5、37.27% mAP@0.5:0.95和26.22% APS。这些值代表相对RT-DETR-r18的绝对改进分别为4.67、6.08和6.90个百分点。此外,将FasterNet添加到FG-AIFI和DySample配置进一步使三个指标分别提高1.63、1.96和2.11个百分点。尽管组件在不同组合中的效果各异,完整配置产生最强的整体和小对象检测性能。FG-AIFI模块的内部消融:为进一步检查FG-AIFI的内部设计,研究人员评估HWD模块的贡献并比较不同频率分支配置。移除HWD使mAP@0.5从58.82%降至57.84%,召回率从60.78%降至59.33%。尽管精确率增加到69.06%,但mAP@0.5和召回率的降低表明不同的精确率-召回率权衡。总体而言,HWD通过引入频域表示有助于改善检测覆盖和害虫实例定位。低频配置取得最佳整体性能,mAP@0.5为58.82%,mAP@0.5:0.95为33.43%,召回率为60.78%。将低频分支替换为高频分支使mAP@0.5降低1.52个百分点,召回率降低1.54个百分点。这表明主要代表全局结构和上下文模式的低频信息对复杂背景中的害虫检测更有益。移除所有频率分支导致mAP@0.5为57.68%,召回率为58.67%,低于完整FG-AIFI模块。这些结果证实频率感知特征建模有助于小型和视觉相似害虫的表示。总体而言,低频分支提供最有效的配置,而HWD进一步改善mAP@0.5和召回率。鲁棒性和泛化实验:为评估所提出的PestFG-RTDETR在不同诱捕成像条件和害虫物种间的泛化能力和鲁棒性,研究人员在从粘性诱捕器装置采集的外部自采集水稻害虫数据集上进行进一步实验。该数据集专为水稻保护任务策划,包含9个不同类别,聚焦于稻黑蝽和白斑蝽的细粒度识别。该数据集呈现显著的分类挑战,因为它要求模型不仅区分物种,还要区分性别(雄/雌)和身体朝向(背面/腹面)。这9个类别与Pest24数据集中的物种无重叠。PestFG-RTDETR在外部自采集水稻害虫数据集上在mAP@0.5和mAP@0.5:0.95方面取得最佳性能。具体而言,它获得72.24%的mAP@0.5和49.57%的mAP@0.5:0.95,分别超过基线RT-DETR-r18 1.42和1.60个百分点。与YOLOv11s相比,尽管后者显示更高的召回率(80.42%),但其精确率显著较低,仅为57.09%,表明在复杂田间环境中存在高假正率。相比之下,PestFG-RTDETR保持更高的精确率(69.79%),同时提供最佳的整体定位和分类精度(mAP@0.5:0.95)。这些结果表明,通过整合频域特征和细粒度注意力机制,该模型可以更有效地捕获水稻害虫的微妙形态特征,如性别和身体朝向,从而在真实农业场景中实现更鲁棒和可靠的检测。结论部分:本文提出了PestFG-RTDETR,一种用于诱捕图像中害虫检测的频率引导RT-DETR框架。所提出的方法解决了自动害虫监测中的若干挑战,包括小害虫目标、密集空间分布、类间相似性和多样捕获状态。为改善特征表示,所提出的FG-AIFI模块将频域线索引入Transformer编码器。DySample模块用于增强多尺度特征重建并改善小目标定位。FasterNet块集成到骨干网络中以在保持检测精度的同时降低模型复杂度。此外,设计了一种受生物启发的Copy-Paste策略以丰富少数类别并生成逼真的密集害虫布局。在所提出实验设置下的实验表明,PestFG-RTDETR达到61.64% mAP@0.5和37.27% mAP@0.5:0.95。与RT-DETR-r18相比,mAP@0.5和mAP@0.5:0.95分别提高4.67和6.08个百分点,同时减少参数量。消融研究进一步验证了所提出组件的有效性。在自建水稻害虫数据集上的实验表明,该模型在另一种基于诱捕器的监测场景中具有良好的泛化能力。尽管取得这些结果,本研究仍存在若干局限。虽然PestFG-RTDETR在416 × 416输入分辨率下达到57.91 FPS,但该结果是在GPU平台上获得的,仅反映模型推理。图像采集、预处理、数据传输和通信引入的额外延迟未被考虑。此外,当模型部署在资源受限的边缘设备上时,实际推理速度可能降低。与一些轻量级YOLO系列检测器相比,PestFG-RTDETR在推理效率方面仍存在劣势,这可能限制其在严格延迟或硬件约束应用中的部署。因此,未来工作将聚焦于在真实害虫监测设备上部署和评估模型,并进一步降低其计算复杂度以更好地满足实时应用需求。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号