《Frontiers in Plant Science》:FSF-RTDETR: a frequency–spatial feature fusion network for eggplant fruit disease and pest detection in complex agricultural scenes
编辑推荐:
在复杂农业场景中,果实病虫害检测因目标尺度差异大、病斑特征微弱、叶片与枝条遮挡以及严重背景干扰而仍具挑战性。为解决上述问题,本研究聚焦茄子果实病虫害检测,提出FSF-RTDETR——一种频域-空间特征融合模型。该模型构建双分支频域-空间增强主干网络(dual-
在复杂农业场景中,果实病虫害检测因目标尺度差异大、病斑特征微弱、叶片与枝条遮挡以及严重背景干扰而仍具挑战性。为解决上述问题,本研究聚焦茄子果实病虫害检测,提出FSF-RTDETR——一种频域-空间特征融合模型。该模型构建双分支频域-空间增强主干网络(dual-branch frequency–spatial enhanced backbone),从频域细节与空间结构两方面提升病虫害特征表征能力。在频域分支中,AFDC与MFFWBlock通过注意力引导的频域卷积(Attention-guided Frequency-Domain Convolution, AFDC)和多尺度小波特征建模(Multiscale Frequency Fusion Wavelet Block, MFFWBlock),增强果蛀虫边缘、腐烂病斑纹理及蓟马咬痕等高频响应,从而提升对弱边界、细纹理小目标的感知能力。在空间分支中,VisionClueMerge与G6MambaLayer保留局部空间线索,并引入覆盖水平、垂直及对角交互的六方向扫描路径,有助于模型更好地描述遮挡目标、复杂背景及不规则病斑分布。此外,EGMuF通过通道、空间及像素级门控注意力,自适应融合频域分支的边缘纹理信息与空间分支的结构语义信息。实验结果表明,FSF-RTDETR在茄子数据集(Eggplant dataset)上Precision、Recall、mAP50及mAP50:95分别达到81.5%、71.3%、78.8%和50.7%,较RT-DETR-R18基线分别提升1.7、2.0、4.2和4.7个百分点,推理速度达104.07 FPS。PlantDoc数据集上的结果进一步验证了该方法在植物叶部病害检测场景中的有效性与泛化能力。
一、研究背景与问题
农作物病虫害是影响农业生产稳定性与农产品品质的主要因素之一,及时准确地识别病虫害区域对抑制病害扩散、减少农药使用及保障作物产量具有重要意义。近年来,人工智能与深度学习技术的快速发展推动了机器视觉在精准农业中的广泛应用,基于视觉的病虫害检测方法可与农业机器人、无人机喷洒系统及智能监测设备协同工作,实现发病区域的自动定位与精准防控。
茄子(Solanum melongena L.)是重要的茄科经济作物,具有较高的营养与园艺价值。然而在自然生长条件下,茄子果实易受果蛀虫、腐烂病斑及蓟马咬痕等危害,导致果实品质下降并造成产量损失。现有茄子病虫害检测研究多集中于改进基于YOLO的模型,这类方法虽具有检测速度快、部署成本相对较低的优点,但在复杂田间环境中仍面临诸多挑战:病斑特征微弱、目标尺度差异大、叶片与枝条遮挡严重、背景干扰强烈。此外,YOLO类检测器通常依赖密集预测过滤与非极大值抑制(Non-Maximum Suppression, NMS)后处理,在包含小目标、遮挡目标或邻近目标较多的场景中,NMS可能抑制部分低置信度但真实存在的病虫害目标,影响检测稳定性。
相比之下,基于Transformer的RT-DETR通过端到端检测框架去除了NMS,同时结合CNN的局部特征提取能力与Transformer的全局建模能力,为复杂农业场景下的目标检测提供了新思路。已有研究虽对RT-DETR进行了多种改进,但主要集中于空间域特征增强、注意力机制、特征融合及轻量化架构设计,对图像中频域信息的利用仍不充分。事实上,视觉图像不仅包含空间结构信息,还蕴含丰富的频域成分:果蛀虫边缘、腐烂病斑纹理及蓟马咬痕通常表现为细粒度的高频响应,而果实形态、遮挡关系及果实-叶片-枝条间的上下文依赖则需要有效的空间结构建模。单一空间域特征提取策略难以同时捕捉弱病斑的高频纹理细节与复杂背景下的全局上下文,可能导致漏检与误检。因此,现有方法尚未充分挖掘频域细节与空间上下文信息之间的互补关系。
二、研究内容与结论
针对上述问题,本研究以RT-DETR-R18为基线,提出FSF-RTDETR——一种面向茄子果实病虫害检测的频域-空间特征融合模型。该模型构建双分支频域-空间增强主干网络,从频域响应与空间结构两方面提升复杂自然场景下的特征表征能力。在频域分支中,设计注意力引导的频域卷积(Attention-guided Frequency-Domain Convolution, AFDC)与多尺度频率融合小波块(Multiscale Frequency Fusion Wavelet Block, MFFWBlock),通过频域卷积与多尺度小波特征建模增强果蛀虫边缘、腐烂病斑纹理及蓟马咬痕等高频细节,提升对小尺寸、弱边界、细纹理目标的感知能力。在空间分支中,结合VisionClueMerge与G6MambaLayer保留局部空间线索,并引入覆盖水平、垂直及对角交互的六方向选择性扫描机制,增强对遮挡目标、小病斑及复杂背景条件下空间依赖关系的建模能力。此外,设计增强型门控多注意力融合模块(Enhanced Gated Multiattention Fusion, EGMuF),通过通道、空间及像素级门控注意力自适应融合频域细节特征与空间语义特征,实现边缘纹理信息与空间上下文信息的互补表征。
实验结果表明,FSF-RTDETR在茄子数据集上Precision、Recall、mAP50及mAP50:95分别达到81.5%、71.3%、78.8%和50.7%,较RT-DETR-R18基线分别提升1.7、2.0、4.2和4.7个百分点,推理速度达104.07 FPS。PlantDoc数据集上的结果进一步验证了该方法在植物叶部病害检测场景中的有效性与泛化能力。该研究为复杂农业场景下的病虫害检测提供了频域-空间互补建模的新思路,对精准农业与智慧农业的发展具有重要技术支撑意义。
三、关键技术方法概述
研究人员主要采用以下关键技术方法构建FSF-RTDETR模型:
(1)频域增强分支:包含AFDC模块与MFFWBlock模块。AFDC通过最大池化下采样后应用FDConv频域卷积增强高频响应,并结合通道注意力调制;MFFWBlock通过小波卷积与频域卷积的组合,提取不同尺度下的频域纹理响应。
(2)空间增强分支:包含VisionClueMerge模块与G6MambaLayer模块。VisionClueMerge将2×2邻域内相邻空间特征重排至通道维度以保留局部空间线索;G6MambaLayer在四方向扫描基础上引入对角建模路径,构建六方向选择性扫描机制。
(3)EGMuF融合模块:通过通道注意力、空间注意力与像素注意力三级门控机制,自适应融合频域分支与空间分支的特征。
(4)实验数据:主实验使用Roboflow平台的公开茄子果实病虫害数据集,含3,250幅图像,按8:2划分训练集(2,610幅)与验证集(640幅),标注类别包括FruitRot、FruitBorer、MelonThrips和Healthy四类;外部验证使用PlantDoc数据集,含2,598幅真实场景图像,覆盖13种植物和27个健康或病害类别,按7:1:2划分训练、测试与验证集。
四、研究结果
4.1 主实验性能
在茄子数据集上,FSF-RTDETR的Precision、Recall、mAP50和mAP50:95分别达到81.5%、71.3%、78.8%和50.7%,较RT-DETR-R18基线分别提升1.7、2.0、4.2和4.7个百分点,推理速度达104.07 FPS。
4.2 泛化能力验证
在PlantDoc数据集上的实验进一步验证了FSF-RTDETR在植物叶部病害检测场景中的有效性与泛化能力,表明该方法不仅适用于茄子果实病虫害检测,也能推广至其他作物病害检测任务。
4.3 消融实验
通过逐步引入频域增强分支、空间增强分支及EGMuF融合模块,研究人员验证了各模块对检测性能的贡献,表明频域细节信息与空间上下文信息的互补融合能够有效提升复杂场景下的检测精度。
五、讨论与结论
讨论部分指出,频域特征有助于描述病斑边缘与细节纹理,而空间特征有助于建模遮挡关系、果实形态及背景上下文。EGMuF模块通过多级注意力机制动态选择不同病虫害场景下的有效信息,实现频域细节与空间语义的互补表征。研究结论表明,FSF-RTDETR通过双分支频域-空间增强主干与自适应融合机制,有效解决了复杂农业场景下茄子果实病虫害检测中目标尺度差异大、病斑特征微弱、遮挡严重及背景干扰强等问题,在检测精度与推理速度之间取得了良好平衡,为精准农业中的病虫害智能监测提供了新的技术方案。