《Agriculture》:F3M-Det: A Frequency-Guided Three-Modal Framework for Robust Tomato Detection in Complex Agricultural Environments
编辑推荐:
番茄检测是智能农业中的基础任务,但在实际生产环境中,由于光照变化、遮挡和杂乱背景,可靠感知仍具挑战性。尽管近期检测器已取得有前景的性能,许多现有方法在有效利用复杂农业场景中可用的互补外观、结构和光谱信息方面仍存在局限。为解决此问题,研究人员提出F3M-Det,
番茄检测是智能农业中的基础任务,但在实际生产环境中,由于光照变化、遮挡和杂乱背景,可靠感知仍具挑战性。尽管近期检测器已取得有前景的性能,许多现有方法在有效利用复杂农业场景中可用的互补外观、结构和光谱信息方面仍存在局限。为解决此问题,研究人员提出F3M-Det,一种频率引导的三模态Mamba检测网络(Frequency-guided Three-modal Mamba Detection Network),通过面向任务的多模态融合框架集成RGB、深度和近红外(NIR)模态,以提升番茄检测鲁棒性。具体而言,所提框架引入结构引导的频率感知Mamba表示块(Structural-guided Frequency-aware Mamba Representation Block, SFMRB),以联合捕获几何结构、光谱特征和长程上下文依赖。此外,设计了一种RGB引导的重建融合策略,以增强跨模态一致性并提升特征互补性。在复杂农业条件下收集的自定义多模态番茄数据集上的大量实验表明,F3M-Det实现了94.26%的mAP@0.5、91.64%的mAP@0.5:0.95、90.82%的F1分数和91.95%的召回率,优于Faster R-CNN、RT-DETR、多种YOLO变体及APNet。与仅使用RGB的设置相比,所提方法将mAP@0.5提升了5.52个百分点,mAP@0.5:0.95提升了7.52个百分点。这些结果表明,面向任务的多模态融合有效提升了在挑战性农业环境中番茄检测的准确性和鲁棒性。
**论文解读文章**
**研究背景与问题**
在智能农业中,果实检测是精准采摘、产量估计和自动化作物监测的基础。然而,实际温室和田间环境中,番茄检测因光照变化、密集叶片遮挡、重叠实例和背景杂乱而面临严峻挑战。这些因素直接降低了机器人感知的可靠性,并限制了自主农业系统的部署。尽管基于深度学习的RGB检测器已显著提升农业视觉感知性能,但仅依赖RGB的方法在目标外观因强光照变化、低对比度和严重遮挡而不稳定时,仍会出现性能下降。多模态感知通过融合RGB、深度和近红外(NIR)等互补信息,可提供结构、光谱和语义信息,但其现有方法存在两个关键问题:一是融合优化往往未与下游检测目标充分对齐,多数图像融合框架以像素级重建准则(如L1损失或结构相似性)为监督,偏好视觉保真度而非检测效用;二是异构信息建模困难,简单拼接或直接融合无法充分利用不同模态的互补特性。因此,研究人员开展此研究,旨在设计一种面向任务的多模态融合框架,以提升复杂农业环境中番茄检测的鲁棒性。该论文发表在《Agriculture》。
**关键技术方法**
研究人员提出F3M-Det(频率引导的三模态Mamba检测网络),一种端到端多模态检测框架,集成RGB、深度和近红外(NIR)模态。主要技术方法包括:结构引导的频率感知Mamba表示块(SFMRB),通过模态感知加权融合深度和NIR特征,结合快速傅里叶变换(FFT)进行频率域增强,并引入视觉状态空间模型(VSSM)捕获长程依赖;RGB引导的重建融合模块(RGRF),将RGB特征与结构增强表示进行通道拼接并重建,实现跨模态交互;检测导向的优化头(DOH),将重建融合图像输入检测网络,联合优化检测损失与重建损失。数据集采集于2023年4月中国安徽省舒城县农业研究所,使用Azure Kinect深度相机同步获取RGB、深度和NIR图像,共4000组对齐的三模态图像对,涵盖四种光照场景(纳米光、人工光、暗光、自然光)。
**研究结果**
**4.2 训练过程与整体性能**
通过分析100个epoch的训练动态,发现前20个epoch损失快速下降,精度、召回率和mAP持续提升;约40个epoch后训练和验证损失逐渐收敛并稳定,表明模型可有效适应复杂农业环境。定性检测结果显示,预测边界框与真实标注基本匹配,在部分遮挡和密集簇条件下仍能准确检测,且生成高置信度分数。
**4.3 与最先进方法的比较**
在番茄数据集上,F3M-Det与Faster R-CNN、RT-DETR、YOLOv5n、YOLOv8n、YOLOv9t、YOLOv10n、YOLOv12n、YOLO11n及APNet进行对比。F3M-Det在所有评估指标上均取得最优:mAP@0.5为94.26%,mAP@0.5:0.95为91.64%,F1分数为90.82%,精度为89.71%,召回率为91.95%。相比Faster R-CNN,mAP@0.5提升15.62个百分点;相比YOLO11n,提升1.72个百分点;相比APNet,提升0.96个百分点。Grad-CAM可视化表明,F3M-Det生成更集中的目标区域激活响应,抑制无关背景。
**4.4 消融实验**
输入模态消融表明,仅RGB时mAP@0.5为88.74%;加入深度后提升至91.26%;加入NIR后提升至92.48%;三种模态联合使用达到最优(94.26%)。网络组件消融表明,基线模型(无SFMRB、RGRF、DOH)mAP@0.5为85.93%;加入结构融合(SF)后提升至89.26%;进一步加入频率域学习(FFT)提升至91.14%;加入VSSM提升至93.27%;最终加入RGB引导重建融合(RGBF)后达到94.26%。每个组件均贡献正向提升。
**4.5 多模态融合基线比较**
与直接通道拼接(输入YOLOv8n/YOLO11n)、三支路特征拼接及注意力融合基线相比,F3M-Det在所有指标上最优。相比最强基线(注意力融合+YOLO头),mAP@0.5提升1.63个百分点,mAP@0.5:0.95提升2.17个百分点,表明简单拼接或传统注意力融合不足以有效利用结构、光谱和上下文互补性,而所提频率引导的Mamba融合实现更有效的面向任务多模态交互。
**4.6 不同光照条件下的鲁棒性分析**
将测试集按光照条件分为纳米光、人工光、暗光和自然光四个子集。F3M-Det在自然光下性能最高(mAP@0.5为95.13%),人工光下接近(94.32%),暗光下mAP@0.5为92.91%,纳米光下为90.89%。尽管在弱光下性能下降,但仍保持可靠检测能力,表明深度和NIR模态的补信息可补偿RGB特征退化,验证了框架对光照变化的鲁棒性。
**讨论与结论**
综合比较、消融、多模态融合和光照实验表明,多模态表示学习可提升复杂农业条件下的番茄检测性能。与现有仅关注特征聚合的融合策略不同,F3M-Det采用面向任务的多模态优化,SFMRB结合了结构引导、频率域增强和Mamba的长程依赖建模能力。研究结论为:研究人员提出了F3M-Det,一种端到端多模态番茄检测框架,通过集成RGB、深度和近红外(NIR)模态,实现鲁棒的农业感知。所提框架引入结构引导的频率感知Mamba表示块(SFMRB),通过多模态交互和频率域表示学习有效捕获几何结构、光谱特征和全局上下文依赖。与主要关注视觉重建质量的常规图像融合方法不同,所提框架将下游检测监督直接纳入多模态特征学习,实现面向任务的表示优化。实验结果表明,所提方法在涉及光照变化、遮挡和杂乱背景的复杂农业环境中取得了优越的检测性能。消融研究和可视化分析进一步验证了所提多模态融合策略、频率感知表示机制和联合优化框架的有效性。未来工作将聚焦于轻量级模型设计、鲁棒多模态对齐和更广泛的农业应用,以进一步提升框架的实用性和泛化能力。