MDF-DETR：面向香菇子实体检测的多模态细节感知融合网络及其在自动化采收中的应用

《Smart Agricultural Technology》：MDF-DETR: A Multi-modal and Detail-aware Fusion Network for Shiitake Mushroom Fruiting Body Detection

本研究针对香菇菌棒栽培模式下子实体检测存在的空间深度感知缺失、纹理相似性干扰及小目标漏检等难题，提出了一种多模态细节感知融合检测Transformer模型（MDF-DETR）。通过单目深度估计构建RGB-D输入增强空间感知，设计轻量残差注意力模块（LRA）强化纹理特征提取，并引入小目标特征融合网络（SOFN）结合空间深度卷积（SPDConv）与跨阶段全核模块（CSPOmniKernel）提升小目标检测能力。实验结果表明，该模型在自建数据集上达到90.3%的mAP，较基线模型提升4.5%，为香菇工业化采收提供了高精度、轻量化的解决方案。

　　

在香菇工业化栽培的浪潮中，实现自动化采收是提升产业效率的关键环节。然而，香菇子实体的精准检测却面临三大技术瓶颈：首先，传统RGB图像缺乏深度信息，难以感知生长高度不一的香菇空间位置；其次，香菇菌盖与菌棒纹理高度相似，在复杂背景下提取细微特征犹如大海捞针；更棘手的是，未成熟香菇体积小且分布密集，在神经网络下采样过程中极易丢失目标特征。这些难题严重制约了自动化采收装备的精准作业能力。

为解决上述问题，发表于《Smart Agricultural Technology》的研究提出了一种创新性的多模态细节感知融合检测Transformer模型（MDF-DETR）。该研究通过三个核心技术突破实现了香菇检测的精度飞跃：首先采用单目深度估计技术将RGB图像扩展为四通道RGB-D输入，使模型具备空间高度感知能力；其次设计轻量残差注意力（LRA）模块嵌入改进的C2fL结构中，增强纹理特征表达能力；最后构建小目标特征融合网络（SOFN），整合空间深度卷积（SPDConv）与跨阶段全核模块（CSPOmniKernel），有效保留细小目标的细节特征。

关键技术方法包括：基于固定位顶置相机采集1000张标注RGB图像构建数据集，通过DPT-Hybrid模型生成深度图并拼接为RGB-D输入；改进RT-DETR框架的输入层适配四通道数据，在骨干网络中嵌入C2fL模块增强纹理特征提取，并在编码器部分引入SOFN网络优化小目标检测。

研究结果方面，通过系统的实验验证了各模块的有效性：

1. 1.
   消融实验表明，RGB-D输入、C2fL模块和SOFN网络的协同作用使mAP₅₀达到90.3%，较基线提升4.5%。XGrad-CAM可视化显示完整模型能更精准地关注香菇目标区域。
2. 2.
   注意力机制对比实验中，LRA模块以87.9%的精确度和88.3%的mAP₅₀优于ECA、EMA等主流注意力机制，验证了其在复杂纹理特征提取中的优势。
3. 3.
   SOFN专项测试显示，对未成熟香菇的检测精度提升尤为显著，mAP₅₀从86.2%提升至89.6%，证明该模块能有效解决小目标漏检问题。
4. 4.
   与主流检测模型对比中，MDF-DETR以90.3%的mAP₅₀和79.5%的mAP_50-95全面领先，同时保持14.1M参数和57.0 GFLOPs的适中计算复杂度。
5. 5.
   稳健性统计分析通过五次独立实验验证，模型性能标准差仅0.2%，显著优于基线模型的0.3%，表现出优异的稳定性。

研究结论表明，MDF-DETR模型通过多模态信息融合和细节特征增强，成功解决了香菇检测中的空间感知、纹理区分和小目标识别三大挑战。该模型不仅为香菇自动化采收提供了可靠的技术方案，其设计的RGB-D适配机制、LRA注意力模块和SOFN网络结构也为其他农业场景下的精细目标检测提供了重要参考。未来研究可进一步扩展至采摘点定位和姿态估计等方向，推动智能农业装备的实际应用落地。