基于AR眼镜与图像-文本多模态融合模型的水稻病虫害智能监测方法研究

针对传统水稻病虫害调查依赖人工经验、效率低下且准确率不足的问题，研究人员创新性地将AR眼镜与图像-文本多模态融合模型（RDP-Detector）结合，提出智能化解决方案。通过改进YOLOv5X模型（AF-FPN、Decoupled Head、Soft-NMS）与CLIP模型的Prompt tuning技术，实现七类病虫害检测精度（mAP 87.4%），较单模态模型提升14.6个百分点，显著降低对专业人员依赖，为农业精准防控提供新范式。

　　

论文解读

在亚洲和非洲等水稻主产区，病虫害每年导致10%-30%的产量损失。传统监测手段如卫星遥感和无人机虽能覆盖大范围冠层，却难以捕捉早期或隐蔽病虫害；而手持设备依赖人工操作，在稻田复杂环境中存在采集困难、屏幕反光等问题。更棘手的是，病虫害形态受物种、环境等因素影响，同类差异大、异类相似度高，仅凭有限图像样本训练的模型泛化能力差。这些痛点呼唤更智能、精准的监测技术。

浙江省自然科学基金资助的研究团队提出突破性方案：通过AR眼镜解放调查员双手，利用语音控制实现便捷图像采集；开发两阶段多模态模型RDP-Detector，融合视觉与文本信息提升检测精度。关键技术包括：（1）改进YOLOv5X模型，采用自适应特征金字塔网络（AF-FPN）增强多尺度特征融合，解耦头（Decoupled Head）优化检测框回归，软非极大抑制（Soft-NMS）减少重叠目标漏检；（2）基于CLIP模型进行Prompt tuning迁移学习，对低置信度检测框进行文本模态再识别；（3）使用Superhexa AR眼镜采集田间图像，构建含七类病虫害的数据集。

研究结果

1. YOLOv5X消融实验
   AF-FPN使小目标检测召回率提升8.2%，解耦头将定位误差降低12.3%，Soft-NMS处理重叠病灶的误检率下降6.7%。三模块协同使mAP达83.1%。

2. 多模态模型性能对比
   RDP-Detector对稻瘟病、纹枯病等七类病虫害的精确率（82.3%）、召回率（86.5%）和mAP（87.4%）均显著优于单模态模型，其中文本模态使疑难样本识别精度提升14.6个百分点。

3. AR眼镜实地验证
   对比手机采集，AR眼镜使单日调查效率提高3倍，图像合格率提升41%，且强光环境下操作便捷性优势显著。

结论与意义
该研究首次将AR眼镜的穿戴便捷性与多模态模型的认知互补性结合，破解了稻田复杂场景下病虫害检测的三大难题：（1）通过AF-FPN和解耦头设计，解决病虫害多尺度变化与定位不准问题；（2）利用CLIP的跨模态对齐能力，缓解类间相似性与样本不足导致的泛化缺陷；（3）构建端到端智能调查系统，使非专业人员也能实现专业级监测。成果发表于《Computers and Electronics in Agriculture》，为智慧农业提供了可推广的技术范式，尤其适用于发展中国家的小农户场景。未来可扩展至其他作物病虫害监测，推动农业可持续发展。