PestDetectSim：一种结合目标检测与基于相似度的图像检索的农作物害虫诊断方法

《Plant Methods》：PestDetectSim: an integrated approach for crop pest diagnosis using object detection and similarity-based image retrieval

　　

摘要

背景

快速准确的害虫诊断对于减少作物损失和提高农业生产力至关重要。目前大多数方法依赖基于深度学习的目标检测技术将害虫分类到预定义的类别中。然而，这些模型通常会选择概率最高的类别，这可能导致误分类，且由于缺乏用户验证或干预，限制了其实际应用性。因此，需要一种将基于模型的预测与用户辅助验证相结合的框架，以提高现实农业环境中的诊断可靠性。

结果

我们提出了PestDetectSim，这是一个结合了目标检测与基于相似性的图像检索的集成框架。在PestDetectSim中，首先使用YOLO v8模型检测害虫目标，然后通过加入Squeeze-and-Excitation（SE-Net）模块的骨干网络处理检测到的区域，以提取特征向量。这些特征向量随后被用来检索视觉上相似的害虫图像，从而使用户能够进行交叉验证并完善诊断结果。PestDetectSim输出两部分内容：目标检测结果以及按相似度排序的参考图像列表。我们使用包含30种害虫的真实田间数据集对该框架进行了评估。在该数据集上，PestDetectSim实现了98.82%的端到端诊断准确率，同时通过检索到的相似图像提供基于案例的视觉证据，帮助用户在判断不确定的情况下进行验证。每张图像的端到端推理时间约为60毫秒，包括检测和检索过程。这一数值反映了整个流程的整体性能，该流程将检测阶段与基于相似性的检索阶段相结合，使得该系统适合在资源有限的设备上实现实时部署。

结论

PestDetectSim将自动检测与用户辅助验证相结合，通过基于案例的视觉证据提升实际可靠性，其在保持较高准确率的同时还提升了可解释性。此外，我们还开发了一款智能手机应用程序原型，以验证其在现实环境中的实用性。该应用程序允许用户拍摄害虫图像，立即获得检测结果，并查看检索到的相似图像以便验证。这些研究结果表明，PestDetectSim有望成为一种可靠且交互性强的诊断工具，可用于实时监测害虫并实现可持续的农业管理。