基于混合局部-全局融合视觉Transformer的植物疾病识别方法：ViT-LGFNet

《Scientific Reports》：Hybrid local–global vision transformer framework for robust plant disease detection in precision agriculture

　　

摘要

正确识别植物疾病对可持续农业生产力以及国家和全球粮食安全具有重要意义。尽管传统的卷积神经网络在利用图像检测疾病方面取得了巨大成功，但其感受野固有局限，这反过来限制了其建模长距离依赖的能力。然而，视觉 Transformer 虽然能够捕捉全局关系，但往往无法保持细粒度的局部纹理信息，而这些信息对于区分不同疾病引起的细微症状可能至关重要。为了缓解这些问题，我们引入了 ViT-LGFNet，这是一种混合局部 - 全局融合视觉 Transformer，它结合了局部卷积特征提取和全局自注意力编码。所提出的架构由以下模块构建而成：一个用于学习精细纹理的局部 CNN 主干模块，随后是一个用于建模上下文特征的 Transformer 编码器模块。我们提出了一个双交叉注意力融合模块，它在局部和全局标记之间执行双向交换，以提高混合表示的判别能力。PlantVillage 数据集的结果表明，ViT-LGFNet 在多次运行中的平均验证准确率为 95.15% ± 0.74，最佳性能达到 96.28%。为了可视化目的，展示了 Grad-CAM 和 Attention Rollout 图，表明模型准确地关注了图像中受疾病影响的部分。所提出的模型为植物疾病识别提供了一个可靠且可解释的基准，并显示出在智能农业系统和基于 AI 的作物健康监测应用中的应用潜力。