通过结合跨注意力机制和门控融合技术的视觉语言模型来提升作物病害识别框架的性能

《Scientific Reports》：Enhancing crop disease recognition framework via vision-language model with cross-attention and gated fusion

　　

摘要

农作物病害对农业生产力和全球粮食安全构成了重大威胁。及时准确地检测这些病害对于提高作物产量和质量至关重要。虽然许多深度学习方法仅依赖于图像数据进行病害识别，但它们往往忽视了文本信息在增强视觉分析方面的补充价值。为了解决这一局限并有效地融合不同模态的特征，我们提出了一个基于视觉-语言模型的跨模型融合框架，该框架整合了跨注意机制和门控融合机制以实现农作物病害识别。我们的方法利用Zhipu.ai的多模态模型生成了病害作物叶片的全面文本描述，包括整体描述、局部病斑描述以及颜色-纹理描述。这些文本描述随后被编码成特征嵌入，而视觉特征则通过ShuffleNet-v2模型进行提取。随后，跨注意模块对两种模态进行对齐和融合，门控融合模块则在融合过程中实现动态特征选择。在对Soybean Disease和PlantVillage数据集的广泛评估中，我们的方法在准确性方面优于现有的基于图像的模型。具体而言，我们的模型在这两个数据集上的识别准确率分别为99.04%和99.12%，分别比ShuffleNet-V2模型高出1.09%和2.53%。这些结果表明，跨模型学习在整合视觉和文本线索以实现准确高效的病害识别方面具有有效性，为农作物病害诊断提供了一种可扩展的解决方案。