基于CNN局部特征与ViT全局上下文融合的棉花病虫害精准分类深度学习模型构建与验证

《Plant Methods》：Development of a unified deep learning approach integrating CNN-based local and ViT-based global feature extraction for enhanced cotton disease and pest classification

本研究针对传统棉花病虫害识别方法依赖人工特征、难以兼顾局部细节与全局依赖的瓶颈，开发了一种融合卷积神经网络（CNN）与视觉变换器（ViT）的混合深度学习模型。通过对8类棉花病虫害图像（包括蚜虫、棉铃虫、细菌性角斑病等）的分类实验，验证了混合模型在测试集上达到98.5%的平均准确率，显著优于单一CNN（97.9%）或ViT（96.3%~97.2%）模型。该研究为复杂田间环境下的作物病害智能监测提供了高精度解决方案，有望推动精准农业实践。

　　

棉花作为全球重要的经济作物，其产量与品质常受病虫害的严重威胁。传统依赖人工巡检的病害识别方式效率低下且主观性强，而基于图像处理的自动化方法虽能部分缓解人力负担，却受限于手工特征设计的局限性，难以捕捉病害在复杂背景下的细微差异。随着深度学习技术在农业领域的渗透，卷积神经网络（CNN）凭借其强大的局部特征提取能力，在作物病害分类中展现出显著优势，但其对长距离依赖关系的建模能力较弱；视觉变换器（ViT）虽能通过自注意力机制（Self-Attention）捕捉全局上下文信息，却缺乏CNN固有的空间归纳偏置，对局部纹理的敏感性不足。这一矛盾促使研究者探索结合二者优势的混合架构，以提升复杂农业场景下的分类鲁棒性。

为解决上述问题，Dhruw等人在《Plant Methods》发表研究，开发了一种融合CNN与ViT的混合模型，用于棉花病虫害的精准分类。研究团队从Kaggle平台获取包含8类病虫害的图像数据集（蚜虫、棉铃虫、细菌性角斑病、棉铃腐病、绿色棉铃、健康植株、白粉病、靶斑病），每类800张图像，共计6400张。通过随机旋转、平移等数据增强技术提升模型泛化能力，并将图像统一裁剪为512×512像素后归一化处理。

关键技术方法包括：

1. 1.
   CNN架构：设计6层卷积模块，逐层增加滤波器数量（16至512），结合批归一化（Batch Normalization）和最大池化（MaxPooling）提取局部特征；
2. 2.
   ViT架构：将图像分割为32×32像素的块（共256块），嵌入位置信息后输入Transformer层（比较2层与4层配置），利用多头自注意力机制建模全局依赖；
3. 3.
   混合模型：将CNN输出的特征图（16×16×512）投影至ViT隐藏维度（384），作为序列输入ViT模块，最终通过全连接层与Softmax函数完成分类；
4. 4.
   模型训练：采用70:20:10划分训练/验证/测试集，使用Adam优化器（学习率0.001）和分类交叉熵损失函数训练25轮。

模型性能比较

通过混淆矩阵、准确率、精确度、召回率和F1分数等指标评估模型表现。结果显示，混合模型在多数类别上分类准确率最高，尤其在棉铃腐病和绿色棉铃类别中接近完美识别（准确率≥99%）。CNN模型在局部特征明显的类别（如棉铃腐病）表现优异，但对视觉相似的靶斑病与细菌性角斑病易产生混淆；ViT模型随层数增加性能提升（4层ViT准确率97.2% vs. 2层96.3%），但全局注意力机制可能导致对细微病变的漏检。

注意力机制可视化分析

通过Grad-CAM生成的热力图显示，CNN模型注意力集中于病害局部区域（如蚜虫集群），而混合模型兼顾局部病变与整体叶片上下文。例如对靶斑病的识别中，CNN仅聚焦于病斑边缘，混合模型则能关联病斑分布与周围健康组织，显著降低误判率。

模型效率与部署可行性

混合模型参数量（735万）和体积（88.5 MB）介于CNN（184万参数）与深层ViT（1234万参数）之间，在GPU和边缘设备（Jetson Nano）上的推理时间分别为20 ms和140 ms，平衡了精度与计算成本，适合集成至无人机或田间机器人实现实时病害监测。

结论与展望

本研究证实了CNN与ViT混合架构在棉花病虫害分类中的协同优势：CNN擅长捕捉病灶的局部纹理特征（如病斑边缘、色泽变化），而ViT通过自注意力机制整合全局空间关系，有效区分症状相似的病害（如靶斑病与细菌性角斑病）。混合模型98.5%的综合准确率显著推动农业图像分类任务的性能边界，其注意力机制的可解释性也为模型优化提供方向。未来工作需扩展病害类别覆盖度，引入复杂田间背景数据增强模型鲁棒性，并探索轻量化部署至移动终端，助力精准施药与可持续农业管理。