《Computers》：Global-Local Feature-Based Rice Leaf Disease Classification Using Two-Stream Deep Neural Network Feature Fusion
编辑推荐：
水稻叶部病害显著影响作物健康和产量潜力，因此需要准确及时的病害诊断。许多现有方法仍依赖单流特征提取架构，这可能限制其同时捕获全局上下文信息和细粒度病害特征的能力。此外，有限的可解释性和决策支持能力阻碍了这些方法在实际水稻种植中的部署。为解决这些局限性，研究人员
水稻叶部病害显著影响作物健康和产量潜力，因此需要准确及时的病害诊断。许多现有方法仍依赖单流特征提取架构，这可能限制其同时捕获全局上下文信息和细粒度病害特征的能力。此外，有限的可解释性和决策支持能力阻碍了这些方法在实际水稻种植中的部署。为解决这些局限性，研究人员采用了一个由两条并行特征提取流组成的框架，旨在捕获病害模式的不同特征。第一条流使用Swin Transformer（一种基于移位窗口的视觉Transformer）来学习叶部图像的全局上下文信息与长程空间关系。第二条流采用ConvNeXt（一种现代卷积架构）来提取局部纹理特征，包括病斑细节、斑点和颜色变化。通过结合这些互补表示，该框架有效整合了全局语义信息与局部病害特异性特征，以提升分类性能。来自两条流的提取特征通过拼接和随后的注意力（Attention）特征细化模块进行融合，从而实现对判别性特征的自适应加权。细化后的表示随后由全连接分类器用于病害预测。为增强模型可解释性，研究人员集成了Grad-CAM（梯度加权类激活映射）可视化，以突出病害相关区域，并为模型决策提供视觉解释。此外，研究人员还集成了一个基于大语言模型（LLM）的咨询模块，作为诊断后决策支持组件，根据预测的病害类别提供情境化的病害管理信息和建议。生成的建议旨在支持而非替代专家农艺建议，并且在实际应用前应由农业专业人员验证。所提框架在两个水稻叶部病害数据集上进行了评估，在数据集-1（Dataset-1）和数据集-2（Dataset-2）上分别达到了99.55%和97.06%的准确率，高于此前研究报告的结果。此外，对数据集-1进行五折交叉验证（five-fold cross-validation）的平均准确率为98.91% ± 0.47，证明了所提方法的稳定性。使用两个数据集中共有的9种常见病害类别进行跨数据集评估（cross-dataset evaluation）达到了90.80%的准确率，表明在不同数据分布下具有更好的泛化能力。该框架为智能农业应用中的水稻叶部病害诊断提供了一种准确且可解释的方法。
**研究背景、问题与意义**
水稻（*Oryza sativa*）作为全球半数以上人口的主要口粮，其产量持续受到多种叶部病害（如颈瘟、叶灼病、纹枯病、窄褐斑病、叶瘟、稻潜叶蝇、褐斑病、白叶枯病等）的威胁。传统依赖专家目视检查与实验室分析的方法耗时费力，且难以覆盖偏远地区的小农户，延误诊断可能导致农药滥用与成本增加。近年来，基于深度学习的卷积神经网络（CNN）在植物病害分类中展现出潜力，但其局部感受野限制了捕获长程依赖与全局上下文信息的能力。视觉Transformer（ViT）虽能通过自注意力建模全局关系，但通常需要大量数据与计算资源，且现有系统普遍缺乏可解释性与决策支持功能。为克服上述局限，研究人员提出了一种双骨干互补表示学习框架，融合Swin Transformer（捕获全局上下文与长程空间关系）与ConvNeXt（提取局部纹理、病斑细节等细粒度特征），通过注意力特征融合模块自适应整合互补表示，并集成Grad-CAM可解释性可视化与基于大语言模型（LLM）的诊断后咨询模块，以实现准确、可解释且实用的水稻叶部病害诊断。该研究发表在《Computers》期刊上。
**主要关键技术方法**
研究人员使用两个公开Kaggle数据集：Dataset-1（11,790张图像，9类，包括健康叶及8种病害）和Dataset-2（11,250张图像，12类，涵盖多种病害）。图像预处理包括统一缩放到224×224像素、ImageNet归一化及数据增强（随机水平翻转、旋转、颜色抖动）。核心方法为双骨干并行特征提取：Swin Transformer流通过分层移位窗口自注意力学习全局语义；ConvNeXt流通过深度可分离卷积提取局部纹理。两流特征经全局平均池化后，通过可学习标量权重（经Softmax归一化）进行注意力融合，而非简单拼接。融合特征送入全连接分类器。Grad-CAM生成热力图突出决策区域。LLM（Gemini-2.5-Flash）仅作为诊断后咨询组件，根据预测类别生成描述、症状、原因、治疗、预防等结构化建议，但不参与分类。
**研究结果**
*5.2.1 Baseline Comparison on Dataset-1*：在Dataset-1上，所提框架以99.55%准确率、99.56% F1-score超越ConvNeXt-Tiny（98.69%）、Swin Transformer（98.30%）、EfficientNetV2（98.24%）和ResNet50（97.90%），验证了双骨干互补学习与注意力融合的有效性。
*5.2.2 Ablation Study*：消融实验显示，单独使用ConvNeXt或Swin Transformer准确率分别为98.69%和98.30%；简单拼接提升至98.75%；等权重融合（各0.5）达99.20%；引入注意力融合后达99.55%，证明自适应权重对判别特征学习的关键作用。
*5.2.3 Class-Wise Performance Analysis on Dataset-1*：所有9类病害的F1-score介于0.98至1.00，其中褐斑病、健康叶、颈瘟、稻潜叶蝇达到完美分类，窄褐斑病略低，但整体表现均衡。
*5.2.4 Learning Curve Analysis for Dataset-1*：所提框架收敛更快、训练更稳定，验证损失仅0.493，优于单骨干模型，表明注意力融合机制稳定了优化过程。
*5.2.5 Confusion Matrix Analysis for Dataset-1*：混淆矩阵显示所提框架对角占优，仅少量误分类发生在视觉相似类别（如白叶枯病与褐斑病），而基线模型误分类更多。
*5.3.1 Baseline Comparison on Dataset-2*：在更复杂的Dataset-2上，所提框架以97.06%准确率、96.75% F1-score领先于Swin Transformer（96.31%）、ConvNeXt（96.26%）等基线，验证了跨数据集泛化能力。
*5.3.2 Class-Wise Performance Analysis on Dataset-2*：12类中F1-score范围为0.9398至0.9983，死心枯病最高，霜霉病与纹枯病略低，但整体表现稳健。
*5.3.3 Learning Curve Analysis for Dataset-2*：所提框架在约15个epoch后收敛，训练与验证损失曲线平滑，过拟合小，而基线模型波动较大。
*5.3.4 Confusion Matrix Analysis for Dataset-2*：所提框架对角占优优于基线，误分类主要发生在视觉相似类别（如霜霉病、稻潜叶蝇、健康叶与纹枯病）。
*5.4.1 Five-Fold Cross-Validation*：五折交叉验证平均准确率98.91%±0.47%，F1-score 99.12%±0.42%，表明框架对数据划分不敏感，稳定性高。
*5.4.2 & 5.4.3 Independent Cross-Dataset Evaluation*：在跨数据集评估（9类对齐）中，所提框架以90.80%准确率、86.03% F1-score显著优于ConvNeXt（88.81%）、Swin Transformer（86.46%）等，证明其在域偏移下的强大泛化能力。
*5.4.4 Cross-Dataset Confusion Matrix Analysis*：跨数据集混淆矩阵中，所提框架对角优势明显，误分类少于基线，归因于互补特征与注意力融合。
*5.4.5 ROC-AUC Analysis*：所提框架的ROC曲线下面积高于基线，表明更强的类别区分能力。
*5.5 Comparison with State-of-the-Art Methods*：与近期文献相比，所提框架在Dataset-1上达到99.55%准确率，优于多数基于单一CNN或Transformer的方法，且额外提供了可解释性与咨询功能。
*5.6 Computational Complexity Analysis*：所提框架含57.45M参数、8.83 GFLOPs，推理速度56.66 FPS，虽高于单骨干，但性能提升显著，且满足实时Web部署需求。
*5.7 Explainability Analysis Using Grad-CAM*：Grad-CAM热力图显示模型聚焦于病斑、损伤组织等病害相关区域，而非背景，验证了特征学习的生物学相关性。
*5.8 Real-Time Deployment and LLM-Based Advisory System*：框架集成于Hugging Face Web平台，用户上传图片后获得分类结果、置信度、Grad-CAM热力图及LLM生成的病害管理建议，实现了从诊断到决策支持的一体化。
**讨论与结论**
讨论部分指出，Grad-CAM可视化证实模型关注有意义的病害症状，但热力图不代表精确病灶边界；LLM咨询模块仅提供建议，需经农业专家验证后才能正式推广。计算复杂度分析表明，尽管参数较多，但可满足实时Web应用，未来可开发轻量版用于移动端。结论部分翻译如下：
本研究提出了一种双骨干互补表示学习框架，用于准确、可解释且实际可部署的水稻叶部病害诊断。水稻病害严重影响农业生产力和粮食安全，凸显了智能可靠自动诊断系统的必要性。为克服现有单骨干方法难以同时捕获全局病害模式与细粒度局部视觉特征的局限，所提框架通过互补特征学习策略整合了Swin Transformer与ConvNeXt。该框架有效结合了来自Swin Transformer流的全局上下文表示与来自ConvNeXt流的局部纹理表示。此外，引入注意力特征融合模块自适应学习不同特征分量的重要性，使模型相比传统拼接策略能生成更具判别力的病害表示。Grad-CAM可视化通过突出病害相关区域提升了模型可解释性，而基于LLM的咨询模块在诊断后生成病害特异性管理建议，将框架扩展至实际农业决策支持。对水稻叶部病害数据集的广泛实验证明了所提方法的有效性。尽管性能优异，当前框架主要针对基于图像的水稻叶部病害分类，且依赖代表性训练样本。未来研究将拓展至更大更多样的田间数据集，开发用于移动和边缘农业应用的轻量版，并整合天气、土壤等环境信息以实现更全面的作物健康监测，同时探索将视觉诊断与农业领域知识结合的先进多模态学习方法。
