面向叶片病害识别的上下文感知视觉语言基础模型SCOLD：基于软目标对比学习的农业智能诊断新范式

《Expert Systems with Applications》：A Vision-Language Foundation Model for Leaf Disease Identification

本文提出新型视觉语言基础模型SCOLD（Soft-target COntrastive Learning for Leaf Disease Identification），通过融合对比学习与标签平滑技术，构建包含18.6万图像-文本对的大型领域数据集LeafNet。该模型在零样本/少样本分类、图文检索等任务中显著超越LLaVA 1.5、BioCLIP等主流模型，为农业多模态智能诊断提供创新解决方案。

　　

亮点

下游任务（包括零样本分类、少样本分类和图文检索）的结果在表8、表9、表10和11中显示，突显了SCOLD的卓越性能和泛化能力。在所有评估的OOD（Out-of-Distribution）数据集中，采用较低配置的SCOLD模型持续优于CLIP、SigLIP2和BioCLIP，在准确率和检索精度方面均有显著提升。这些结果证明了所提出框架在应对真实农业环境中复杂挑战的有效性。

讨论

SCOLD的成功可归因于其创新的软目标对比学习机制，该机制通过标签平滑缓解了嵌入空间的过度自信问题。与依赖ImageNet预训练的传统方法不同，我们的领域特定预训练使模型能够捕捉叶片病害的细微视觉特征与文本症状描述之间的深层语义关联。特别是在少样本场景下，上下文感知的标签平滑技术显著增强了对相似病害类别的区分能力，例如区分小麦锈病与生理性枯斑这类易混淆情况。

结论

本文介绍了SCOLD，一个专用于叶片病害识别的领域特定视觉语言基础模型。通过在多下游任务（包括零样本分类、少样本分类和图文检索）上的广泛实验，研究证明了其有效性。同时，研究还精心收集并提出了LeafNet数据集作为植物叶片病害研究的基础。此外，在LeafNet上预训练的SCOLD模型实现了卓越性能，为未来智能农业应用奠定了坚实基础。