《Smart Agricultural Technology》：Multimodal Approach for Fruit Disease Identification Using Vision Language Models and Image Embeddings
编辑推荐：
精确检测水果病害对于防止质量下降、最小化产量损失以及在果园系统中实现及时干预至关重要。尽管卷积神经网络（CNN）和基于Transformer的模型在精心整理的数据集上表现出强大性能，但它们对大规模标注数据集、微调以及仔细模型优化的依赖限制了其在未见过的水果类型
精确检测水果病害对于防止质量下降、最小化产量损失以及在果园系统中实现及时干预至关重要。尽管卷积神经网络（CNN）和基于Transformer的模型在精心整理的数据集上表现出强大性能，但它们对大规模标注数据集、微调以及仔细模型优化的依赖限制了其在未见过的水果类型、病害类别以及异质实景图像上的表现。这项研究工作提出了一种非参数多模态水果病害诊断框架，该框架整合了来自基础模型（foundation models）的视觉和语义表征。两个视觉语言模型（VLM），Qwen-VL和LFM-VL，被用于生成病害症状的自然语言描述，而自监督视觉编码器DINO-v2和视觉Transformer（ViT）被用于从水果图像中提取鲁棒的视觉嵌入。这些互补特征被整合，并使用基于质心的方法进行分类，从而实现无需参数更新或监督训练的病害识别。对于果园尺度图像，应用开放词汇零样本检测器（LLMDet）来定位水果实例，然后对检测到的水果进行分类，并将预测的病害标签重新映射回原始图像，以实现精确的对象级诊断。为了支持系统评估，研究人员考虑了来自多个公共数据集和具有挑战性的实景果园环境中的多样化水果图像集合。实验结果表明，所提出的多模态方法在涵盖六种水果类型的八个数据集上实现了平均92%的准确率，包含9,520张图像，这些图像在尺度、症状外观和背景条件方面具有显著变化。所提出的方法减少了对大量手动标注和复杂训练流程的依赖，同时在真实农业环境中实现了鲁棒且可扩展的水果病害诊断。
水果病害检测是现代农业的重要环节，传统人工评估费时且主观，而基于卷积神经网络（CNN）或Transformer的深度学习方法在控制环境下表现优异，但其依赖大规模标注数据、超参数调优及模型微调，导致泛化能力弱，难以适应多种水果、病害及实景果园的复杂条件（如遮挡、阴影、光照变化）。为突破这些局限，研究人员提出一种非参数多模态融合框架，通过整合视觉语言模型（VLM，如Qwen-VL、LFM-VL）的语义描述能力与自监督视觉编码器（DINO-v2、ViT）的图像嵌入能力，结合基于质心的余弦相似度分类器，实现无需参数更新的零样本病害识别。该研究在8个公开及自采数据集（涵盖6种水果，共9,520张图像）上验证，平均准确率达92%，显著减少了对标注和训练资源的依赖，为实际果园中的鲁棒、可扩展病害诊断提供了新方案。论文发表于《Smart Agricultural Technology》。
主要关键技术方法：本研究使用两种视觉语言模型（VLM）——Qwen-VL和LFM-VL——生成病害症状的自然语言描述，并通过词频-逆文档频率（TF-IDF）与L2归一化转化为语义特征向量。同时，采用自监督视觉编码器DINO-v2和视觉Transformer（ViT）提取图像视觉嵌入。两类特征通过加权线性融合（得分级融合），由基于质心的余弦相似度分类器进行无参数分类。对于果园图像，先采用开放词汇零样本检测器LLMDet（以Swin-Large为图像编码器）定位水果实例，裁剪后分类，再将细粒度标签回填至原图。数据集来源包括公开数据集D1（水果腐烂分类）、D2（苹果和番石榴多病害）、D3（番石榴单一病害）以及自行采集的桃子果园数据集D4（来自巴基斯坦开伯尔-普赫图赫瓦省，使用多款手机拍摄，含遮挡、光照变化等实景挑战）。
研究结果：
**4.2. 使用LLMDet的水果检测**：通过手动标注1,946个桃子果实，评估LLMDet的零样本检测性能。设置阈值0.35时，检测精度0.92、召回率0.95、F1值0.93，平均交并比（IoU）为0.64，证明模型在复杂果园环境下（遮挡、阴影、尺度变化）能有效定位果实。
**4.3. 水果病害分类**：在8个数据集（6种水果）上，采用最优融合权重（通过5折交叉验证选取）进行测试。总体平均准确率92%，其中D1-番石榴在Qwen-VL+ViT融合下达100%准确率；D3-番石榴在LFM-VL+ViT融合下达95.8%，超过监督模型Swin-Transformer；桃子果园数据集D4在Qwen-VL+DINO融合下达88.8%。跨数据集实验（D2→D3和D3→D2）显示，LFM-VL+DINO融合分别获得85.7%和93.3%的F1值，表明语义-视觉融合特征在不同采集条件下保持辨识力。
**4.4. 消融研究：融合策略与分类器选择**：比较得分融合与特征拼接、质心法与kNN（k=5），以及零样本CLIP基线。得分融合+质心法在多数数据集上表现稳定，如D4桃子得F1值86.1%；特征拼接+kNN在D1草莓上达99.3%F1值。单模态基线（DINO、ViT、Qwen-VL、LFM-VL单独使用）普遍低于多模态融合结果，零样本CLIP仅获48.7%-63.5%F1值，证实多模态融合显著提升判别能力。
总结讨论：尽管所提非参数框架在多个数据集上表现稳定，实景复杂条件（严重遮挡、弱症状可见性、采集条件变化）仍影响VLM生成的症状质量及分类性能。未来需通过轻量微调（如LoRA）、高效提示策略及多原型合并等方法进一步增强泛化能力。研究结论部分翻译如下：这项研究引入了一种多模态框架，通过结合Qwen-VL和LFM-VL视觉语言模型的语义推理功能，以及DINO-v2和ViT编码器的强大视觉特征，来检测水果病害。该方法不依赖模型微调，而是采用轻量级的得分级融合和基于质心的推理策略，整合语义与视觉信息进行病害分类。通过在八个数据集（六种水果类型）上的实验，总体平均准确率达到92%，与现有监督技术相当。该框架旨在减少对大规模标注数据和模型参数优化的需求，提供有效且可扩展的解决方案。
