LeafCLIP：一种用于复杂光照环境下识别户外植物病斑区域的检测方法

《Computers and Electronics in Agriculture》：LeafCLIP: A detection method for the lesion areas of outdoor plants in complex lighting scenarios

针对复杂自然环境下植物病害检测中存在的光照变化、遮挡及标注数据不足等问题，本文提出基于级联CLIP架构的LeafCLIP框架，结合多尺度语义特征对齐与物理感知阴影校正，有效提升检测鲁棒性。实验表明，在多个数据集上，图像级AUROC达0.9900，mAP达0.9973，验证了框架在农业场景中的有效性。

　　

董少华|魏冰|陈倩|张宇

海南大学网络空间安全学院，中国海南省海口市人民大道58号，570228

摘要

在复杂的自然田间条件下进行植物病害检测对可持续农业至关重要，但由于严重的光度变化、频繁的遮挡以及有限的标注数据，这一任务仍然具有挑战性。传统的视觉模型往往难以在现实世界场景中泛化，因为不规则的阴影、茂密的植被和背景杂乱会显著降低检测的准确性和鲁棒性。为了解决这些问题，我们提出了一个基于级联CLIP架构的统一且鲁棒的框架，该框架结合了多尺度语义特征对齐和物理感知的阴影校正。该框架引入了保持结构的合成异常生成来丰富训练多样性，轻量级适配器用于融合多深度CLIP视觉特征以实现精确的病变定位，以及领域特定的可学习文本提示来增强跨模态对齐。此外，我们还设计了一个动态掩码感知的扩散模型，通过联合细化阴影掩码和恢复退化区域来重建光照不变的表示。实验评估表明，我们的方法在多个数据集上的表现达到了最先进水平，例如Image-AUROC和平均精度（mAP）。特别是在水稻叶片图像检测中，我们的方法达到了0.9900的图像级AUROC和0.9973的mAP。总体而言，结果验证了所提出框架在具有挑战性的农业田间条件下的有效性和鲁棒性。

引言

随着气候变异性、病原体进化以及耕作强度的增加，全球粮食安全面临着越来越大的压力，这些因素共同威胁着稳定的作物生产。根据联合国粮食及农业组织（FAO）的预测，到2050年全球人口将接近100亿，需要农业产量增加约60%；然而，植物病害每年仍导致20%–40%的产量损失（世界卫生组织，2023年；Ristaino等人，2021年）。因此，可扩展和自动化的病害监测已成为可持续农业的关键需求。虽然传统的诊断方法（如视觉侦察、血清学检测和分子诊断）具有高精度，但它们仍然依赖人工，成本高昂，并且需要专家人员，这使它们不适合连续的大规模田间监测（Khakimov等人，2022年；Fones等人，2020年）。

近年来，深度学习在视觉病害诊断方面展现了显著的潜力。然而，实验室成功与实际应用之间仍存在显著差距（Barbedo，2016年）。在实际部署中，病害检测越来越多地通过手机、无人机或田间机器人进行。与受控的实验室环境不同，这些设备在快速变化的阳光、植物冠层自阴影和复杂背景下捕捉图像（Salman等人，2025年）。这种环境变化造成了严重的领域差异。例如，Mohanty等人报告称，一个在标准数据集上准确率达到99.35%的深度模型，在野外图像上的准确率下降到了31.4%（Mohanty等人，2016年）。这种定量差异表明，在基准数据集上的高性能并不能保证在复杂农业场景中的鲁棒性。

为室外环境构建可靠的植物病害检测器面临着三个相互关联的挑战，这些挑战已被广泛记录：（i）光照退化和不规则的阴影。 变化的环境光照会导致强烈的光度扭曲，系统性地偏置对病害识别至关重要的颜色和纹理特征（Fuentes等人，2017年；Wang等人，2023年）。（ii）遮挡和复杂的背景。 茂密的植物冠层常常导致叶片重叠和杂乱，阻碍了对小症状区域的精确定位和分割（Wang等人，2021年）。（iii）数据稀缺和标注成本。 专家级像素标注的高成本限制了大规模田间数据集的可用性，阻碍了模型学习多样化的病理模式（Barbedo，2018年）。

在室外植物病害检测中遇到的多种挑战中，光照退化被认为是影响田间推理的一个特别关键因素。虽然可以通过注意力机制或多尺度特征表示部分缓解背景杂乱等问题，但阴影引起的光度变化常常会破坏整个图像上下文中的基本视觉线索（例如，黄化模式）。因此，本工作将光照建模作为稳定特征一致性的必要步骤，然后再进行更高级的语义分析（Wang等人，2023年）。

为了解决这些问题，我们提出了LeafCLIP，这是一个用于在复杂室外光照条件下进行鲁棒病变检测的统一框架。我们的方法将语义对齐的数据增强与物理感知的阴影重建相结合，以弥合有限标注和开放世界部署之间的差距。

首先，为了减少对密集像素标注的依赖并解决Barbedo（2018年）强调的数据稀缺问题，我们引入了保持结构的合成异常生成策略。具体来说，我们设计了CutPaste和GaussIntensityChange模块分别模拟局部结构损伤和颜色扭曲。与仅改变全局统计信息的通用增强方法（例如翻转、旋转）不同，这些策略生成了真实且多样的病变形态，有效地丰富了训练数据集，增加了新的或类似未见过的病变外观，而无需额外的手动标注成本。

其次，为了解决Fuentes等人（2017年）指出的光照退化问题，我们提出了一个Shadow Stable Diffusion模块。我们将阴影形成定义为逐像素的加权乘法过程，并使用动态掩码感知扩散模型（DMDM）来共同重建图像及其阴影掩码。通过整合叶片表面反射率的物理先验，该模块准确恢复了光照不变的表示，即使在强阳光或投射阴影的情况下也能确保推理的稳定性。

第三，为了确保部署的可行性，我们构建了一个配备了轻量级适配器的级联CLIP框架。虽然大型视觉语言模型提供了强大的语义能力，但它们通常会带来较高的计算成本。我们的设计通过冻结CLIP框架并仅训练轻量级适配器和可学习的提示模板来缓解这一问题。这种策略将多尺度视觉特征与特定于疾病的文本概念对齐，确保在遮挡条件下精确定位小病变，同时保持合理的计算预算，适用于潜在的边缘部署。

本文的主要贡献总结如下：

• •
  我们提出了LeafCLIP，一个结合了多尺度语义对齐和阴影感知重建的级联视觉语言框架，以实现复杂室外环境中的鲁棒病害检测。
• •
  我们进一步设计了结构感知的合成异常生成策略（例如CutPaste、Source），这些策略在数据层面多样化病变模式，并在有限的监督下增强了对先前未见异常模式的鲁棒性。
• •
  我们引入了一个基于物理先验的动态掩码感知扩散模型（DMDM），该模型准确模拟了光照退化并恢复了无阴影的叶片细节，确保在不同田间光照条件下的性能一致。

相关工作

由于数据和环境因素的结合，基于实地的植物病害检测在现实世界中仍然具有挑战性。最近的研究表明，标记的田间图像的有限可用性和类别不平衡阻碍了模型训练（Yang等人，2024年）。此外，复杂的室外条件（变化的光照、重叠的植被和杂乱的背景）常常导致检测准确性降低、漏检率升高和推理速度变慢（Wang等人，2021年）。本节

初步工作

本节介绍了所提出框架所需的初步知识。我们没有提供一般的综述，而是重点解释了为什么对比视觉-语言表示在标注有限和复杂田间条件下特别适合植物病害检测，从而为后续的模型设计奠定了基础。

材料与方法

本节详细介绍了提出的LeafCLIP框架。如图1所示，该方法采用了模块化设计原则，每个组件针对实际植物病害检测中常见的特定故障模式。具体来说，由有限标注引起的语义不对齐通过视觉-语言框架来解决，遮挡下的定位不稳定性通过多尺度特征融合来处理，

实验设置

所有实验都在使用PyTorch 1.11.0和Python 3.8（Ubuntu 20.04）的高性能集群上进行。我们使用了两个NVIDIA H20-NVLink GPU（每个具有96GB VRAM）进行分布式训练。我们的模型基于在LAION-400M上预训练的CLIP-ViT-L/14视觉编码器，并采用了多尺度特征融合：我们提取中间层输出（第12层、第18层和第24层），并通过轻量级适配器模块将它们投影到一个共享的512维语义空间中。训练过程如下

结论

总之，本研究提出了LeafCLIP，这是一个基于级联CLIP的框架，用于在复杂田间条件下识别植物病害。所提出的方法结合了多尺度语义特征融合、创新的数据增强和阴影去除模块，有效解决了变量光照、遮挡和有限的真实世界标注数据等关键挑战。主要贡献包括结构化的合成异常生成以丰富病变多样性，以及可学习的

CRediT作者贡献声明

董少华：撰写——原始草稿，软件，数据管理。魏冰：撰写——审稿与编辑，监督，概念化。陈倩：研究，数据管理。张宇：研究，资金获取。

利益冲突声明

作者声明他们没有已知的可能会影响本文所述工作的竞争性财务利益或个人关系。

致谢

本项工作得到了中国国家重点研发计划（编号：2024YFD1400600）和国家自然科学基金（编号：32460644）的支持。