HCA-CLIP：面向少样本植物病害识别的层次化上下文感知自适应方法

《European Journal of Agronomy》：HCA-CLIP: Hierarchical context-aware adaptation for few-shot plant disease recognition

　　

•HCA-CLIP将视觉-语言模型适配到少样本植物病害识别任务。•分层差分精化机制恢复细粒度的病害线索。•多视角有监督对比学习提升特征的区分能力。•自适应去混淆模块校准预测结果以降低类别歧义。•HCA-CLIP在极少标注样本条件下表现强劲。

引言

植物病害通过降低作物产量并对农业社区造成巨大经济损失，对全球粮食安全和农业可持续性构成持续威胁（Bouacida等，2025，Salka等，2025，Shoaib和Sadeghi-Niaraki，2025，Upadhyay等，2025）。因此，准确及时的病害识别对于有效的作物管理和精准农业至关重要。过去十年间，深度学习显著推动了植物病害自动识别的发展，从卷积神经网络进展到能够学习复杂视觉模式的视觉Transformer（Lin和Chen，2025，Padhi等，2025，Sarkar和Gupta，2023，Wang和Nguyen，2024，Wu和Zhang，2026）。然而，大多数现有方法依赖大规模精心标注的数据集才能达到令人满意的效果（Sun等，2024）。在实际农业场景中，这样的数据需求往往难以满足，因为病害的发生具有季节性，新出现的病害可能只有有限数量的可用样本，且专家标注成本高昂。因此，当仅有少量标注图像可用时，传统数据密集型模型容易出现过拟合和显著的性能下降。这些局限性促使人们日益关注少样本学习在植物病害识别中的应用（Bedi和Gole，2024，Hepsag，2023，Rezaei和Diepeveen，2024）。

现有的少样本植物病害识别方法主要依赖单模态视觉表示，采用度量学习、原型学习、特征注意力、数据增强和轻量级网络设计等策略（Li和Yang，2023，Zhang等，2025b，Zhou等，2023）。例如，Rezaei等（2024）将视觉Transformer与特征注意力结合，以在有限数据条件下改善表示学习。Zhao等（2024）提出了MAFDE-DN4，利用背景加权机制减少复杂田间环境的干扰。Yan等（2024）开发了Prune-FSL，通过模型剪枝降低计算成本，而Bedi等（2024）提出了PDSE-Lite，在病害严重度评估性能和模型效率之间取得平衡。最近，Zhang等（2025a）引入了MAF-MixNet，整合混合注意力和多路径特征融合，以增强局部病害症状的表示能力。尽管这些方法改善了视觉特征提取，但它们仅依赖图像信息的局限性限制了利用跨模态语义先验的能力。因此，在仅有几个标注样本可用时，它们可能难以区分视觉症状高度相似的病害类别。

视觉-语言模型通过迁移从大规模图文对中学到的知识，提供了一种有前景的替代方案。例如，CLIP（Radford等，2021）将视觉和文本输入映射到共享的嵌入空间，并展现出向下游识别任务迁移的强大能力。现有的CLIP适配方法大致可分为提示学习、特征适配和基于缓存或原型的方法。CoOp和CoCoOp优化连续文本提示以改善下游适配（Zhou等，2022a，Zhou等，2022b），而CLIP-Adapter引入轻量级瓶颈层来精炼下游视觉表示（Gao等，2024）。Tip-Adapter从少样本样本构建键值缓存，作为传统微调的高效替代方案（Zhang等，2022）。其他方法，包括CaFo和APE-T，引入外部基础模型知识或精炼类间关系以改善少样本适配（Zhang等，2023，Zhu等，2023）。最近的研究集中在图文原型对齐和预测歧义问题上。Proto-CLIP增强了图像原型和文本原型之间的交互（Jaykumar等，2024），TIMO采用相互引导来纠正图像和文本质量的差异（Li等，2025b），LDC通过多层次适配器融合和logit去混淆减少类间歧义（Li等，2025a）。

尽管这些方法在通用识别基准上表现有效，但现有的CLIP适配方法并未明确解决植物病害的细粒度特征问题。如图1所示，通用物体类别通常可以通过全局结构线索加以区分，而植物病害主要通过病斑纹理、颜色、形状和空间分布的细微变化来区分。不同病害可能表现出高度相似的症状，而同一病害的外观可能因病害严重度、光照条件、背景干扰和成像条件而有显著差异。此外，CLIP是在通用图文对上预训练的，因此倾向于强调高层语义概念而非病害鉴别所需的细粒度病理线索。现有的适配方法主要修改提示、最后一层特征、原型或分类logit，但很少在预测校准之前利用中间视觉表示中的互补信息。因此，细粒度病害线索可能仍未得到充分利用，而视觉相似类别之间可能仍存在残余歧义。这些局限性表明需要一种渐进式改进病害特异性表示的适配策略，从特征精化到决策校准逐步进行。

因此，本研究有三个主要目标。首先，我们旨在从CLIP中间特征中恢复互补的病理细节，以提高冻结的视觉骨干网络的细粒度区分能力。其次，我们旨在在有限监督条件下进一步结构化精炼后的病害表示，以减少类内变异并增强类间可分性。第三，我们旨在自适应协调通用视觉-语言知识与病害特异性视觉证据，以缓解视觉相似病害类别之间的预测歧义。

为实现这些目标，我们提出了HCA-CLIP，一种用于少样本植物病害识别的分层上下文感知适配框架。HCA-CLIP建立了从特征精化到表示增强再到预测校准的渐进式适配过程。分层差分特征精化（HDFR）模块利用中间视觉特征中的互补信息来增强细粒度病害表示。多视角有监督对比学习（MVSCL）随后通过改善类内紧致性和类间可分性来组织精炼后的特征空间。最后，自适应去混淆（ADC）模块动态协调通用CLIP预测与病害特异性视觉证据，以纠正残余的分类歧义。所提出的框架在PlantVillage、AI Challenger 2018和SPD数据集上进行了评估，在1-shot、2-shot、4-shot、8-shot和16-shot设置下测试其有效性，涵盖受控环境、细粒度环境和复杂田间环境。

**分段摘要**

**问题定义与CLIP基础**

问题定义：在基于CLIP的少样本植物病害识别中，我们的目标是仅使用有限数量的标注样本将预训练的视觉-语言模型适配到目标农业数据集上。形式化地，设??????????????表示具有标签空间??={1,…,??}的目标数据集，其中N为病害类别数。遵循标准的N-way K-shot设置，从每个类别中采样K张标注图像以构建支持集??。因此，|??|=????，支持集定义为：

**与现有方法的比较**

为评估HCA-CLIP的有效性，我们将其与代表性的CLIP少样本适配方法进行对比，包括CoOp（Zhou等，2022b）、Tip-Adapter-F（Zhang等，2022）、APE-T（Zhu等，2023）、Proto-CLIP-F（Jaykumar等，2024）、2SFS（Farina等，2025）、TIMO-S（Li等，2025b）、LDC（Li等，2025a）和TOGA（Mohammad等，2026）。图6总结了这些方法在PlantVillage、AI Challenger 2018和SPD数据集上不同K-shot设置下的平均分类准确率。

**与现有方法的机制级比较**

现有的基于CLIP的少样本适配方法主要通过修改提示、缓存表示、原型或适配策略来改善下游性能。CoOp在保持预训练CLIP参数不变的情况下学习连续文本上下文，从而将文本端适配到下游任务。Tip-Adapter从少样本视觉特征和标签构建键值缓存，而Tip-Adapter-F进一步优化缓存表示以提高适配效果。APE-T精炼……

**结论**

在本研究中，我们提出了HCA-CLIP，一种用于少样本植物病害识别的分层上下文感知适配框架。该框架通过三个互补阶段逐步将通用CLIP知识适配到细粒度病害识别。HDFR利用中间视觉表示恢复最终CLIP特征中可能表示不足的互补病理线索。MVSCL进一步提升精炼后特征的紧致性和可分性。

**CRediT作者贡献声明**

Jianwu Lin：撰写——审阅与编辑，撰写——初稿，软件，方法论，调查研究，数据整理，概念构思。Yongbin Qin：撰写——审阅与编辑，方法论，形式分析。Shuang Yan：调查研究，形式分析，数据整理。Xiaoyulong Chen：撰写——审阅与编辑，撰写——初稿，监督指导，资源，经费获取，概念构思。Xin Zhang：撰写——审阅与编辑，撰写——初稿，监督指导，方法论。

**生成式AI及AI辅助技术在写作过程中的声明**

在本文准备过程中，作者使用了ChatGPT以提高稿件的可读性和语言质量。使用该工具后，作者对内容进行了审阅和编辑，并承担已发表文章内容的全部责任。

**利益冲突声明**

作者声明不存在可能影响本文所述工作的已知竞争性经济利益或个人关系。

**致谢**

本研究得到国家自然科学基金（32360705，32542010）、贵州省科技计划项目（CXTD[2025]041，GCC[2023]070，HZJD[2022]001，2019-1410）、高等学校学科创新引智计划（111计划；D20023）以及贵州省研究生科研启动基金（2024YJSKYJJ043）的资助。

Jianwu Lin | Yongbin Qin | Shuang Yan | Xiaoyulong Chen | Xin Zhang