《Frontiers in Agronomy》：A Vision Transformer-based few-shot learning approach for leaf disease classification
编辑推荐：
植物病害检测常因缺乏大规模、带标注的图像数据集而受阻，这是标准深度学习的关键局限。小样本学习（Few-shot Learning, FSL）通过将数据丰富的源域中学到的比较策略迁移至新的低数据目标任务，以应对该挑战。本文研究了这一知识迁移过程的稳健性与局限性。
植物病害检测常因缺乏大规模、带标注的图像数据集而受阻，这是标准深度学习的关键局限。小样本学习（Few-shot Learning, FSL）通过将数据丰富的源域中学到的比较策略迁移至新的低数据目标任务，以应对该挑战。本文研究了这一知识迁移过程的稳健性与局限性。首先识别出一个关键的“度量域差距”（metric domain gap），证明当FSL模型在视觉上不相似的源域上进行元训练时，即使搭配最先进的特征提取器，其比较策略也可能灾难性失效。为解决该问题，研究人员提出一种协同训练策略，将关系网络（relation network）的域内元学习与视觉Transformer（Vision Transformer, ViT）骨干网络的同步微调相结合。该方法确保特征表示与相似性度量针对目标域协同适应。最终模型ViTRelNet证明了该方法的有效性，在仅使用每类五个样本的情况下，在未见过的Jamun、Guava和Cassava病害基准上分别实现了稳健的87.38%、92.72%和91.79%准确率，有效解决了该任务中的数据稀缺挑战。
一、研究背景与问题提出
植物病害是全球粮食安全的最大威胁之一，每年可导致高达40%的作物产量损失。联合国于2020年宣布为“国际植物健康年”，而到2050年全球人口预计将超过100亿，粮食产量需提升约60%才能满足需求。叶片作为光合作用的主要场所，其病害（由真菌、细菌或病毒病原体引起）会显著降低农产品的数量与质量。
植物叶片病害自动分类领域经历了三个主要发展阶段。早期方法依赖手工特征提取，通过阈值分割和K-means聚类等算法分离病斑，再使用支持向量机、K近邻和人工神经网络等经典分类器。这些方法在受控条件下有效，但对光照和成像条件变化高度敏感，性能受限于手工特征的质量。深度学习的出现带来范式转变，卷积神经网络（CNN）直接从原始像素学习判别性表示，迁移学习使预训练模型能够针对病害任务微调。VGG、ResNet、Inception和DenseNet等架构建立了强基线，轻量级变体MobileNet和EfficientNet则实现了在智能手机和无人机等资源受限设备上的部署。然而，所有这些方法都依赖大规模、高质量标注的数据集，这对稀有、新发或地域特定的植物病害而言难以满足。
近期研究尝试通过架构创新解决数据依赖问题，包括ViT与CNN分类头的混合模型、软分割令牌嵌入、生成式数据增强（如两阶段GAN）和神经架构搜索等。但这些方法引入显著的计算开销，且依赖足够的基数据用于生成模型训练，在真正低数据场景下不切实际。小样本学习（FSL）作为更直接的原则性解决方案应运而生，使模型仅从少量标注样本中分类新病害类别。然而，跨域FSL场景中出现了重大挑战：当源域和目标域在视觉特征、成像条件和病害形态上存在差异时，现有FSL方法（包括冻结骨干网络和相似度度量变体）在未见过的域上表现出急剧的性能下降。这揭示了关键的“度量域差距”：即使特征提取器能产生完全可判别的嵌入空间，可学习的相似度度量（即使在与源域语义差异很大的域上训练）也可能无法有效利用该空间。这一问题在植物病害FSL文献中未得到足够重视，多数方法仅在源数据集自身的留出类上测试。
二、研究内容与结论
针对上述问题，研究人员开展了深入的方法论分析，提出了一种协同训练策略，同时微调视觉Transformer（ViT）骨干网络并在域内数据上元学习关系网络，证明特征空间和度量空间的协同适应对跨域小样本分类至关重要。最终模型ViTRelNet在三个完全未见过的目标数据集上取得了优异性能：Guava数据集（二分类）平均准确率92.72%（±0.63%），Cassava数据集（三分类）91.79%（±0.54%），Jamun数据集（二分类）87.38%（±0.84%），均远超随机基线。消融实验证实，骨干网络微调是性能提升的主要贡献者，同时降低了各数据集的片段方差。与现有方法对比，ViTRelNet在更严格的跨域条件下超越了同域方法（最高90.70%）和跨域基线SC-FSL（5-shot仅68.29%），提升幅度达19.09%–24.43%。该研究的重要意义在于证明了协同适应特征提取器和相似度度量是跨域小样本分类的关键，为资源受限的农业场景提供了可直接部署的病害诊断方案。
三、关键技术方法
研究人员采用了以下主要技术方法：使用ImageNet预训练的vit_base_patch16_224视觉Transformer（ViT-B/16）作为特征提取器，仅解冻最后三个Transformer编码器块（共12块）进行微调，保留其余9块冻结以防止灾难性遗忘；采用10-way 5-shot的片段式任务构建协议，从PlantVillage数据集的38个类别中随机采样，共执行2,500个训练片段；通过平均K个支持图像的ViT嵌入生成类原型（prototype）；设计两层的MLP关系网络作为可学习的非线性相似度度量，输入为查询嵌入与类原型拼接的1,536维向量，隐藏层256个单元使用ReLU激活，输出层使用Sigmoid激活生成[0,1]的关系分数；采用均方误差（MSE）损失函数和Adam优化器，ViT使用学习率1×10-5，关系网络使用1×10-4的双学习率方案；训练图像应用随机水平翻转（p=0.5）、±20°随机旋转、颜色抖动（亮度、对比度、饱和度∈[0.8,1.2]，色相∈[-0.1,0.1]）和ImageNet归一化等数据增强。训练数据来自PlantVillage数据集（14种作物、38类、约54,305张图像），测试数据包括Guava和Jamun数据集（来自A Database of Leaf Images，Nikon D5300相机拍摄）以及Cassava数据集（来自Mendeley数据库，512×512野外图像）。
四、研究结果
4.1 训练准确率：通过300个片段试验评估，Guava数据集平均准确率92.72%（±0.63%），Cassava数据集91.79%（±0.54%）且置信区间最紧，Jamun数据集87.38%（±0.84%）但片段方差较高（7.45%），归因于病害与健康Jamun叶片间细微的形态学相似性。三个数据集从首个片段起即无热身期或性能漂移，证实协同适应产生即时的跨域可迁移表示。
4.2 训练损失：MSE损失曲线显示前500个片段快速下降（从0.10降至约0.02），随后逐步细化，至第2,000个片段完全收敛至接近零损失，证实特征提取器与可学习相似度度量的稳定联合优化且无过拟合。
4.3 混淆矩阵：Guava数据集病害类召回率93.3%、健康类91.9%，错误均匀分布；Cassava三分类中Blight、Mosaic和Healthy类召回率分别为93.3%、91.5%和94.8%，离对角线错误在2.4%–4.7%之间；Jamun数据集病害类正确分类88.2%、健康类86.6%，健康类假阴性率略高（13.5%）。识别出两种失败模式：Jamun的细粒度形态相似性和Cassava病害模式间的视觉重叠。
4.4 t-SNE特征空间可视化：t分布随机邻域嵌入（t-SNE）可视化确认微调后的ViTRelNet在三个未见数据集上产生结构良好、可判别的嵌入。Guava数据集病害与健康聚类占据明显不同区域；Cassava数据集健康类形成紧密隔离的聚类，而Blight与Mosaic聚类间存在显著重叠，与混淆矩阵中的误分类直接对应；Jamun数据集中心区域存在更大的类间重叠，反映病害状态间的细粒度形态相似性。
4.5 每类指标：Guava数据集病害类精确率92.0%、召回率93.3%、F1 92.7%，健康类精确率93.2%、召回率91.9%、F1 92.5%，平均准确率92.6%；Cassava数据集三个类F1值紧密聚集在91%–92%（91.7%、91.6%、91.7%），平均准确率91.7%，显示模型无类别偏好；Jamun数据集病害类精确率86.8%、召回率88.2%、F1 87.5%，健康类精确率88.0%、召回率86.6%、F1 87.3%，平均准确率87.4%。
4.6 K-shot稳健性：1-shot情况下Guava达84.5%、Cassava达86.0%、Jamun达77.6%，均显著高于各自随机基线（50%、33.33%、50%）。随K从1增至5，所有数据集准确率提升，Guava在15-shot达94.8%，Cassava在5-shot达93.3%，Jamun在15-shot达88.5%。5-shot后提升幅度微小，验证了每类5个支持样本为该框架的最优值。
4.7 计算复杂度：元训练在单块NVIDIA Quadro RTX 4000 GPU上完成2,500个片段耗时92.4分钟（约2.22秒/片段）。元测试时每个查询图像仅需一次前向传播，计算开销低，适合中端GPU硬件部署。
4.8 消融研究
4.8.1 骨干微调效果：对比冻结ViT+RelNet与微调ViT+RelNet，Guava数据集从87.52%提升至92.72%（+5.20个百分点），Cassava从83.87%提升至91.79%（+7.92个百分点），Jamun从83.13%提升至87.38%（+4.25个百分点）。微调一致降低了所有数据集的片段方差，且在三分类Cassava任务上提升最显著，证实骨干适应在目标域含多个细粒度病害类别时最为关键。
4.8.2 每类指标：微调模型的宏平均精确率、召回率和F1分数均提升5%–8%，且各配置的精确率与召回率数值相近，表明性能差异并非由类别预测偏差引入。微调模型标准差的降低表明域适应特征产生更一致的原型表示。
4.8.3 与现有方法比较：同域方法中最高准确率为Prune-FSL的90.70%和PMF+FA的90.12%（5-way 5-shot），ViTRelNet在更困难的跨域设置下以92.72%（Guava）和91.79%（Cassava）超越两者。与最相关的跨域基线SC-FSL相比，ViTRelNet在5-shot设置下提升19.09%–24.43%，在1-shot设置下提升28.48–35.38个百分点。需注意SC-FSL的域差距主要来自成像条件变化（实验室到田间），而ViTRelNet面临完全物种迁移、全新病害类别和成像条件变化的三重域差距。
五、讨论与结论
讨论部分指出，特征适应和度量适应是相互强化的：微调ViT骨干产生域适应嵌入，使关系网络能更有效地比较，同时提供任务特定的梯度信号指导骨干适应方向。骨干微调在视觉最复杂的三分类Cassava任务上提升最显著，支持骨干适应在目标域含多个细粒度病害类别时最重要的观点。当前局限包括N>3分类任务性能下降、对严重成像条件（如过度曝光）的敏感性，以及缺乏更多样化真实田间条件的评估。
研究结论为：植物病害分类在真实农业场景中主要受限于标注数据可用性以及现有FSL模型跨视觉不同域的泛化能力。本研究识别出关键的度量域差距，强调需协同适应相似度度量与特征提取器。ViTRelNet在三个形态多样的未见数据集上以5-shot实现87.38%–92.72%准确率，超越冻结ViT基线和跨域基线SC-FSL。消融研究证实骨干微调是性能提升的主要贡献者。ViTRelNet可直接部署用于从最少标注样本诊断新植物病害，无需重新训练，适用于资源受限的农业环境。未来工作包括扩展到更多N-way跨域基准、域对抗元学习方法以及使用分割进行病害严重度量化。
