早期研究表明，深度卷积神经网络在实验室收集的植物图像上的表现明显优于传统的机器学习算法，如支持向量机和k最近邻算法。这一改进主要得益于PlantVillage数据集（Hughes和Salathe，2015年）的可用性，该数据集是一个包含大量标记叶片图像的广泛实验室策划的集合，为这些监督式深度模型提供了所需的样本量。大多数开创性研究使用了标准的迁移学习CNN架构，并将其适配到这个数据集上，报告了许多疾病类别的高准确率，从而确立了监督式深度学习流程作为控制环境中的主导方法（Fuentes等人，2017年；Long等人，2018年；Ma等人，2018年；Zhang等人，2018年；Akshai和Anitha，2021年；Dhiman等人，2023年）。这些结果激发了后续研究，这些研究改进了网络架构和数据处理流程，以实现更快、更准确的检测（Ferentinos，2018年；Saleem等人，2019年；Hasan等人，2020年；Rahman等人，2020年；Xiong等人，2021年；Yu等人，2022年；Haque和Sohel，2022年；Ahmad等人，2023年；Alaeddine和Jihene，2023年；Alqahtani等人，2023年；Dai等人，2023年；Pan等人，2023年）。
然而，现场部署要复杂得多。例如，在现实世界的侦察图像中，叶片在光线变化极大的情况下出现，存在遮挡，并且处于多种植物场景中，背景也不明确。在实验室图像上训练的模型在野外往往表现不佳。边缘部署面临的另一个挑战是数据稀缺。获取和注释大型现场数据集成本高昂且往往不可行。它们需要专家意见和特定的实验室设备来区分某些疾病类型，而且有些疾病较为罕见，或者可能只是作为新的入侵事件出现。尽管如此，越来越多的研究已经收集了“现场”数据集，并使用迁移学习方法进行了特定领域的评估，但与实验室测试平台相比，封闭集准确率大幅下降（Singh等人，2020年；Wei等人，2024a；Wei等人，2024b；Yang等人，2024年）。与PlantVillage相比，这些数据集仍然较小，并且没有解决植物疾病图像的基本数据量问题，特别是在部署到大型模型（如十亿参数的视觉变换器（ViT）网络）时，这些模型通常需要相对大量的训练数据。尽管已经采用了一些数据增强和合成数据技术来提高鲁棒性，但这些方法对于现场图像来说往往仍然不够。这主要是由于疾病症状与多样化场景内容的相互作用以及难以合成捕获的伪影（Arun Pandian等人，2019年；Cap等人，2022年；Enkvetchakul和Surinta，2022年；Nagaraju等人，2022年；Haruna等人，2023年）。至关重要的是，这种严重的领域差异（从实验室到现场）和极端的数据稀缺性将问题置于典型的少量样本学习和领域适应之间。为此，我们必须从少量示例中泛化到新类别并纠正系统性的、数据集级别的视觉偏差。这一观察直接激发了我们两阶段的设计：（i）一个离线阶段，从汇总的源数据和领域相关数据中构建轻量级的领域相关先验；（ii）一个非常快速的在线 episodic 适配器，在测试时将模型专门化到本地支持集。
少量样本学习（FSL）方法被引入来减少对大型标注数据集的需求，通过元训练相关任务来从少量示例中学习新类别（Parnami和Lee，2022年）。在此基础上，跨领域少量样本学习（CDFSL）通过元训练跨异构源领域（例如，鸟类、汽车、医学扫描）来扩展FSL。在CDFSL中，目标是在元训练期间让模型从多样化领域学习可泛化的表示，以便它们能够用有限的数据适应新的、之前未见过的领域。这一框架使模型能够获得领域无关的知识，从而改善对训练期间未见过的目标领域的适应能力。CDFSL在Meta-Dataset（Triantafillou等人，2020年）等基准测试以及其他类似复杂领域（如医学图像、语言翻译和手写）上取得了显著的改进。然而，尽管显然需要从实验室到现场进行泛化，但其在植物疾病识别中的应用仍然有限。传统上，在典型的FSL中，新类别与训练类别具有相同的视觉领域（相似的传感器、背景和对象类型），因此任务和领域紧密对齐，主要挑战是在提供少量示例的情况下进行类别分离。相比之下，CDFSL通常假设新类别来自不同的领域（不同的图像统计特征、背景、传感器或模态），因此模型必须同时处理类别泛化和领域转换（Li和Yang，2021年）。
在植物病理学中，尽管减少了数据需求，但大多数先前的FSL工作假设使用的是干净的、实验室风格的图像，这限制了其在现实环境中的鲁棒性和对新疾病出现的适应性。植物疾病识别的任务介于FSL和CDFSL之间（Argüeso等人，2020年；Chen等人，2021年；Li等人，2021年；Li等人，2022年；Sun等人，2024年）。在植物组织上识别疾病症状的任务在很大程度上是稳定的，标签语义（患病与健康或特定病变类别）在数据集之间保持一致，因此从这个意义上说，这个问题类似于FSL。然而，这些标签的外观高度依赖于领域。宿主形态（叶片形状、叶脉）、症状表现（斑点大小、颜色、纹理）、成像条件（现场杂乱、光线、遮挡）以及特定物种的症状学在不同数据集之间可能会有很大变化。实际上，这意味着在实验室照片中学会了一种锈病病变“看起来”是什么样的模型可能仍然难以在另一种作物或现场图像中识别锈病，因为叶片、土壤和阴影引入了新的混淆因素。简而言之，任务建议使用少量样本方法，而数据分布迫使我们结合领域适应技术。由于植物疾病识别需要少量样本泛化和领域校正，我们将任务定义为领域自适应少量样本学习（DA-FSL）（Zhao等人，2021年），并采用了两阶段离线到在线的适配器策略。
从头开始为每个新领域训练一个高容量的视觉模型在时间、计算资源和标注数据方面代价高昂，因此在资源丰富的实验室之外很少实用。常见的替代方法是从预训练的骨干模型开始，并将其适配到目标领域，如迁移学习（Atila等人，2021年；Hassan等人，2021年；N等人，2021年；Xu等人，2022b；Paymode和Malode，2022年）。适应策略通常会在容量、内存、时间成本和鲁棒性之间进行权衡。完全微调会更新所有模型权重，并且在数据充足的情况下可以实现最高的准确率。然而，这在计算上非常耗时，并且在标签稀缺时容易过拟合和灾难性遗忘。另一方面，仅头部调整或线性探针（Alain和Bengio，2017年）（冻结骨干模型并仅训练最终分类器）快速且稳定。然而，它缺乏纠正重大领域转换的能力，并且在少量样本泛化方面的表现不佳。另一种方法是持续的自我监督预训练（Caccia和Pineau，2022年）（MIM / DINO / MAE），当目标视觉与骨干模型的训练来源不同时，这可以显著提高领域迁移能力。然而，这也通常需要解冻和更新骨干模型的大部分权重，使其与完全微调一样昂贵。为了解决无需完全微调的领域适应问题同时保持高适应性，提出了参数高效的微调（PEFT）方法（Xu等人，2023年）。这些方法，如Houlsby瓶颈适配器（Houlsby等人，2019年）、LoRA低秩更新（Hu等人，2022年）、SSF缩放和移位层（Lialin等人，2024年）、BitFit（Ben-Zaken、Ravfogel和Goldberg，2022年）和软提示调整（Tian等人，2023年），只训练少量额外的参数，从而保留了预训练的骨干模型，并允许进行领域特定的校正，同时占用很小的内存和存储空间。
在这项工作中，我们提出了一种实用的两阶段流程，明确针对植物疾病迁移问题的混合性质。首先，在离线阶段，我们在汇总的目标和领域相关训练数据上拟合一系列小型、参数效率高的适配器，以使冻结的ViT骨干模型暴露于现场变异性，并提取领域相关的特征先验。其次，在在线阶段，我们通过将紧凑的在线适配器插入后续层并仅调整这些模块（保持骨干和离线适配器冻结）来对小型支持集进行轻量级的 episodic 适应，以提取少量样本分类所需的精细、特定于类别的信息。这种分离使我们能够提前捕获广泛的领域因素，同时允许在测试时快速、低成本地进行专门化，通常每次调整的数量约为几十万个参数（约占整个骨干模型的0.5%）。然后，我们在四个与植物相关的领域（VGG Flowers、Danish Fungi、Pests-102、PlantVillage）（Nilsback和Zisserman，2008年；Hughes和Salathe，2015年；Wu等人，2019年；Picek等人，2022年）和三个目标复杂的现场领域（PlantDoc、PlantWild、PlantSeg v2）（Singh等人，2020年；Wei等人，2024a；Wei等人，2024b）上评估了我们提出的模型。
在本文中，我们：
• 进行了消融研究，以测量每个设计选择和超参数（如骨干预训练源、离线适应数据、训练策略、增强流程和适配器变体）对复杂植物疾病数据分类准确性的影响，以及结果在领域内和领域相关评估之间的差异。
• 在5路1次样本和5路5次样本设置中，与基础骨干模型相比，准确率提高了多达12.01%（从64.12%提高到76.13%）和7.65%（从81.35%提高到89.00%），证明了在领域内知识和参数高效测试时调整如何提高性能。
在接下来的部分中，我们首先讨论第2节中先前的研究人员探索的与植物疾病、PEFT适配器、深度学习和少量样本模型相关的工作。然后我们在第3节描述我们的模型设计，接着是第4节的实验设置、数据集和消融结果。第5节作为结论。
