《Artificial Intelligence in Agriculture》：AgriMAPO: A multimodal automatic prompt optimization approach for crop disease classification using large language models
编辑推荐：
本文针对当前深度学习作物病害识别方法依赖大规模标注数据、通用大语言模型(LLM)在细粒度病害分类中存在领域知识盲区等问题，提出了一种多模态自动提示优化框架(AgriMAPO)。该框架通过双阶段筛选构建高质量少样本图像示例库，并利用自动提示优化(APO)代理生成细粒度病害症状描述，结合思维链(CoT)引导GPT-4o进行分类。实验表明，该方法在八类大豆病害数据集上总体准确率达90.3%，显著优于原生GPT-4o(40.3%)，且优化后的多模态提示在不同数据集和模型间展现出优异泛化能力，为农业低资源场景下的细粒度病害识别提供了免训练、高泛化的解决方案。
在全球人口持续增长和气候变化加剧的背景下，保障粮食安全已成为人类面临的重大挑战。作物病害是导致农业生产损失的主要原因之一，据统计在发展中国家可造成超过50%的减产。传统病害识别依赖农业专家目视鉴定，但这种方法效率低、成本高且主观性强，难以满足大规模农业生产的需求。近年来，深度学习技术特别是卷积神经网络(CNN)和Transformer模型在作物病害视觉识别方面取得显著进展，能够有效提取图像纹理、颜色等局部特征并捕捉全局依赖关系。然而，这些方法存在三个关键局限性：首先，它们严重依赖大规模高质量标注数据集，而针对稀有病害获取此类数据成本高昂且困难；其次，模型泛化能力较差，对光照、角度和作物生长阶段的变化敏感；第三，在区分相似病害或早期感染症状时，难以辨识细微特征，导致误分类率较高。
与此同时，多模态大语言模型(Multimodal Large Language Models, MLLMs)如GPT-4o的出现为作物病害识别带来了新范式，能够实现无需训练专用视觉模型的零样本或少样本分类。然而，这些通用模型在预训练时使用了广泛而非专业的数据集，当面对农业领域细粒度诊断需求时，固有地存在“知识盲区”。为弥补领域专业知识缺乏，研究沿两条技术路径展开：通过训练进行适应和通过推理进行适应。前者通常涉及监督微调(Supervised Fine-Tuning, SFT)，虽然有效但重新引入了大规模数据获取和专家标注的巨额成本，削弱了大语言模型的主要效率优势。相比之下，以提示工程(Prompt Engineering)为核心的推理适应路径成为一种灵活且免训练的替代方案。早期方法依赖人工设计的文本提示，但成功率取决于深厚的专家知识来设计提示，且生成的提示通常缺乏泛化性。随后发展为结合专家撰写文本描述和精心挑选图像示例的手工多模态提示，但这种方法仍然劳动密集且难以扩展。
这一发展进程揭示了一个明确需求：需要从手动设计转向更系统化的过程，从而催生了自动提示优化(Automatic Prompt Optimization, APO)技术的发展。APO将提示工程重新定义为优化问题，通过算法自动搜索最有效的提示。然而，现有的APO方法主要集中于优化纯文本提示，这种方法不足以实现准确的作物病害识别，因为它无法完全捕获关键的视觉细节。同时，仅依赖少数随机选择的图像示例可能由于质量和代表性差异而不可靠。这指向了一个框架需求，即能够自动且动态地优化多模态提示，协同结合优化后的文本描述与高质量、战略选择的图像示例，以同时提供语义知识和明确的视觉基础。
为弥补这一研究空白，本文提出了AgriMAPO，一个用于免训练作物病害分类的多模态自动提示优化框架。该框架通过整合自动优化的症状描述与高质量少样本图像示例，构建具有高度区分性的多模态提示。框架包含三个核心组件：基于深度学习的少样本采样策略，用于选择具有代表性和多样性的图像示例；一个APO代理，用于生成区分性强的病害描述并融入领域知识；以及一个使用思维链(Chain-of-Thought, CoT)进行多模态推理的病害分类代理。通过使用遗传算法，该框架使大语言模型代理能够基于视觉反馈来演进和优化病害描述。相比现有方法，该框架仅需少量样本即可自动生成优化提示，减少了对标注数据和专家经验的依赖。
为全面评估AgriMAPO框架的性能和有效性，研究设计了五项实验，所有核心推理、提示优化和比较评估任务均通过远程API调用三个主流大语言模型完成：Claude-3.5-sonnet、Gemini-1.5-pro和GPT-4o。研究使用了两个具有不同环境特征的公开数据集：CDIP和PlantSeg。CDIP数据集主要包含受控条件下的单张病叶高质量图像，而PlantSeg数据集则呈现复杂的“野外”场景。对于每个病害类别，从CDIP中使用30个图像-标签对作为视觉数据池来驱动AgriMAPO框架。
关键技术方法
本研究提出的AgriMAPO框架集成了三项关键技术：1) 基于深度学习的双阶段少样本采样策略，首先利用CLIP模型进行语义代表性筛选，确保候选图像与病害类别语义相关，然后通过预训练的ResNet模型提取深度视觉特征，并结合K-Means算法进行视觉多样性筛选，从不同视觉子模式中选择代表性样本，构建兼具代表性和多样性的少样本示例集。2) 自动提示优化(APO)代理，采用基于遗传算法的闭环优化系统，将提示工程视为优化问题。该代理接受病害标签、视觉数据池和基线大语言模型作为输入，迭代优化症状描述。其工作流程包括基线初始化、诊断评估（大语言模型作为分类器）、定向生成（大语言模型作为生成器，使用引导突变和特征交叉两种进化算子）、经验选择和单调状态更新，最终生成最大化诊断准确率的优化提示集。3) 基于GPT-4o的病害分类代理，整合了由APO代理生成的优化知识上下文和经双阶段筛选得到的视觉少样本锚点，并采用思维链推理模板进行结构化引导，迫使大语言模型在处理输入图像时，首先与优化的文本描述和视觉示例进行交叉参考，再进行最终分类，从而促进系统性的“观察-比较-结论”推理路径。整个框架无需对底层大语言模型进行微调或再训练，通过自动提示优化实现领域适应。
研究结果
3.1. 作物病害分类准确率比较实验
AgriMAPO框架在大豆病害分类任务中取得了最先进的性能。AgriMAPO实现了90.3%的总体分类准确率。相比之下，原生GPT-4o模型以及Claude-3.5-sonnet和Gemini-1.5-pro的平均准确率显著较低，分别为40.3%、26.0%和34.6%。这些结果表明，通用多模态大语言模型在农业领域存在显著的领域知识差距和视觉区分瓶颈。混淆矩阵分析显示，基线大语言模型在病害分类上存在显著错误。AgriMAPO模型通过使用多模态提示，有效缓解了这些问题，将所有病害类别的识别准确率提高到80%以上。然而，类间相似性仍然是模型面临的重大挑战。以大豆细菌性疫病和大豆锈病为例，约14%的细菌性疫病样本被误分类为锈病，这表明高度相似的病害类别仍然容易混淆。
3.2. 多模态上下文提示消融研究
多模态提示的消融结果清晰显示了不同组件对AgriMAPO分类性能的贡献。仅引入优化的少样本示例就将基础GPT-4o的总体准确率从41.2%显著提高到84.0%。当仅使用优化的文本描述时，总体准确率提高到57.0%。当同时使用优化的少样本示例和文本描述与AgriMAPO结合时，总体准确率进一步提高到90.8%。文本和图像提示在增强模型认知能力方面互补：文本提供诊断逻辑和领域先验知识，而示例直接呈现视觉原型。值得注意的是，对于大豆缺钾类别，多模态提示的准确率略低于仅使用少样本示例的提示，这表明多模态信息可能存在语义-视觉不一致性。
3.3. 少样本示例采样策略比较实验
实验结果表明，通过两阶段筛选过程选择的少样本示例能更有效地提高GPT-4o在病害分类任务上的性能。对于随机和优选采样，随着示例数量的增加，模型的分类准确率均先上升后趋于平缓。策略比较显示，在所有样本数量下，优选采样均显著优于随机采样。本研究提出的两阶段筛选方法首先使用CLIP语义相似性选择代表性样本，然后利用ResNet特征聚类从各种视觉子模式中选择典型示例，有效平衡了语义相关性和视觉多样性，为模型提供了信息量更大、区分性更强的示例集。考虑到GPT-4o的上下文窗口限制、计算效率和分类性能，本研究最终选择每个病害类别三个优化样本作为示例集。
3.4. 自动提示优化算法消融研究
对APO代理不同模块的消融实验表明，在文本优化阶段使用少样本示例对AgriMAPO的最终分类准确率影响最大。当移除这些视觉提示时，模型的总体准确率下降最多。优化过程本身也受到其他模块的严重影响。记忆库至关重要；缺少它会导致总体准确率下降。同样，移除交叉模块会降低总体准确率。视觉反馈模块的影响最微妙但依然重要，移除它会降低总体准确率。这些结果与APO代理的设计理念完全一致：少样本示例提供视觉基础，记忆库确保优化稳定性，交叉模块提高搜索效率，视觉反馈提供方向指导。这四个模块的协同整合使APO代理能够生成高度区分性的文本提示，与选定的图像示例结合，使AgriMAPO框架无需训练即可实现高分类准确率。
3.5. 可扩展性评估
实验结果表明，AgriMAPO方法显著增强了基线GPT-4o模型。通过应用AgriMAPO的领域知识注入和提示优化策略，AgriMAPO在苹果和番茄的15类病害识别任务上实现了性能的大幅提升。总体准确率从基线GPT-4o的44.9%提高到84.6%，提升了39.7个百分点。AgriMAPO方法的多模态提示表现出强大的鲁棒性和可转移性，对不同的主流大语言模型和跨领域数据集显示出广泛的适用性。具体来说，引入多模态提示使得所有三个测试模型的分类性能都得到了普遍且显著的提升。在跨模型泛化和细粒度识别层面，AgriMAPO的提示策略表现出高度的稳定性和有效性。所有模型在与提示结合后的性能都远远超过了各自的基线，并且在多个病害类别上显示出趋同的改进。尽管所有模型都显示出显著增益，但优化后的性能仍遵循清晰的梯度，这表明最终的性能上限是由提示的增强效果和模型内在能力的组合决定的。
研究结论与讨论
本研究介绍了AgriMAPO，这是一个新颖的、免训练的框架，通过多模态大语言模型显著增强了特定作物病害的分类。该框架整合了双阶段少样本示例选择策略和APO代理，以弥合通用大语言模型固有的领域特定知识差距。实验证明了该框架的有效性。例如，在大豆病害分类中，其总体准确率比标准GPT-4o高出50个百分点。AgriMAPO框架在不同作物、数据集和模型间展现出卓越的可扩展性和可转移性。它的成功凸显了自动提示工程作为一种数据高效、计算精简的方法，在使基础模型适应专业领域方面的巨大潜力。
同时，研究也认识到几个局限性，这些局限性也为未来研究提供了引人注目的机遇。首先，需要界定其当前的应用边界，包括在少样本设置下的性能提升以及当前在静态、高分辨率叶片图像上的验证。其次，AgriMAPO的性能取决于作为少样本示例提供的视觉先验的质量和规模。未来的关键方向是系统化地管理一个更大、更多样化的视觉示例库。第三，APO代理内部机制的进一步细化是另一个重要机遇，包括系统化的超参数优化和探索异构大语言模型集成。第四，将AgriMAPO框架扩展到更复杂的农业场景，例如设计多智能体协作架构，以及为统一农业基础模型奠定范式基础，以执行包括病害识别、定位、计数、分割和视觉问答在内的广泛下游任务。
总之，AgriMAPO为农业等资源有限领域的细粒度视觉识别任务提供了一种高效、低成本和可扩展的范式。它显著减少了对大规模标注数据和领域专家的依赖，为在专业垂直领域有效利用和引导大型基础模型提供了一条可行的技术路径。
