Agri-CPJ：基于描述-提示-评判框架与“LLM作为评判者”的免训练可解释农业病虫害诊断方法

《Computers and Electronics in Agriculture》：Agri-CPJ: A training-free explainable framework for agricultural pest diagnosis using Caption-Prompt-Judge and LLM-as-a-Judge

　　

•无需训练的框架，在诊断之前先进行显式的图像说明（captioning）。
•引入说明而非仅仅进行优化，是带来+22.7 pp增益的主要原因。
•双视角答案加LLM评判器，产生类人的选择效果。
•结构化输出为从业者提供可读的审计轨迹。
•跨基准、跨格式地迁移到多选题任务，无需适配。

引言
从田间影像中准确诊断作物病害需要同时具备两种特性，而大多数现有系统并不能兼顾：既要正确识别出病原或病症，又要以从业者能够评估的方式对该识别结果进行解释。作物病害传播迅速，任何错误且无法验证的建议——错误的杀菌剂处方，或者毫无可操作性的指导——都会带来直接的经济后果。这两项双重需求构成了本文所述框架的出发点。

当前主流方案主要依赖单模态视觉流水线，例如CNN分类器（Duro等人，2012；Zhang等人，2022）和YOLO式检测器（Badgujar等人，2024）。这些模型在其训练基准上表现良好。但我们的经验表明，一旦分布略有偏移——光照不同、新品种、生长阶段稍有异常——它们就会失效；而且在失效时，它们也无法提供任何关于原因的线索。这类系统返回的至多只是一个类别标签。对于在杀菌剂使用成本与预期作物损失之间权衡的农学家，或向多个地区的散户提供建议的推广员而言，单一预测类别无法成为验证结论或根据本地条件调整建议的依据。近年来的研究尝试为这类分类器附加事后可解释性工具：Alpsalaz等人（2025）和?züpak等人（2025）将基于Grad-CAM与SHAP的归因方法应用于CNN玉米叶病分类器，Aslan和?züpak（2026）对SE-ResNet50棉叶病分类器采取了类似做法。这些方法能够突出哪些图像区域驱动了预测，但解释仍停留在绑定到单次前向传播的显著性图上，而非从业者可在标签生成前阅读、编辑或对照田间观察进行验证的人类可读中间产物——而这正是Agri-CPJ外化说明所填补的具体空白。

大型视觉-语言模型——Qwen-VL（Bai等人，2023）、GPT系列（Achiam等人，2023）、LLaVA（Liu等人，2023）、Flamingo（Alayrac等人，2022）——代表了一种能力上的质的转变。与CNN分类器不同，它们可以接受自由形式的诊断问题，并在条件良好时给出附带一定推理过程的答案。农业视觉问答研究（Zhang等人，2024；Li等人，2023）证实其输出比仅给出标签的流水线更为丰富。困难之处在于一致性：缺乏任何机制迫使模型在得出结论前先描述可观察特征时，同一张图像可能因提示词的细微差异而给出正确或错误的回答。图1（上图）展示了一种典型失败——一片小麦叶被识别为玉米，且没有任何中间输出可供用户定位推理在哪一步出错。

在对已标注农业数据上进行微调，是应对该问题的标准做法，多个团队也沿此路径探索（Cao等人，2023；Radford等人，2021；Alayrac等人，2022）。实践中反复出现两个困难：一是作物病害标注数据集组装成本高昂，且往往反映特定的地理与品种条件；二是Saadati等人（2024）记录了模型在遇到分布外物种时精度骤降的现象。下述原因将表明，可解释性问题依然原封不动地存在。

因此，我们的目标是构建一个无需重新训练、可跨作物类型和病害类别泛化的系统，并以领域专家可以审查、必要时可在单个观察层面提出质疑的形式暴露其推理过程。

在农业部署场景中，微调还存在一个被低估的问题。模型的知识在训练时被冻结。当一种此前未被记录的路原变体首次被确认，或者种植户带来一种症状表现与训练集中任何样本都不同的作物品种时，微调系统必须先重新训练才能可靠响应——这一过程需要标注数据、算力基础设施与工程时间，而多数合作推广服务部门无法轻易调动这些资源。基于提示的方法对新颖案例的处理方式不同：一种新作物或新病害可以以其为少样本示例在其被识别当天即被纳入，无需修改任何模型参数。在进展缓慢的情境中，这一差别只是便利；但在病害传播速度超过一次重训周期所能完成的速度时，它决定了诊断工具是否还具备可部署性。

关于逻辑驱动的异常检测的研究（Jin等人，2025；Ye等人，2025；Song等人，2026；Xu等人，2025）暗示了另一种设计原则：与其针对固定的任务分布优化模型，不如外化推理过程，使每个推理步骤都可被独立检查与修正。Agri-CPJ2将这一原则应用于作物病害。在叶片照片与诊断结论之间存在一段间隔。在大多数当前系统中，这段间隔由一次没有可访问中间状态的前向传播跨越。我们要求的是通过一段形态学观察的文字记录来跨越它——从业者可在此接受任何下游答案之前对其阅读、质疑或纠正。

我们提出的框架Agri-CPJ包含三个阶段。一个大型LVLM首先读取输入图像并撰写结构化说明——涵盖形态、症状、严重度与不确定性——同时约束说明仅描述可观察的形态、症状模式与严重度，而不编码确定性的诊断结论或病害标签。该说明由一个LLM评判器审查，若未达到质量阈值则被改写。优化后的说明连同原始图像一起送交轻量级VQA模型，后者从两种不同诊断视角生成两个候选答案：一个以病害为中心，一个以作物为中心。第二个评判LLM在不对照任何真值参考的情况下直接比较两个候选答案，并挑选较强者，同时记录原因。图1（下图）展示了结果：小麦/玉米的混淆得以纠正，因为在贴上任何标签之前，正确的形态学证据已经摆在桌面上。

这种上下文窗口适应性（见上文第1节）受到视觉编码器感知分辨率的上限约束。对于在感染最早期拍摄的照片——此时表面症状极轻微或含糊不清——即便精心构造的说明也无法提供图像本身所不具备的判别性信息。

关于可解释性的主张需要谨慎表述。基于梯度的归因图与注意力可视化表明模型给哪些图像区域赋予了多少权重——它们并不描述模型如何理解这些区域，而多数田间从业者缺乏将像素级显著性得分转化为农学推理的背景知识。CPJ立足于不同的基础：结构化说明是一份文本文件——植物病理学家可以阅读它，评估形态学观察是否准确，并在查看任何下游答案之前识别具体错误。两个候选回答与评判器的选择理由同样可读。若从业者不同意系统结论，可以指出具体哪一条说明观察似乎有误，论证某个候选更契合田间情况，或指出评判器的偏好与本地经验冲突——所有这些都可以无需理解底层模型权重配置即可完成。显著性图无法提供同等便利：从业者无法指向导致错误预测的特定像素簇，并以观察语言解释为何其应被不同解读。在Agri-CPJ中，说明即此目标：分歧有明确的定位与可读的描述。

这一可检视性主张刻意比忠实性（faithfulness）主张范围更窄。可检视性意味着说明与理由是从业者可独立对照图像与领域知识进行检查的可读产物；它并不意味说明或评判器所陈述的理由是产生最终答案的计算过程的完整或因果准确的描述。已被证实的是，在其他领域中，由LLM生成的自然语言理由——包括思维链解释与评判式论证——有时与实际决定模型输出的过程并不一致（Turpin等人，2023；Lanham等人，2023；Parcalabescu与Frank，2024）。我们并未直接检验Agri-CPJ理由的忠实性，而将本流水线的可解释性贡献视为对中间产物的可检视性的提升，而非对模型内部推理的已验证说明。

数字在两个基准上都支持了这些主张。在CDDMBench（Liu等人，2024）上，GPT-5-Nano骨干配合GPT-5-mini生成的说明，相较无说明零样本基线，在病害分类准确率上提升+22.7 pp，在知识问答子任务上提升19.5分。在未作任何修改的情况下评估于AgMMU-MCQs（Gauba等人，2025）——一个结构迥异、涵盖五类农业任务的多选格式——完整的CPJ配置（说明+少样本+LLM作为评判器）在GPT-5-Nano上达到77.84%，在Qwen-VL-Chat上达到64.54%，使其位列或超过同参数规模多数开源模型。

Agri-CPJ的原创性不在于三阶段的说明+VQA+评判器模板，该模板已有先例（Tiong等人，2022；Yang等人，2026），而在于每一阶段如何围绕特定的农业失效模式被重新定向：为防止标签泄漏而扣留作物与病害名称的说明；来自固定互补诊断视角而非泛化采样的两个候选；以及对照领域专用评分标准而非通用偏好信号的评判器（第3.1节）。本文作出三项贡献。第一，我们提出Agri-CPJ，一个无需训练的少样本流水线，其中视觉推理被外化为一份质量门控的说明，先于任何诊断问题被回答；消融实验显示，引入说明本身即贡献了下游增益的大部分，而质量门控的优化则带来额外的较小增量（第4.4节），使从业者能够追溯结论到支持它的具体图像观察。第二，VQA阶段从互补的诊断视角生成两个候选答案，说明提示扣留作物与病害名称以抑制过早的标签承诺；一个多准则LLM评判器在候选之间作出选择并产生显式理由。第三，我们在两种骨干架构上报告了CDDMBench与AgMMU-MCQs上的受控实验，并附带一项基于CDDMBench样本（N=396）的人工验证研究，其中LLM评判器的选择与专家植物病理学家的评估以κ=0.90达成一致。

章节片段
农业视觉-语言模型
农业图像分析沿计算机视觉的总体轨迹演进：手工设计描述子（Hasan等人，2022）让位于卷积架构，而后者又被视觉Transformer（Dosovitskiy等人，2020）与语言对齐骨干（Yadav与Kaushik，2023）大程度地取代；H. Zhu等人（2025）对该转变作了详细综述。分布内准确率大幅提升——AgriGPT-VL（Yang等人，2025）等专用模型，以及

方法学
Agri-CPJ并未构建端到端模型，而是将诊断分解为三个阶段，其为人专家所熟知，如图2所示：仔细查看图像并描述所见；基于这些观察形成候选答案；然后比较候选并挑选更强者。每个阶段通过对现成LVLM的提示实现，因此无需任何梯度更新。

实验设置
两个基准对框架的不同侧面施以压力。CDDMBench（Liu等人，2024）专为作物病害诊断而设：3963张测试图像覆盖作物与病害类型识别（关键词匹配准确率），外加一组20题的知识QA，覆盖10种病害，由GPT-4按1–10分评分并归一化到100分。我们沿用原始评估协议不作修改。AgMMU-MCQs（Gauba等人，2025）刻意更广泛——767道四选项多选

结论
Agri-CPJ围绕一个设计主张而构建：在任何诊断问题被回答之前，迫使视觉推理进入一份显式、经过质量检查的文本表示，将同时提升准确率并产出从业者可检视与纠正的输出。本文报告的实验支持了这两部分。在CDDMBench上，将GPT-5-mini说明附加到GPT-5-Nano上，未触碰任何模型权重，即可在病害分类上获得+22.7 pp，在知识QA上获得+19.5分。在

作者贡献声明（CRediT）
Wentao Zhang：撰写—初稿、可视化、软件、方法学、调查、数据整理、概念化。Qi Zhang：撰写—审阅与编辑、可视化、验证、资源、调查、形式分析、数据整理。Mingkun Xu：撰写—审阅与编辑、可视化、监督、经费获取、形式分析。Mu You：撰写—审阅与编辑、验证、调查、形式分析、数据整理。Henghua Shen：撰写—审阅与编辑。

关于生成式AI与AI辅助技术在稿件准备过程中的声明
在本工作的准备过程中，作者使用LLM以提升稿件的语言可读性与清晰度。

在使用该工具后，作者根据需要审阅并编辑了内容，并对已发表文章的内容承担全部责任。

资金来源
本工作部分由横琴粤澳深度合作区高层次创新团队项目（资助号 2630004018939）支持，部分由中国国家自然科学基金青年科学基金项目（资助号 62506084）支持，部分由澳门特别行政区科学技术发展基金（资助号 FDCT/0007/2024/AKP, EF2024-00185-FST）支持，部分由澳门大学及澳门大学开发基金（资助号 MYRG-GRG2024-00165-FST-UMDF, MYRG-GRG2025-00236-FST）支持，以及腾讯支持。

利益冲突声明
作者声明，他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

Wentao Zhang|Qi Zhang|Mingkun Xu|Mu You|Henghua Shen|Zhongzhi He|Keyan Jin|Derek F. Wong|Tao Fang