基于领域知识提示与多任务学习的大模型驱动主食作物叶部病害严重度评估新方法

《The Crop Journal》：DKP-ADS: Domain knowledge prompt combined with multi-task learning for assessment of foliar disease severity in staple crops

为解决传统作物病害严重度评估方法依赖大量标注数据、难以量化病斑比例等问题，研究人员开展了"领域知识提示结合多任务学习评估主食作物叶部病害严重度（DKP-ADS）"研究。该研究创新性地将多任务学习与知识驱动的大模型分割技术相结合，构建了包含图像信息处理器、病斑与叶片分割模块和病害严重度评估模块的自动化框架。实验结果表明，即使在没有大量标注数据的情况下，该框架也能准确识别和评估作物病害类型及严重程度，为精准农业提供了新的技术方案。

　　

在全球粮食安全面临严峻挑战的背景下，主食作物病害的精准识别与严重度评估成为农业领域的关键课题。传统方法主要依赖人工诊断或基于卷积神经网络的分类模型，但这些方法存在明显局限：分类网络无法量化病斑比例，而分割方法又需要大量高质量标注数据，在实际应用中往往成本高昂且效率低下。

针对这些痛点，贵州大学计算机科学与技术学院的研究团队在《The Crop Journal》上发表了一项创新性研究，提出了一种名为DKP-ADS的新型框架。该研究巧妙地将多任务学习策略与知识驱动的大模型分割技术相结合，构建了一个包含三个核心模块的自动化评估系统。

研究团队采用了多项前沿技术方法：首先利用多任务学习策略构建图像信息处理器，通过ResNet-18网络同步实现作物识别、病害分类、初始严重度分级和提示词分类；其次创新性地将领域知识融入GroundingDINO模型进行微调，提升其对农业专业术语的敏感性；最后结合SAM模型实现病斑与叶片的精准分割，并基于专业分级标准计算病斑面积比例完成严重度评估。研究还建立了包含7种主食作物、79个病害类别的综合数据库，为模型训练和验证提供了坚实基础。

图像信息处理器的多任务协同

研究通过四任务协同的处理器设计，实现了对输入图像的全面解析。作物识别任务准确区分7种主食作物，病害分类涵盖78种病害类型，初始严重度分类将图像初步分为健康、一般和严重三个等级，而提示词分类则生成针对四种病斑形态的精准描述。这种分层处理策略显著提升了信息提取效率。

病斑与叶片分割的双路径策略

研究团队设计了基于GroundingDINO和SAM的双路径分割方案。通过引入农业领域知识微调GroundingDINO，显著提升了对"纺锤形病斑""穿孔病斑"等专业术语的识别能力。SAM模型则在精准提示框引导下，实现了病斑和叶片区域的高质量分割，为后续定量评估奠定基础。

病害严重度的量化评估

评估模块通过计算病斑像素与总叶面积的比例，依据国家标准将病害严重度划分为0、1、3、5、7、9六个等级。这种基于面积比例的量化方法克服了传统分类模型的主观性，提供了更客观的评估标准。

模型性能的全面验证

与13种主流分割模型相比，DKP-ADS在精确度(95.44%)、交并比(92.83%)、F1分数(96.28%)和召回率(97.14%)等指标上均表现最优。在分类任务中，其整体分级准确率达到93.22%，显著优于包括GPT-4在内的对比模型。

多任务特征的可视化分析

通过特征激活图可视化，研究揭示了不同任务间的协同机制。初始阶段特征主要响应叶片轮廓，严重度分类器关注纹理变异和病斑分布密度，提示生成模块则精准定位特定病斑类型，体现了任务间既独立又互补的特征学习模式。

实际应用场景测试

在真实农田环境测试中，模型在复杂背景下仍能保持较好的病害识别能力，但对重度遮挡或光照不足的情况存在一定局限，显示了在实际部署中需要进一步优化的方向。

研究结论表明，DKP-ADS框架通过多模态信息融合和领域知识注入，有效解决了小样本条件下的作物病害精准评估难题。该方法不仅降低了数据标注成本，还提高了严重度评估的客观性和可解释性。讨论部分进一步指出，该技术的成功实践为其他农业视觉任务提供了重要借鉴，未来通过与物联网、知识图谱等技术的深度融合，将在智慧农业领域发挥更大价值。

这项研究的创新之处在于将提示学习、大模型微调和多任务学习有机融合，构建了首个面向主食作物病害严重度评估的完整技术框架。随着模型优化和应用场景的拓展，这套方法有望成为农业病害智能监测的重要工具，为全球粮食安全生产提供可靠的技术支撑。