基于知识蒸馏的作物与杂草图像外推与语义分割网络(KDOSS-Net)研究:突破视野限制的精准农业新方法

【字体: 时间:2025年08月22日 来源:Plant Phenomics 6.4

编辑推荐:

  为解决传统语义分割方法仅依赖相机视野(FOV)内像素信息导致外部杂草漏检的问题,Sang Hyo Cheong团队提出知识蒸馏驱动的外推与语义分割网络(KDOSS-Net)。该研究通过教师模型OPOSS-Net实现FOV外区域重建与学生模型SSWO-Net的轻量化分割,在Rice seedling、CWFID和BoniRob数据集上分别达到0.6315、0.7101和0.7524的mIOU值,显著提升除草剂使用效率。创新性融合图像外推与知识蒸馏技术,为农业机器人部署提供高精度低功耗解决方案。

  

在精准农业领域,杂草管理是影响作物产量的关键因素。当前基于深度学习的语义分割技术虽能对相机视野(FOV)内的作物和杂草进行像素级分类,却存在一个致命缺陷:无法识别FOV外的杂草。这导致除草剂喷洒不彻底,既影响作物产量又造成资源浪费。更棘手的是,现有研究大多忽视这一视野限制问题,使得实际农田场景中约10%的杂草因处于视野边缘而逃脱检测。

针对这一技术瓶颈,韩国东国大学Sang Hyo Cheong团队在《Plant Phenomics》发表创新研究,提出知识蒸馏驱动的外推与语义分割网络(KDOSS-Net)。该框架突破性地将图像外推技术与语义分割相结合,通过教师-学生模型架构实现视野外信息的有效利用。研究人员采用三阶段技术路线:首先构建包含对象预测、图像外推和语义分割的教师模型OPOSS-Net,其中创新性地引入门控卷积和扩张卷积增强外推精度;随后设计基于倒残差块的轻量化学生模型SSWO-Net;最后通过多层级知识蒸馏(包含特征图通道扩展和MLP非线性变换)实现知识迁移。实验采用Rice seedling、CWFID和BoniRob三个公开数据集,通过2折交叉验证评估性能。

研究结果显示三大创新突破:在模型架构方面,OPOSS-Net通过对象预测引导的外推网络,在BoniRob数据集上使分割mIOU提升2.02%,其门控卷积结构特别适用于复杂农业场景的小目标修复。知识蒸馏策略上,提出的通道扩展方法使学生模型mIOU再提升0.88%,在Rice seedling数据集上以0.6315的mIOU超越所有对比模型。实用性方面,SSWO-Net参数量仅为U-Net的50%,在Jetson TX2嵌入式系统上实现实时推理,为农业机器人部署扫清障碍。

具体技术亮点体现在:图像外推网络采用混合损失函数(含L1重建损失、WGAN-GP对抗损失、IDMRF风格损失和交叉熵分割损失),通过四者协同优化实现语义一致性外推。学生模型SSWO-Net引入MobileNetV2的倒残差块,在保持精度的同时将计算量降低至2.4G FLOPs。知识蒸馏过程创新地在编码器末端、解码器末端和logits三个层级实施,通过1×1卷积-ReLU-1×1卷积的MLP结构增强特征表达能力。

讨论部分强调,该研究首次将FOV外信息纳入农业图像分割系统,通过可视化分析证实Grad-CAM激活区域能有效覆盖视野外目标。统计检验显示,相比次优模型SegNet,KDOSS-Net在mIOU指标上具有显著差异(p=0.042,Cohen's d=3.21)。研究还开创性地将分割结果接入LLaVA大模型,构建智能除草剂推荐系统,使非专业人员也能获得专业级农业决策支持。

这项研究的核心价值在于:理论层面,提出"预测-重建-蒸馏"的三阶段学习框架,为小目标密集场景的视觉修复提供新思路;应用层面,轻量化设计使模型在Jetson TX2上的推理速度达17.2 FPS,满足实时作业需求;社会效益方面,系统可减少约23%的除草剂过度使用,契合可持续农业发展目标。未来研究可进一步探索多模态数据融合和三维场景重建,以应对更复杂的农田环境挑战。

相关新闻
生物通微信公众号
微信
新浪微博
  • 急聘职位
  • 高薪职位

知名企业招聘

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号