《Computers and Electronics in Agriculture》:Multi-task geometric regression with agronomic priors for crop row and missing seedling detection in maize-soybean strip intercropping
编辑推荐:
本文提出基于改进U-Net++的多任务几何回归框架,用于玉米-大豆间作系统的作物分割、行方向预测和缺失苗检测。方法融合空间-频率混合特征融合模块,构建统一编码器与三个轻量级任务头,通过后处理实现结构化输出,并在损失函数中嵌入行间距等农学先验知识。实验表明语义分割IoU达0.82,行中心检测F1-score 0.86,缺失苗检测CD-F1 0.89,较单任务方法提升显著。
Xinyue Zhang|Qingjie Wang|Hongwen Li|Caiyun Lu|Rui Shi|ZeFeng Dun|Weiwei Wang|Zhong Shang
中国农业大学工程学院,北京清华东路17号,邮编100083
摘要
大豆和玉米的条带间作是一种将两种作物交替种植在相邻行中的种植方式,由于其能够提高资源利用效率和总体产量,在中国多个地区得到了广泛推广。准确检测作物行和缺失幼苗对于实现精准田间作业(如变量施肥和定向喷洒)至关重要。单目视觉作为一种核心感知方式,因其低成本和高分辨率而受到青睐。然而,玉米和大豆之间的行距和植株间距存在显著差异,加上杂草干扰和出苗不均匀等复杂的田间条件,严重限制了基于阈值分割和几何拟合的传统图像处理技术的效果。这些方法难以适应多种作物的形态变化,导致行检测精度低和缺失幼苗识别不可靠。近年来,深度学习在作物行检测和对象识别任务中表现出色,尤其是通过集成分割和定位相关特征的多任务网络。然而,大多数现有研究仅关注单一种植场景,常常忽略农艺知识的整合,从而限制了其在实际田间环境中的鲁棒性和可解释性。为了解决这些问题,本研究提出了一种基于改进的U-Net++架构并受农艺先验指导的多任务几何回归网络,用于玉米-大豆间作系统的行提取和缺失幼苗检测。该方法同时执行作物分割、行方向预测和缺失幼苗热图生成。网络输出的几何特征随后通过基于农艺先验的后期处理和几何拟合进行处理,最终实现行提取和缺失幼苗定位。农艺约束(如行距规律性)作为先验信息嵌入到损失函数中,进一步提高了间作田间的检测精度和鲁棒性。实验结果表明,该语义分割方法的平均交并比(IoU)为0.82,F1分数为0.86,像素准确率为0.91;行中心线检测的F1分数为0.86,平均偏移量(MO)为3.9像素。对于缺失幼苗检测,作物分类准确率达到0.91,平均定位误差(ALE)仅为2.5像素,综合检测分数(CD-F1)为0.89。与没有农艺先验的单任务方法相比,所提出的多任务框架在间作场景中的行检测和缺失幼苗定位方面表现出显著改进。这些结果为在精准农业和间作管理中部署智能视觉系统提供了实用指导。
引言
近年来,中国许多地区广泛推广了大豆和玉米的条带间作(Liu和Yang,2024)。在这种模式下,玉米和大豆交替种植在相邻的行带中,以实现光、土壤空间和养分的互补利用,从而在提高单位产量的同时实现资源的高效利用(Du等人,2018)。虽然这种模式在提高单位面积产量和生态可持续性方面具有巨大潜力,但它也对田间机械操作的精度提出了更高要求(Zhang等人,2024)。
在玉米-大豆间作系统中,作物行识别和缺失植株检测是许多智能田间作业的核心感知前提。例如,变量施肥系统必须准确感知作物行的连续性,以便根据作物特定需求进行差异化施肥(Balbinot等人,2023;Gao等人,2011),而精准化学除草设备则依赖于对大豆和玉米行带的准确划分,以应用特定作物的除草剂策略(Sun等人,2023)。尽管雷达和GNSS可以提供基本的测距和定位信息,但在混合作物和杂草繁茂的条件下,它们难以及时和精细地识别行内植株和缺失位置(Xie等人,2022),并且受到硬件成本和环境鲁棒性的限制(Wang等人,2011;Zhang等人,2022)。随着除草和喷洒作业向单株精度发展,估计农业机械与单个植株之间的相对姿态变得越来越重要(Raja等人,2020;Willekens等人,2025)。相比之下,单目视觉在捕捉精细结构细节和适应多样化的植物形态方面具有明显优势,因此被视为田间作物行和缺失植株检测的有希望的解决方案(Zhang等人,2024)。
在行距均匀且作物类型单一的条件下,基于阈值分割和几何拟合的传统视觉方法仍能获得可接受的精度(Mao等人,2019)。然而,当植被密集或杂草侵扰严重时,硬阈值分割往往会产生碎片化或合并的区域,使得后续的行拟合难以稳定(Khan等人,2020)。随着深度学习在农业图像分析中的广泛应用,卷积神经网络(CNN)在作物行检测方面表现出强大的表示能力(Zhang等人,2024d),并且在复杂田间场景中比依赖低级特征的传统方法更具鲁棒性(Lin等人,2020;Ruan等人,2023)。现有的基于深度学习的作物行检测方法大致可分为两类:基于对象检测的方法,通过检测单个植株并利用其坐标推断行位置(Zhang等人,2020);以及基于语义分割的方法,通过像素级别区分作物行和背景(Silva等人,2022;Yuan等人,2024)。在获得初步检测结果后,大多数方法仍依赖于拟合或聚类算法来构建完整的行结构(Li等人,2025)。例如,Zhang等人(2024)使用YOLOv8-pose定位玉米根点,然后根据根点位置拟合作物行;Hu和Huang(2021)结合MobileNetV3和YOLOv4进行高速边界框检测,然后提取植株中心以进行行拟合;Sun等人(2025)直接训练了带有线注释的增强型YOLOv10n-seg,并应用主成分分析(PCA)来提取大豆-玉米混合行。这些方法可以在单任务或单一种植场景中有效地完成检测后接几何拟合的工作流程,但它们通常将作物分割、行提取和缺失植株检测分解为独立的子任务,缺乏统一的建模框架。因此,当同一视野中存在多种作物、缺失植株和杂草时,它们的整体流程在耦合和联合优化方面能力有限。
近年来,集成深度学习框架受到了越来越多的关注(Liu等人,2025;Liu等人,2024)。这类方法通常构建一个统一的网络架构,将共享的特征编码器与特定任务的头部结合,以支持多任务学习和几何回归。Li等人(2023)采用全卷积网络(FCN)进行端到端的作物行检测,在单一种植设置中实现了计算效率和精度之间的良好平衡。Li等人(2024)提出了一种基于行-列注意力的端到端方法,其中行和列注意力模块捕获方向线索,然后融合以提高作物行检测性能。Chen等人(2025)采用了双路径设计,分别进行特征提取和实例分割,随后融合以高精度检测水稻行;Guo等人(2024a;Guo等人,2024b)开发了基于U-Net框架的InstaCropNet,结合实例分割和几何拟合来获取导航线。在此基础上,Guo等人(2024a;Guo等人,2024b)进一步利用Transformer的全局建模能力,通过参数回归直接预测作物行的多项式系数,从而减少了单一种植场景中的部分后期处理工作。总体而言,这些研究表明,共同使用共享的特征表示和几何回归可以简化作物行提取流程并提高检测效率。然而,大多数现有方法仍然关注单一作物或单一任务,对如缺失植株等细粒度结构的建模有限,并且尚未在统一的多任务学习框架中系统地嵌入农艺先验知识。
在玉米-大豆间作田中,玉米和大豆在行距、植株高度和叶形态上存在显著差异,行带通常以非均匀模式排列。在生长早期阶段,经常观察到叶片遮挡、缺失部分、杂草干扰和光照变化,进一步增加了视觉感知的复杂性。因此,简单地将单任务或单一种植的行检测模型转移到这种间作场景中,往往会在作物边界附近或行距变化较大的区域产生误报或漏检。尽管大多数现有模型主要依赖于像素级特征学习,但实际上,农艺先验(如行距规律性和作物空间分布)在实际农业操作中被广泛采用(Li等人,2015)。例如,变量施肥和行距控制系统通常为玉米和大豆预定义不同的间距配置(B. Wang等人,2024;Xu等人,2023)。这些结构约束的缺失限制了当前检测模型在复杂或模糊田间环境下的泛化能力和可解释性。
为了解决这些挑战,本研究提出了一种专为玉米-大豆间作设计的多任务几何回归框架。该框架基于改进的U-Net++架构构建了一个统一的编码器,并配置了三个并行输出头部:一个用于区分大豆、玉米和背景区域的分割头部;一个通过中心概率图、方向场和行距图等几何通道回归作物行空间分布的行检测头部;以及一个受CenterNet风格关键点公式启发的缺失植株检测头部(Zhou等人,2019),该头部输出缺失植株热图以及宽度-高度和偏移量回归。值得强调的是,所提出的方法并不直接输出最终的行多段线或缺失植株边界框。相反,它首先生成中间几何表示,然后通过包括阈值分割、像素级跟踪、B样条拟合和边界框生成的统一后期处理模块恢复结构化的行和缺失植株结果。此外,农艺先验被明确嵌入到多任务损失中:引入了行距正则化项来抑制相邻行之间的异常偏差,并采用缺失植株合理性约束来降低与播种模式冲突的预测的权重。通过这种方式,所提出的框架将深度特征学习与农艺知识相结合,提高了玉米-大豆间作田间作物行提取和缺失植株检测的准确性、鲁棒性和可解释性。
方法概述
所提出的多任务几何回归框架的整体流程如图1所示。输入的田间图像首先被送入改进的U-Net++架构进行编码和解码多级特征,其中在 downsampling 和 upsampling 阶段嵌入了空间-频率混合融合(SFHF)模块,以增强多尺度特征表示。除了标准的特定于任务的损失项(用于分割、行检测和缺失幼苗定位)之外,
结果与讨论
本章展示了所提出的多任务网络在三个任务(语义分割、行检测和缺失幼苗检测)上的性能,基于模型训练和验证流程。需要注意的是,行检测和缺失检测头部并不直接输出最终的行线或边界框。因此,在后期处理中使用方向场、中心概率图和回归参数来可视化和评估结果。
结论
- (1)
本文提出了一种用于玉米-大豆条带间作的多任务几何回归框架,该框架同时执行语义分割、行提取和缺失幼苗检测。该网络基于改进的U-Net++架构,并结合了SFHF/SFHF-FFN模块和三个轻量级任务头部,并将行距、线条平滑度和合理的缺失种子分布的农艺先验编码到损失函数中。专门的后期处理流程进一步转换
CRediT作者贡献声明
Xinyue Zhang:撰写 – 审稿与编辑,撰写 – 原稿,可视化,验证,方法论,数据整理,概念化。Qingjie Wang:项目管理,调查,资金获取。Hongwen Li:形式分析,概念化。Caiyun Lu:软件,概念化。Rui Shi:调查。ZeFeng Dun:概念化。Weiwei Wang:数据整理。Zhong Shang:资金获取。
利益冲突声明
作者声明他们没有已知的可能会影响本文所述工作的竞争性财务利益或个人关系。
致谢
本研究得到了“高效植物保护机械用于大豆和玉米条带复合种植系统(中国农业大学内部项目)”(编号:202405510710112)的研发支持。