《Agriculture Communications》：CropRowSeg: A lightweight model for seedling crop row image segmentation combining multi-scale CNN and transformer
编辑推荐：
专业术语翻译（摘要部分）：研究人员提出了一种用于幼苗作物行图像分割的轻量化语义分割模型CropRowSeg。该模型结合多尺度卷积神经网络（Multi-Scale CNN）与视觉Transformer（Vision Transformer, ViT），实现局部细
专业术语翻译（摘要部分）：研究人员提出了一种用于幼苗作物行图像分割的轻量化语义分割模型CropRowSeg。该模型结合多尺度卷积神经网络（Multi-Scale CNN）与视觉Transformer（Vision Transformer, ViT），实现局部细节与全局上下文的高效协同建模。针对像素级标注成本高的问题，研究人员提出了一种基于作物行中心线的图像标注方法，仅需标注行中心线端点即可自动生成条带形掩膜，大幅降低标注工作量。同时，研究人员设计了一种专门针对作物行图像分割的损失函数，即混淆感知自适应边界损失（Confusion-Aware Adaptive Margin Loss, CAM-Loss），以缓解前景与背景之间的严重类别不平衡以及对称作物行之间的空间混淆。此外，研究人员构建了一个涵盖玉米和棉花田块的多场景作物行图像数据集，用于模型训练与泛化评估。实验结果表明，CropRowSeg在分割精度、模型轻量化和泛化能力方面均优于现有对比模型。
论文解读文章
作物行图像分割是农业机械视觉导航的关键前置步骤，直接影响到行跟随作业装备在施肥、喷药、除草及冠层表型测量等场景中的自主定位与作业精度。随着农业绿色生产的推进，基于机器视觉的作物行识别技术弥补了卫星导航和激光雷达等绝对定位系统在复杂农田环境中的不足，但田间光照变化、杂草干扰、缺苗断垄、行间遮挡以及不同品种和农艺措施导致的作物行表型差异，均对作物行识别技术提出了严峻挑战。现有传统图像分割方法依赖人工特征工程，参数调节困难且泛化能力弱；而基于深度学习的语义分割方法虽能自动提取层次化特征，但仍存在像素级标注成本高昂、模型对动态农田场景适应性不足等问题，尤其是作物行图像中显著的各向异性结构、严重的前景背景类别不平衡以及左右对称行之间的混淆，限制了模型在复杂场景下的鲁棒性。为此，研究人员系统开展了作物行图像分割工作流研究，提出了名为CropRowSeg的轻量化混合卷积神经网络与Transformer分割模型，并配套提出高效标注方法和定制损失函数。
研究人员在中国农业大学上庄实验站采集了2022年至2025年间玉米和棉花幼苗期的田间图像，利用Intel RealSense D455和ZED2i立体相机，搭载于自研自走式轮式平台上，以0.5–1.0 m/s速度沿作物行行进拍摄，覆盖白天、夜间、倾斜视角、杂草、水雾、植株遮挡、地头转向及稀疏行等多种场景，且超过50%图像含强烈阴影干扰。在此基础上构建了三个数据集：训练验证集包含2381幅玉米图像，按9:1随机划分；测试集1包含500幅玉米图像，用于模型效果分析；测试集2包含200幅玉米和300幅棉花图像，其作物形态、田间环境和采集时间与训练集差异显著，用于评估泛化能力。标注方法方面，研究人员提出中心线引导标注法，通过Labelme手动标注目标作物行的冠层中心线端点，测量图像顶部冠层像素宽度作为几何先验，再对称扩展生成梯形条带掩膜，仅需少量直线标注即可完成多类分割标签制作。该标注体系以相机对准的目标行为参考，向左、中、右三行分别标记为left-row、middle-row、right-row，并具备扩展到五行的可扩展性。
CropRowSeg模型采用编码器-解码器架构，以MobileNetV2为骨干网络。双分支编码器包含基于CNN的空间通道分组金字塔模块（Spatial-Channel Groupwise Pyramid, SCGP）和基于Transformer的轻量稀疏Transformer编码器（Lightweight Sparse Transformer Encoder, LSTE）。SCGP通过1×1标准卷积、三个具有不同膨胀率（r=6、12、18）的3×3深度可分离膨胀卷积以及分组卷积-混洗-门控（Grouped Convolution-Shuffle and Gating, G-SG）组件构成异构多分支结构，实现多尺度特征提取和跨通道信息交互。LSTE模块采用维度缩减多头注意力（Dimension-Reduced Multi-Head Attention, DR-MHA）和卷积增强线性投影（Convolutional-enhanced Linear Projection, CLP）替代标准ViT中的多头注意力和多层感知机，将自注意力复杂度从O(N2)降至O(N2/k)，CLP参数约为标准MLP的八分之一。混合注意力模块为动态自适应卷积门控（Dynamic Adaptive Convolutional Gating, DACG），利用一维卷积实现跨通道局部交互，并将空间注意力解耦为正交的高度和宽度分支，自适应调整感受野。解码器采用残差引导坐标注意力解码器（Residual-guided Coordinate Attention Decoder, RCAD），集成残差连接和坐标注意力（Coordinate Attention, CA），以减少上采样过程中的高频信息损失。损失函数方面，研究人员提出混淆感知自适应边界损失（Confusion-Aware Adaptive Margin Loss, CAM-Loss），在标准交叉熵损失基础上整合自适应类别重新加权、混淆感知惩罚、边界感知增强和特征空间分离正则化四个组件，以缓解类别不平衡和左右行混淆。
在实验结果方面，损失函数对比实验中，CAM-Loss在测试集1和测试集2上均获得最优的mIoU、Recall和F1-score，特别是将左行与右行的互相混淆率降至0.03%和0.02%，较次优的Dice Loss分别降低98.15%和99.10%。消融实验表明，移除CAM-Loss中任一组件均会导致性能下降，其中移除特征空间分离正则化（FSSR）对整体IoU影响最大，证实了各组件的必要性与互补性。模型对比实验中，CropRowSeg在测试集1上达到mIoU 82.55%、Recall 92.75%、F1-score 90.26%，参数仅6.90 M，计算量12.06 GFLOPs，推理速度76 FPS，全面优于U-Net、DeepLabV3+、PSP-Net、ViT-B、SegFormer、CS-Net和InstaCropNet等七个对比模型。泛化实验中，面对与训练集分布显著不同的测试集2（含棉花场景），CropRowSeg仍取得mIoU 70.62%、Recall 90.40%、F1-score 82.20%，较次优模型DeepLabV3+分别高出4.49、2.19和3.55个百分点，且mIoU下降幅度最小，表明其具有较强的跨域鲁棒性。模块替换实验中，将SCGP替换为ASPP、将LSTE替换为标准ViT编码器（VTE）、将DACG替换为CBAM，均造成mIoU和F1-score明显下降，验证了所提模块的优越性。编码器消融实验显示，逐步添加SCGP、LSTE和DACG均能带来性能提升，完整CropRowSeg较基线（MobileNetV2+RCAD）mIoU提高6.28个百分点，F1-score提高4.54个百分点。对G-SG和CLP的消融实验以及解码器Res和CA的消融实验也均证实了各子模块的有效性。热力图可视化分析显示，SCGP的异构分支分别响应不同空间位置和尺度的作物行结构，LSTE模块广泛分布注意力以建模全局上下文，DACG和RCAD则显著增强目标区域的语义响应并抑制背景干扰。
讨论部分指出，针对“单行对齐、单行跨骑”的典型作业场景，将作物行分割定义为四类语义分割任务，需要模型在克服光照变化、杂草干扰等特征级挑战的同时，理解作物行的空间排列和透视关系。所提出的中心线引导标注方法将标注成本降至每条作物行仅需两个端点，显著提高数据准备效率。CAM-Loss的多组件协同机制有效抑制了特定类别混淆，并且具备良好的可扩展性，当作物行数量从三行扩展到N行时，仅需扩展类别索引集和混淆类别对集合，自适应边界依据logits标准差动态调整，适用于任意数量作物行的分割任务。CropRowSeg模型在多样化测试集上表现优异，表明其学习到了作物行图像分割的内在规律，而非记忆训练数据中的虚假相关性。未来研究方向包括通过迁移学习建立更多样化的数据集，以及采用弱监督学习技术结合图像级和像素级标签，进一步提升模型在极端环境条件下的鲁棒性。
研究结论部分总结如下：一是建立了作物行图像标注方法，以梯形条带表示作物行，对称轴为冠层几何中心线，宽度可依冠层宽度调整，显著降低标注成本，且命名体系可扩展至动态变化的行数；二是提出了CropRowSeg语义分割模型，其编码器融合CNN和ViT优势，通过SCGP、LSTE和DACG的协同设计实现高效多尺度特征提取和全局上下文建模，解码器RCAD有效缓解传统解码器在多次上采样中的高频细节损失和信息衰减；三是建立了适用于作物行图像分割的CAM-Loss，在标准交叉熵损失基础上引入自适应类别重新加权、混淆感知惩罚、边界感知增强和特征空间分离正则化，有效引导模型优化并提升推理能力和泛化性能。该研究为农业机械视觉导航提供了从标注、模型到损失函数的完整解决方案，发表的论文刊登于《Agriculture Communications》。
