基于改进RT-DETR-seg的甘蔗茎秆计数方法研究

《Frontiers in Plant Science》：Research on sugarcane stem counting method based on improved RT-DETR-seg

　　

引言：甘蔗是一种重要的糖料作物。在甘蔗生命周期管理中，计数是产量估算、精准水肥调控和智能收获设备优化的核心基础数据。因此，田间甘蔗的准确计数有助于产量预测和水肥资源的精细化管理。方法：为解决甘蔗细长形态和复杂遮挡导致的实例特征碎片化问题，研究人员提出了一种改进的RT-DETR-seg（实时检测变压器实例分割）模型。具体改进包括：在骨干网络中添加非对称条形卷积（ASC），通过垂直特征聚合增强对细长甘蔗目标的感知，同时抑制背景噪声；将坐标注意力（CA）机制嵌入混合编码器，利用长程空间依赖性跨越遮挡区域建立特征关联，从而有效缓解因叶片截断导致的重复计数。此外，设计了一种名为矩梯度正则化（MGR）损失的联合损失函数，该函数融合了空间矩和梯度场约束，并引入了长宽比惩罚和边缘平滑约束，显著提高了强光照和斑驳阴影条件下的分割精度。结果：通过消融实验分别验证了ASC、CA机制和MGR损失函数三大增强模块的性能提升。与主流单阶段实例分割算法相比，验证了改进模型在密集遮挡甘蔗场景中的检测性能和计数优势。实验结果表明，改进模型在自建的多场景甘蔗数据集上，边界框检测精度达到91.03%，掩膜分割精度达到81.04%，而计数结果的平均绝对误差（MAE）从基线模型的1.09显著降低到改进模型的0.28。讨论：本研究提出了一种基于改进RT-DETR-seg模型的甘蔗计数方法，以应对复杂甘蔗田间环境中的遮挡挑战，最终实现对甘蔗等细长经济作物的高精度、高通量自动化监测。改进算法在复杂田间条件下平衡了鲁棒感知和实时推理，为边缘端计数系统的开发和部署提供了坚实的算法基础。

**论文解读：基于改进RT-DETR-seg的甘蔗茎秆计数方法研究**

**研究背景与问题**
甘蔗是全球重要的糖料作物和可再生能源原料，在中国华南地区（广东、广西、海南）集中种植，其产业直接关系糖业稳定和农民增收。在甘蔗生命周期管理中，茎秆计数是产量估算、精准水肥调控和智能收获优化的核心基础数据。然而，传统人工计数方法劳动强度大、效率低，每人每天仅能完成约0.3公顷，且在中后期茎秆密集（株距5–10 cm）和严重遮挡场景下，误差率高达20%–30%，并受主观经验影响，无法为精准农业提供可靠支持。随着农业劳动力短缺和成本上升，集成机器人视觉与深度学习技术实现高效、非接触的自动检测与计数成为突破瓶颈的主流方向。现有基于目标框的检测算法（如YOLO系列）在处理甘蔗细长形态和密集遮挡时，易因非极大值抑制（NMS）导致漏检；而基于卷积神经网络（CNN）的实例分割方法受限于局部感受野，在遮挡区域易产生特征断裂和重复计数。因此，研究人员旨在开发一种基于改进RT-DETR-seg（实时检测变压器实例分割）的端到端模型，以应对甘蔗田间复杂环境下的高精度计数需求。该研究发表在《Frontiers in Plant Science》。

**主要技术方法**
本研究采用以下关键技术：1）自建多场景甘蔗茎秆实例分割数据集，在广东省茂名市甘蔗田使用D435I立体相机采集田间图像（分辨率640×480像素），涵盖理想光照、顺光、逆光、逆光局部阴影、高密度分布和厚枯叶覆盖六类场景，共1264张图像，按8:1:1划分为训练集（1011张）、验证集（127张）和测试集（126张），使用Labelme进行像素级多边形标注，并通过CLAHE、Mosaic、Mix-up等数据增强策略提升多样性；2）改进RT-DETR-seg模型：在骨干网络引入非对称条形卷积（ASC）以匹配甘蔗细长形态（核跨度N=9），增强纵向特征并抑制背景噪声；在混合编码器的CCFM模块嵌入坐标注意力（CA）机制，建立跨遮挡的长程空间依赖；设计MGR联合损失函数，融合空间二阶矩长宽比惩罚和梯度场边缘平滑约束，提升复杂光照下的分割质量；3）在统一硬件平台（RTX 3090）上进行消融实验和对比实验，评估指标包括边界框检测精度（mAP⁵⁰_box）、掩膜分割精度（mAP⁵⁰_mask、mAP^50-95_mask）、计数平均绝对误差（MAE）和推理速度（FPS）。

**研究结果**

**3.1 基线模型性能评估**
基线RT-DETR-seg模型在测试集上达到边界框检测精度88.08%，掩膜分割精度75.79%，MAE为1.09。与纯检测网络RT-DETR-L（80.84% mAP⁵⁰_box）对比，实例分割分支的引入使检测精度提升约7%，表明像素级掩膜监督信号有助于骨干网络滤除背景噪声。但掩膜分割精度较低，反映原始架构在细长形态和遮挡场景下存在特征断裂和边缘失真问题。

**3.2 改进模块消融实验**
逐模块引入改进后，性能稳步提升：
- **+ASC模块**：检测精度提升至89.12%，分割精度提升至78.85%，MAE降至0.62，参数仅增加1.6 M，证明ASC能有效拟合甘蔗纵向特征并抑制横向背景干扰。
- **+CA机制**：在ASC基础上，分割精度（mAP^50-95_mask）提升1.43%至33.80%，MAE进一步降至0.35，表明CA通过解耦编码水平与垂直方向空间信息，建立跨遮挡长程依赖，缓解了重复计数。
- **+MGR损失**：最终模型检测精度达91.03%，分割精度达81.04%，MAE降至0.28。训练过程显示改进模型收敛更快、损失下限更低，特征响应热图验证了跨遮挡区域的连贯特征，掩膜质量对比证实了MGR对边缘平滑和形态约束的有效性。

**3.3 对比实验**
与YOLOv8l-seg、YOLOv11n-seg、YOLOv11l-seg比较：改进模型在检测精度上最优（91.03%），虽分割精度略低于YOLOv11l-seg（81.04% vs 82.25%），但计数MAE显著更低（0.28 vs 1.13），表明改进模型有效克服了因物理截断导致的重复计数。尽管推理速度（81 FPS）低于YOLO系列，但结合TensorRT量化后仍可部署于边缘设备。在密集遮挡样本（17株）的可视化对比中，YOLOv8l-seg和YOLOv11l-seg分别只数出16株和14株，而改进模型准确计数17株，进一步验证了其抗遮挡能力。

**讨论与结论**
讨论部分指出，CNN模型因局部感受野和NMS机制，在茎秆紧密排列或枯叶覆盖区域易出现边界混淆和漏检。改进模型通过全局上下文建模（CA机制）和纵向特征增强（ASC模块）有效解决了这一问题。研究局限性包括：依赖RGB光学图像，未利用深度信息；数据集仅针对特定品种和生长中后期，未来需扩大数据集或采用域适应方法提升跨区域与跨生长阶段的泛化能力。

研究结论：针对甘蔗茎秆密集分布和叶片严重遮挡导致的人工计数效率低、误差率高的问题，研究人员系统研究了基于深度学习的端到端实例分割方法。在田间采集并处理了多场景甘蔗茎秆实例分割数据集（1264张图像），采用像素级多边形标注和数据增强策略。提出基于改进RT-DETR-seg的高精度算法：引入ASC模块增强纵向特征，嵌入CA机制重建跨遮挡长程依赖，设计MGR损失函数提升边缘平滑度。系统评估表明，在ASC、CA和MGR的协同作用下，模型边界框检测精度（mAP⁵⁰_box）提升至91.03%，掩膜分割精度（mAP⁵⁰_mask）达到81.04%，MAE从基线模型的1.09显著降低至0.28。改进算法在复杂田间条件下平衡了鲁棒感知和实时推理，为边缘端甘蔗茎秆计数系统的开发和部署提供了坚实的算法基础。