融合级联神经网络与鲁棒跟踪的饲用玉米秸秆高度视觉测量

《Computers and Electronics in Agriculture》：Visual measurement for forage maize stubble height fusing cascaded neural networks and robust tracking

　　

•提出了一种田间饲用玉米残茬高度的视觉测量方法。•MS-Seg结合了STViT_Extractor、DSFF_Fuser和EAB_Branch，改进了分割效果。•MS-Pose结合MobileNetV4和DSFF_Fuser，最优地估计残茬关键点。•MS-Track修正了ID切换和冗余分配问题，实现稳健跟踪。•该方法在残茬高度测量中实现了0.9791的R2、3.7 mm的MAE和6.1 FPS的速度。

引言

饲用玉米是牲畜的重要饲料来源（Jiao et al., 2022），在国民生活中占据重要地位（García-Lara and Serna-Saldivar, 2019）。残茬高度是衡量收获质量的重要指标。合适的残茬高度能最大化饲用玉米作物的价值。残茬高度过低意味着更多的根部被喂入，会引入土壤、真菌等有害杂质，且靠近根部的营养物质含量较低（Wang et al., 2026），不利于后续的发酵（发酵是饲料生产的关键环节），影响牲畜饲料的口感，同时也会增加后续分离、清洗等工序的技术难度。残茬高度过高则意味着喂入的饲用玉米量减少，从而降低产量，不利于充分发挥饲用玉米作物的价值（Qi et al., 2026）。因此，在收获过程中严格控制残茬高度至关重要。

残茬高度取决于收割机割台的站位（Tan et al., 2023）。割台的反馈控制是提高残茬高度控制精度的关键。传统的人工观察和补偿割台位置偏差的方法精度低且效率低，难以保证收获质量（Gao et al., 2023）。相比之下，机器视觉技术利用高精度传感器获取作物的三维空间位置信息，能够更准确、高效地对残茬高度进行动态监测和评估，具有显著优势。为了实现作物三维结构参数的测量，在硬件方面，研究人员广泛使用了包括深度相机（Chen et al., 2023）和激光雷达（Zhu et al., 2021）在内的高精度传感器，这些传感器通常安装在地面移动平台（Song et al., 2023）或无人机（UAV）（Gano et al., 2024）上，按照预设轨迹巡航扫描作物生长区域，以实现实时图像采集和参数测量。

在算法层面，在深度学习技术出现之前，基于机器视觉的作物三维结构参数测量方法主要依赖传统图像处理技术。此类技术需要人工选择适当的特征和参数，且对背景条件要求极为严格，通常偏好纯色背景（Baharav et al., 2017, Li et al., 2022, Souza and Yang, 2021）。近年来，基于卷积神经网络（CNNs）的机器视觉技术得到了快速发展。该技术具有强大的特征提取能力，不再依赖人工特征提取；仅通过在大量现有样本上训练模型，就能实现更准确的结果。

在这些技术中，有两种方法被研究人员广泛采用。第一种方法通过三维点云神经网络分割算法实现（Yao et al., 2025），其核心思想在于：借助网络对作物三维点云数据进行器官分割，提取待测目标（如茎、叶），必要时通过滤波、聚类、曲面拟合等手段提取待测表面，最终通过特定公式计算得到实际尺寸（如株高、茎粗、叶面积）。Song等（2025）提出了一种新颖的算法CotSegNet，用于棉花器官点云的语义分割，随后结合其提出的改进区域生长算法进一步分割器官实例。基于上述结果提取的茎高、叶长、叶宽和叶面积的判定系数（R2）分别为0.947、0.948、0.955和0.961。Guo等（2023）提出了一种自定义算法ASAP-PointNet，用于白菜点云的语义分割，并使用改进的DBSCAN算法进一步分割植株实例。在此基础上，他们计算了株高、叶长、叶宽和叶面积，R2值分别为0.96、0.91、0.95和0.94。Patel等（2023）提出了一种高粱表型参数（株高、冠径、紧凑度、茎粗、穗长和穗宽）高通量测量方案。使用PointNet++（Qi et al., 2017）获得的R2值分别为0.97、0.96、0.94、0.90、0.95和0.88，其中PointNet++展现了最高的分割精度。然而，上述三项研究提出的方法仅适用于室内盆栽等干扰因素较少的参数测量场景。Zhang等（2024）提出了一种名为SN-MGGE的算法，用于黄瓜苗三维点云分割并基于分割结果提取四种表型参数（株高、叶长、叶宽和叶面积），对应的R2值分别为0.98、0.96、0.97和0.97。然而，该研究仅在温室等简单栽培环境中进行。Chu等（2025）提出了一种面向全生命周期的棉花表型参数提取新方法，使用新设计的ResDGCNN实现棉花点云的器官级语义分割，并结合改进的区域生长算法精确提取重叠区域内的器官实例，进而计算棉花表型参数，解决了重叠区域的分割问题。该算法的平均交并比（mIoU）达到67.55%，茎长测量的平均相对误差为0.973。然而，该研究主要聚焦于温室场景。

上述所有方法均使用应用于三维点云的神经网络分割算法来测量作物三维结构参数。然而，现有方法的特征提取能力仍然有限，且对环境条件的要求极为严格。此外，此类方法需要构建网络从大量三维点云数据中提取特征，导致计算开销巨大，难以满足本研究中收获过程中实时测量的需求。

另一类方法通过二维RGB图像神经网络算法实现：使用构建的网络从采集的二维RGB图像中确定待测作物所在区域的像素坐标，随后结合深度信息将像素维度映射为实际尺寸测量值。由于该方法仅处理二维数据且数据量较小，避免了计算密集的三维空间信息处理，其实时性能相比第一类方法有显著提升。相关的代表性算法包括Mask R-CNN（He et al., 2017）、YOLO系列等。Ahmed等（2025）提出了一种基于YOLOv8（Sohan et al., 2024）的苹果树枝直径测量方法，从RGB-D图像中分割待测枝条，随后使用主成分分析确定其生长方向，进而计算枝条直径。该方法的均方根误差（RMSE）为2.06 mm。远距离观测时，枝条面积过小，特征数量不足，容易导致分割不准确。Mu等（2024）提出了一个名为S2CPL的模型，用于绿芦笋选择性收获中的切点视觉定位和参数测量。长度和直径的相对误差分别小于2.98%和2.15%，切点定位精度超过99.0%，在轻微遮挡和运动模糊情况下具有良好的鲁棒性。Chen等（2025）提出了一种基于YOLO-V9架构的动态比例方法，该方法基于从ZED相机提取的点云数据和分割检测技术的结合，实现了缺失芦笋点云的长度测量和采摘点定位。该方法的长度测量平均绝对误差（MAE）为0.9 cm，采摘点定位为0.15 cm。然而，这两种测量方法仅限于绿芦笋与土壤颜色差异显著的应用场景。Wang等（2025a）提出了一种向日葵直径和厚度尺寸的非接触测量方法，将MBLA-YOLO实例分割算法与三维数据相结合。向日葵头直径和厚度测量的MAE分别为0.64 mm和0.27 mm。然而，向日葵呈现明显的黄色特征，特征提取较为容易，表明该算法仍存在较大局限性。Zhang等（2026）提出了一种Faster R-CNN与激光雷达-相机融合相结合的方法，实现了油菜单株株高的通量提取。结果表明，苗期的R2达到0.980，RMSE仅为0.651 cm。然而，该方法仅依赖作物与土壤背景之间的颜色差异进行分割，当两者特征趋同则不适用。

上述方法更多聚焦于待测作物特征与背景差异显著的应用场景，待测目标易于识别，这非常有利于算法特征提取和高精度测量。然而，本研究以田间环境中的饲用玉米残茬为研究对象，待测对象与背景之间的特征相似度过高，即对象的色彩、纹理和形态与背景趋于相似。残茬可以完美融入周围环境，导致用于识别残茬的特征信息严重不足，对象轮廓边缘模糊且难以区分。此外，远距离观测时对象图像面积过小，进一步加剧了残茬高度测量的难度，相应的图像可被视为高难度样本。因此，上述方法不再适用于本研究的应用场景。

为了解决上述问题，本研究提出了一种融合级联神经网络和稳健跟踪的饲用玉米残茬高度视觉测量方法，从而推动饲用玉米智能收获向更高精度和效率发展，同时为精准农业测量任务提供核心技术支撑。如图1所示，该方法的流程图包含四个阶段。本文的主要工作如下：

（1）残茬分割阶段。使用提出的饲用玉米残茬实例分割算法（MS-Seg）分割残茬实例并获得待测区域。该算法基于SparseInst（Cheng et al., 2022b），引入了超级标记视觉Transformer提取器（STViT_Extractor）以增强骨干网络的全局和局部建模能力。同时设计了一种新的编码器——动态稀疏特征融合器（DSFF_Fuser），以促进高价值特征传播。此外，构建了一种新的掩码分支——边缘感知自适应特征调整卷积块分支（EAB_Branch），以改进算法对残茬边界的感知能力，为后续从残茬区域点云中精确提取空间信息和生成精确的三维包围盒提供可靠的数据支撑。

（2）残茬姿态估计阶段。使用提出的饲用玉米残茬姿态估计算法（MS-Pose）预测残茬顶部和底部的关键点，以获得测量方向向量，作为高度测量的基础。该算法的骨干网络替换为MobileNetV4（Qin et al., 2024），显著降低了计算成本，实现了效率与精度之间的最佳平衡。同时，向算法中添加了一个颈部网络DSFF_Fuser，以实现特征传播并捕获有价值的特征信息。

（3）残茬目标跟踪阶段。使用新设计的饲用玉米残茬跟踪算法（MS-Track）实现高度稳健的残茬跟踪，从而提高后续测量的精度。

该算法基于OC-SORT（Cao等人，2023），引入了针对身份（ID）切换和冗余分配问题的判定与校正机制，从而克服了原算法的固有缺陷，并增强了残茬追踪的鲁棒性。

（4）残茬三维边界框与高度获取阶段。基于分割、姿态估计和追踪结果，结合深度信息，为每根残茬生成点云，并获取相应的方向性三维边界框。通过提取边界框的高度，得到实际残茬高度。

**数据片段**

**数据采集与数据集划分**

本研究的最终目标是在田间环境下实现对饲用玉米残茬高度的准确高效智能测量。实验所需数据来自中国广东省广州市华南农业大学麒麟农场的试验田（东经113°22′4.97″，北纬23°9′54.79″），如图2所示。该图完整展示了饲用玉米收获后的典型场景。作物主体部分已被收获用于后续饲料加工。

**MS-Seg消融实验**

在这些实验中，使用STViT_Extractor、DSFF_Fuser和EAB_Branch逐步替换SparseInst算法的骨干网络、编码器和掩码分支进行模型训练。分析实验结果以调查每种改进策略对算法性能的影响，并验证所提方法的有效性。为确保实验结果的可比性和公平性，算法的训练和验证在……中进行

**结论**

本研究提出了一种融合级联神经网络和鲁棒追踪的视觉测量方法，能够在田间环境条件下实现对饲用玉米残茬高度的准确高效非接触测量，即使在特征微弱和小目标条件下也能实现，从而实现收获质量的动态监测与评估。具体结论如下：

（1）残茬分割阶段。所提出的MS-Seg算法用于分割残茬实例，并……

**CRediT作者贡献声明**

Li Shanda：撰写—初稿，可视化，软件，方法论，数据整理，概念构思。

Dai Jiuxiang：可视化，监督，经费获取。

Luo Yangfan：撰写—审阅与编辑，可视化，调查研究，形式化分析，数据整理。

Hu Shiyun：可视化，数据整理。

Lin Duanxiang：形式化分析，概念构思。

Zhao Zuoxi：监督，项目管理。

**关于生成式AI和AI辅助技术在写作过程中使用的声明**

在本工作准备过程中，作者使用了ChatGPT来改善语言表达。在使用该工具之后，作者根据需要审阅和编辑了内容，并对出版物的内容承担全部责任。

**利益冲突声明**

作者声明不存在已知的竞争性经济利益或个人关系，这些情况可能影响到本论文中所报告的工作。

**致谢**

资助：作者感谢中国国家重点研发计划对本研究的支持（资助编号：2022YDF2001901-01）。

Li Shanda | Dai Jiuxiang | Luo Yangfan | Hu Shiyun | Lin Duanxiang | Zhao Zuoxi