从逐帧检测到实例级跟踪:用于自主稻田导航的鲁棒作物行感知

《Computers and Electronics in Agriculture》:From frame-wise detection to instance-level tracking: robust crop row perception for autonomous paddy field navigation

【字体: 时间:2026年09月04日 来源:Computers and Electronics in Agriculture 10.3

编辑推荐:

   •将作物行感知从静态检测转变为跨帧身份跟踪。•引入相对水平排序约束以实现行序列对齐。•通过在稻田中进行多平台田间试验来验证框架的稳定性。引言使用自主农业车辆实现田间作业自动化是提高生产力和减少劳动力依赖的关键策略 (Lillford & Hermansson, 2021)。对

  
  • 将作物行感知从静态检测转变为跨帧身份跟踪。
  • 引入相对水平排序约束以实现行序列对齐。
  • 通过在稻田中进行多平台田间试验来验证框架的稳定性。

引言

使用自主农业车辆实现田间作业自动化是提高生产力和减少劳动力依赖的关键策略 (Lillford & Hermansson, 2021)。对于大规模部署,建立可靠的导航能力是必不可少的先决条件 (Nahavandi et al., 2025)。虽然基于 GNSS 的解决方案在结构化旱地环境中有效 (Zhao et al., 2023, Jing et al., 2023),但稻田带来了独特的挑战。如图 1A 所示,水稻秧苗在狭窄的行中密集移植,对横向偏差的容忍度极小。积水和泥泞的表面由于移植误差、水流和早期分蘖动力学引入了空间不规则性 (Li et al., 2025)。这些因素使建立稳定的导航参考变得复杂。因此,对定位精度和实时感知提出了严格要求 (Bai et al., 2023)。这些条件使得基于视觉的导航成为稻田作业的特别实用解决方案 (Zhang et al., 2024)。
作物行检测是基于视觉导航的核心。大多数现有研究将水稻作物行感知表述为逐帧检测问题,通过几何建模 (Ruan et al., 2023)、语义分割 (Wang, Zhang, Wang & Yu, 2021) 或混合方法 (Ma, Tao, Du, Yu & Wu, 2021) 从每一帧中独立检测的行特征中得出导航决策。相关方法论也已开发出来以提高检测效率 (Li et al., 2023a)、结构鲁棒性 (Li et al., 2023b) 以及对挑战性物候阶段的适应性 (Li et al., 2023c)。如图 1B 所示,这些方法通常在预定义的感兴趣区域 (RoI) 内运行,并依赖逐帧启发式方法进行导航决策 (De Silva et al., 2024, Li et al., 2022, Yang et al., 2023)。然而,在具有重复行模式、强视觉相似性和频繁遮挡特征的密集稻田中,逐帧方法经常出现目标混淆和中心行选择不稳定的问题,降低了导航可靠性。最近的研究引入了实例级作物行分割网络,例如 InstaCropNet (Guo et al., 2024) 和双通路实例分割框架 (Chen et al., 2025),它们将每一行作物视为一个独立的实例。然而,这些方法仍然局限于静态逐帧识别,并未解决时间身份保持问题,使得连续帧之间一致的行对应关系和身份连续性问题在很大程度上仍未解决。因此,出现了明显的研究缺口。当前的农业文献尚未解决建立一致行对应关系的问题。跨连续帧保持身份连续性的问题仍未得到解决。
一个自然的扩展是引入跨帧的时间关联,正如多目标跟踪 (MOT) 领域所研究的那样 (Zhang et al., 2022a, Cao et al., 2023a)。然而,直接将传统 MOT 框架应用于作物行感知仍然存在根本性问题。现有的 MOT 方法依赖于诸如物体级身份持久性 (Kalake, Wan, & Hou, 2021) 和外观一致性 (Pramanik, Pal, Maiti & Mitra, 2021) 等假设,这些假设在作物行场景中被违反。作物行不对应固定的视觉实体。随着车辆向前移动,新的秧苗不断进入视野 (FoV),而其他秧苗退出,尽管代表同一条物理行,但导致视觉组成不断变化 (Meimetis, Daramouskas, Perikos, & Hatzilygeroudis, 2023)。此外,密集排列且视觉相似的行引入了严重的关联歧义,而它们细长的几何结构偏离了大多数 MOT 模型背后的紧凑物体假设。这些差异表明,作物行感知不能通过直接采用现有的跟踪范式来解决。仍然存在一个开放的方法论缺口。具体来说,现有文献缺乏一种在独特的结构田间约束下强制时间跟踪一致性的方法。
现有的 MOT 约束主要在三个层面运作:运动约束调节单个轨迹的时间演化,空间约束限制局部成对邻近性或重叠,基于图的约束建模目标之间的关系统性。然而,这些约束并未明确要求全局分配置换保留在相邻帧之间保持局部有序的行结构的横向顺序。因此,局部合理的成对匹配仍可能产生拓扑不一致的身份反转。
为解决这些局限性,作物行感知被重新表述为针对复杂稻田的结构化序列跟踪问题,将焦点从孤立的逐帧识别转移到连续序列对齐 (图 1C)。提出的相对水平排序约束作为分配过程中的偏序约束被引入。对于可见的作物行,从左到右的顺序预计在相邻帧之间保持大致稳定,尽管局部位置可能因振动、透视压缩或分割噪声而波动。因此,从历史轨迹到当前检测的关联应该是单调的。通过惩罚反转对,所提出的策略将标准二分图匹配转换为保持拓扑的序列对齐,最小化跟踪不连续性,并在严重田间噪声下抑制相邻水稻行之间拓扑不一致的轨迹反转。
本研究的主要贡献总结如下:1) 作物行感知被表述为有序序列跟踪问题,以在逐帧检测之外改进时间身份保持。2) 通过将近似水平排序先验纳入数据关联过程,引入了一种拓扑感知关联策略,使其与运动预测、空间门控和掩膜级相似性互补。3) 所提出策略的实用价值在不同田间干扰下的稻田跟踪和导航场景中得到了评估。

章节片段

材料与方法

所提出的框架(如图 2 所示)通过四个阶段运行以实现持久的实例级作物行跟踪。首先,在不同田间条件下构建质心线数据集。其次,轻量级语义分割网络提取实例级中心线掩膜作为主要输入。第三,卡尔曼滤波器状态估计器结合了车辆振荡和透视压缩先验。这一步稳定了行定位并抑制了底盘抖动。

作物行分割结果评估

为了评估语义分割的基线性能,测试了三个模型,CGNet、ICNet 和 Segformer-B3,在不同稻田条件下进行测试。水稻行的准确分割为后续的中心线提取和实例级跟踪提供了基础,使其成为关键的第一步。图 10 展示了三个模型的混淆矩阵,直观地概述了它们的分类性能。所有三个模型均实现了高的像素级准确率

误差传播分析

分割精度、中心线提取精度、跟踪性能和最终导航偏差之间的关系值得分析。分割精度作为感知管道的基础,决定了像素级掩膜质量。中心线提取精度随后将这些掩膜转换为几何坐标,其中提取误差直接影响行原语的空间精度。关键在于,跟踪性能充当了时空

结论

本文提出了一种用于稻田自动作物行感知的实例级跟踪框架。该框架通过建立连续跟踪视角解决了传统逐帧识别的局限性。
一个关键的方法论贡献是将作物行跟踪表述为结构化行原语上的保序关联问题。通过在全局分配过程中引入反转对惩罚,所提出的方法约束了全局

CRediT 作者贡献声明

Dongfang Li: 撰写 – 初稿,软件,方法论,数据管理,概念化。 Feiyang Zhang: 验证。 Xingshuo Li: 撰写 – 审查与编辑。 Yongkai Ye: 数据管理。 Jun Wang: 监督。 Yejun Zhu: 验证。 Maohua Xiao: 项目管理,资金获取。

竞争利益声明

作者声明他们没有已知的竞争经济利益或个人关系,这些利益或关系可能影响本文报告的工作。

致谢

作者衷心感谢 国家自然科学基金 (Grant No. 52502530)、 江苏省自然科学基金 (Grant No. BK20251524)、 海南省自然科学基金 (Grant No. 326QN0701)、 国家自然科学基金 (Grant No. 32572220) 的财政支持。
Dongfang Li|Feiyang Zhang|Xingshuo Li|Yongkai Ye|Jun Wang|Yejun Zhu|Maohua Xiao
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号