基于视觉的农机地头边界感知与转向决策框架研究

《Agriculture》:Vision-Based Headland Boundary Perception and Decision-Making for Turn Initiation of Agricultural Machinery

【字体: 大 中 小 】 时间:2026年09月20日 来源:Agriculture 4.5

编辑推荐:

  自主地头作业要求农机在非结构化田间环境中具备可靠的边界感知能力与及时的行为决策能力。本研究提出了一种面向自主农业机械的感知-决策框架。通过集成坐标注意力(Coordinate Attention, CA)、条带池化(Strip Pooling, SP)以及联合

  
自主地头作业要求农机在非结构化田间环境中具备可靠的边界感知能力与及时的行为决策能力。本研究提出了一种面向自主农业机械的感知-决策框架。通过集成坐标注意力(Coordinate Attention, CA)、条带池化(Strip Pooling, SP)以及联合边界-骰子损失(Boundary–Dice loss),研究人员开发了CA-SP-DeepLabV3+语义分割模型,以增强弱质、细长地头边界的连续性与定位精度。为便于在资源受限的计算平台上部署,研究人员进一步应用结构化剪枝与知识蒸馏对分割网络进行压缩。随后,采用基于立体视觉的三维边界重建方法估计农机相对于地头边界的距离。基于估计距离、拖拉机-农具参数、作业速度及所选转向类型,决策模块计算所需地头宽度以及减速与转向准备的距离阈值。实验结果表明,压缩后的分割模型在地头与田间类别上分别取得了92.55%与96.53%的IoU值,同时参数量与浮点运算量(FLOPs)较未压缩模型分别减少了28.48%与48.43%。在四种代表性地头环境及10~30 m参考距离条件下,相对测距误差为1.30%~7.03%,总处理延迟在评估条件下低于45.5 ms。决策实验进一步表明,所提方法生成的地头宽度规划与减速阈值符合不同拖拉机-农具组合及作业工况的几何与运动学约束。上述结果验证了所提框架在评估条件下用于边界感知、距离估计与行为决策支持的可行性。
农业机械在现代农业生产中不可或缺。在持续技术创新的推动下,自动导航系统已广泛商业化,成功实现了田间作业的半自动化。然而,当农机接近地头时,转向操作及农具升降仍需要人工干预,因此进一步提升农机智能化水平、发展全自动驾驶技术已成为行业共识,地头环境识别与行为决策是其中的关键基础技术。

在地头图像识别领域,早期研究多采用颜色纹理分析、像素强度突变检测等传统手工特征提取方法,但在复杂农田场景中难以应对光照波动、阴影和模糊边界,泛化性与鲁棒性受限。基于深度学习的技术已成为地头检测研究的主流,但现有文献在完成地头识别后多聚焦于转向路径规划,将视觉感知与测距结果直接转化为行为决策阈值的研究尚不充分。为此,研究人员提出并评估了一种基于视觉的框架,将地头边界感知、立体测距与基于距离触发的转向决策直接关联。

研究人员开展了以下研究:提出触发式两阶段地头识别框架,以MobileNetV4-Small轻量级分类器对前视图像快速分类,仅在地头场景被检测到时才激活CA-SP-DeepLabV3+分割模型;在分割模型中集成坐标注意力(Coordinate Attention, CA)、条带池化(Strip Pooling, SP)与联合边界-骰子损失(Boundary–Dice loss),以适应地头边界弱纹理、细长且不规则的特征;采用结构化剪枝与知识蒸馏压缩分割网络,平衡精度与计算开销;利用ZED 2i双目相机将语义边界像素关联深度信息,重建三维边界点并估计车辆相对地头的距离;基于距离阈值与拖拉机-农具几何参数、作业速度及转向类型,决策模块计算所需地头宽度及减速与转向准备的距离阈值。实验于北京市小汤山国家精准农业示范基地开展,覆盖裸土、绿色植被、枯萎植被与人工设施四种代表性地头环境。结果表明,压缩分割模型地头与田间类别的交并比(IoU)分别达92.55%与96.53%,参数量与浮点运算量(FLOPs)较未压缩模型减少28.48%与48.43%;在10~30 m参考距离下相对测距误差为1.30%~7.03%,总处理延迟低于45.5 ms;所生成的地头宽度规划与减速阈值符合不同拖拉机-农具组合的几何和运动学约束,验证了框架的可行性,为农机自动地头作业的边界感知、距离估计与行为决策支持提供了技术支撑。

在关键技术方法方面,研究人员构建了包含7500张图像(5000张地头、2500张非地头)的分类数据集,以及1300张像素级标注地头图像的分割数据集,均按7:2:1划分为训练、验证与测试集。主要方法包括:基于MobileNetV4-Small的两阶段触发识别;集成CA、SP和Boundary–Dice损失的CA-SP-DeepLabV3+语义分割;一阶泰勒结构化剪枝与混合知识蒸馏;基于ZED 2i双目相机(1280×720分辨率,基线0.119896 m)的语义边界深度关联、随机抽样一致性(RANSAC)鲁棒拟合与总体最小二乘边界重建测距;基于几何运动学模型的距离阈值决策。

研究结果如下:

**3.1 地头分类网络评估**:通过5250张训练图像、1500张验证图像和750张测试图像评估MobileNetV4-Small,测试准确率为97.20%,地头类别召回率为98.40%,漏检率为1.60%,满足两阶段框架对轻量级触发分类器的可靠性要求。

**3.2 图像分割模型评估**:消融实验表明,CA、SP与B&D损失单独添加均能提升性能,其中B&D损失贡献最大,将地头IoU从89.06%提升至94.06%;完整CA-SP-B&D配置达到地头IoU 94.02%、田间IoU 97.26%。与经典模型比较,CA-SP-DeepLabV3+取得平均交并比(mIoU)95.64%、平均像素精度(mPA)97.78%、Accuracy 98.09%,虽略低于HRNet,但模型体积小13.4 MB且吞吐量为HRNet的2.12倍。剪枝使参数量从6.25 M降至4.47 M、FLOPs从26.72 G降至13.78 G,知识蒸馏将地头与田间IoU分别恢复至92.55%与96.53%。

**3.3 地头边界提取与测距分析**:在四种地头环境中,提取的边界线均准确跟随耕作区与地头间的可见过渡;重建的800个边界点形成连续三维轮廓,点-趋势残差分析显示偏差为?0.04 m、平均绝对误差(MAE)为0.26 m、均方根误差(RMSE)为0.34 m,95%绝对残差不超过0.63 m。在10、20、30 m参考距离下,跨环境平均相对误差分别为1.75%、3.80%与5.59%,Jetson Orin Nano平台总延迟为43.4~45.5 ms。

**3.4 地头转向决策测试**:地头宽度规划实验表明,针对两种拖拉机与三种农具组合,所提方法计算的宽度比经验操作员预留值小8.41%~15.54%,平均减少12.31%。运动规划实验中,四种工况下实测速度均按计划经历作业、减速与转向速度阶段,减速触发位置比计划位置近1.02~2.62 m,但车辆在进入所需转向宽度边界前0.90~1.63 m已达到转向速度,速度跟踪整体RMSE为0.131~0.188 m s?1。

讨论部分总结:边界感知与轻量化部署方面,B&D损失对边界敏感任务贡献最为显著,剪枝与知识蒸馏实现了识别性能与计算效率的良好平衡,适合嵌入式农机平台;双目测距方面,短距离精度更高,20~30 m区间较大误差可能影响初始减速触发,建议在减速阈值中考虑测距不确定性;转向决策空间效率与时机方面,几何规划减少了地头空间占用,观察到的减速延迟可能源于测距误差、系统延迟与车辆动力学响应的综合作用,视觉处理延迟本身仅对应小于0.11 m的行驶距离,不足以完全解释1.02~2.62 m的触发偏移,因此提出以安全裕度补偿距离高估、系统延迟及实际减速度不足的影响,并需通过重复同步测量确定裕度取值。研究局限在于实验在单一试验场进行且仅评估垂直接近场景,未来需扩展跨机器、跨场地与跨工况实验,并探索视觉感知与全球导航卫星系统(GNSS)定位及惯性测量的融合。

研究结论为:本研究开发了一个基于视觉的框架,将地头边界感知和立体测距与距离触发的行为决策联系起来。该框架结合边界距离与拖拉机-农具几何及作业条件,确定所需地头宽度以及减速和转向准备的时间。在测试条件下,规划的地头宽度比经验操作员预留值小8.41%~15.54%,且四种评估工况下拖拉机均在进入所需转向空间前达到规定转向速度。这些发现支持利用边界距离估计协调减速与机器特定转向要求的实际应用。该框架为后续农具与转向控制提供决策级输入,有望应用于拖拉机、联合收割机与水稻插秧机的自动化地头作业;在不同机器上部署需进行相机安装、车辆-农具几何和减速参数的机器特定标定。实际田间条件下的传感器噪声、车辆振动、光照变化与局部遮挡可能影响边界分割和立体深度估计,未来需评估这些影响,并研究视觉感知与GNSS定位和惯性测量的集成,其对鲁棒性与决策可靠性的益处尚待实验验证。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号