《Advanced Intelligent Systems》:Six-DoF Strawberry Harvesting Pose Selection and Adaptive Obstacle Clearing in Occluded Environments
编辑推荐:
在复杂、非结构化果园环境中,精确的末端执行器(end-effector)姿态选择对于低损伤草莓采摘至关重要。本研究针对固定行程双指末端执行器(fixed-stroke two-finger end-effector)提出一种遮挡感知的6-DoF(six deg
在复杂、非结构化果园环境中,精确的末端执行器(end-effector)姿态选择对于低损伤草莓采摘至关重要。本研究针对固定行程双指末端执行器(fixed-stroke two-finger end-effector)提出一种遮挡感知的6-DoF(six degrees of freedom,六自由度)采摘姿态选择策略,并集成自适应障碍清除(adaptive obstacle clearing)。在已有5-DoF(five degrees of freedom,五自由度)果实姿态基础上,该方法围绕估计的果实纵轴生成有限候选γ角(γ-angle)。每个候选采用成熟度加权遮挡风险评分(ripeness-weighted obstruction-risk score)评估,并选择评分最小且可行的候选。采用RRT-Connect(Rapidly-exploring Random Tree Connect,快速扩展随机树连接)对所选姿态进行可达性与碰撞可行性验证。当无法获得无碰撞接近路径时,根据局部障碍分布和果实成熟度激活自适应障碍清除。田间试验表明,与5-DoF基线相比,完整策略将采摘成功率从65.5%提高至78.0%,将损伤率从7.5%降低至5.5%,同时将执行时间从5.55 s增加至6.57 s。这些结果表明,所提出的6-DoF姿态选择策略与自适应障碍清除相结合,提高了遮挡条件下的采摘可靠性。
在复杂非结构化果园环境中,草莓表皮脆弱且可食部分为膨大花托,低损伤采摘要求末端执行器(end-effector)姿态精确。机器人采摘是应对劳动力短缺的关键技术。视觉姿态估计已有大量研究,但实际采摘要求检测姿态满足末端执行器运动学约束,并通过逆运动学(inverse kinematics)和运动规划(motion planning)验证可达与避碰。因此,遮挡环境下姿态选择与可达性验证应联合考虑。已有采样规划器如RRT、PRM可处理碰撞约束,但作物密集常使纯避障轨迹不存在,需要主动障碍清除。Xiong 等提出线性推动,密集遮挡下效果下降;同一团队提出三阶段拖拽推动,成功率62.4%;后续引入锯齿推动和手内拖拽,顶层成功率从42.3%提高到75.5%,但这些清除策略与末端夹持器方向独立,未联合根据周围果实空间分布和成熟度选择夹持器旋转角。果实姿态估计方面,Luo 等用Mask R-CNN(Mask Region-based Convolutional Neural Network,掩膜区域卷积神经网络)和点云做葡萄簇6D姿态,误差22.22°±17.96°,每簇1.786 s;Zhu 等用RGB-D和YOLOv8 OBB-Pose(oriented bounding box pose,定向边界框姿态模型)估计草莓5-DoF姿态,精度92.33%、召回95.02%、mAP@50为97.89%,α角误差1.88°±1.09°,β角误差6.97°±3.76°;α和β描述果实纵轴方向,不要求严格垂直,但γ角未确定。Jang 用YOLOv8实例分割番茄,平均姿态误差6.79°±3.18°,87.2%角度误差小于10°。端到端方法多聚焦视觉姿态,未显式评估与末端执行器几何和障碍兼容性。两指平行夹持器机械简单稳健,但刚性结构要求高精度方向估计;已有方向估计在开放场景有效,非结构遮挡下下降。Mghames 等提出I-ProMP(Interactive Probabilistic Movement Primitives,交互式概率运动基元)主动推动遮挡未成熟果实,在模拟 polytunnel 中实现 reach-and-pick。然而,夹持器旋转方向选择、基于障碍位置和成熟度的接触风险评估、直接接近不可用时激活清除动作三部分仍未充分整合。本研究在已有5-DoF草莓姿态估计基础上提出风险优化6-DoF采摘姿态选择策略:5-DoF提供三维位置和纵轴方向,引入γ角描述夹持器绕估计局部果实轴旋转;在预定义候选集内选择成熟度加权遮挡风险评分最小的可行γ候选。“风险优化”仅指评估候选中的最小风险,不表示连续姿态空间全局最优。RRT-Connect作为既有规划器验证可达性和碰撞可行性,不是方法贡献。无无碰撞接近时,基于规则的自适应障碍清除条件激活,方向与幅度由局部障碍分布和果实成熟度决定。主要贡献是:扩展5-DoF姿态并开发成熟度加权遮挡风险评分以从有限候选γ角选择可行最小风险姿态;将6-DoF姿态选择策略与条件自适应障碍清除集成,提高密集遮挡草莓簇的采摘可靠性。
关键技术方法:2025年8月在中国云南省会泽县 Shanxi Agricultural Technology Development Co., Ltd. 草莓农场开展田间试验。平台为 LingXtend 机械臂、定制双指夹持器和 Intel RealSense D435i 深度相机,用 URDF(Unified Robot Description Format,统一机器人描述格式)和 MoveIt(机器人执行框架)/ROS(Robot Operating System,机器人操作系统)构建仿真与执行框架。基于已有 YOLOv8 OBB-Pose 的5-DoF草莓姿态生成γ角候选,以成熟度加权遮挡风险评分筛选,RRT-Connect验证可达性与碰撞可行性;无无碰撞路径时执行自适应末端旋转清除。每种配置200次田间采摘,采用 McNemar 配对检验;完整策略进行200配对仿真与真实比较。
研究结果:
3.1 田间试验:6-DoF姿态选择与自适应障碍清除。通过200次自然高架草莓栽培田间试验比较配置。5-DoF基线配置A成功率65.5%(95%CI 58.7%–71.7%),损伤率7.5%;配置B加入成熟度加权风险评估成功率63.5%、损伤率9.5%;配置C加入固定障碍清除成功率70.5%、损伤率8.0%;配置D加入6-DoF姿态选择(γ)成功率71.5%、损伤率7.5%;配置E加入自适应障碍清除成功率74.5%、损伤率7.5%;完整配置F成功率78.0%(95%CI 72.2%–82.6%),损伤率5.5%。执行时间从A的5.55 s增至F的6.57 s,主要来自γ姿态评估和障碍清除,碰撞检查贡献小。McNemar配对检验显示A vs F p=2×10
?4,B vs F p=7×10
?5,C vs F p=0.0180,D vs F p=0.0368,E vs F p=0.1304;E与F未达显著但F成功率更高、损伤更低。成熟度权重消融:无成熟度加权成功率62.5%、成熟果实损伤率20.0%、碰撞率9.5%;有成熟度加权成功率71.5%、成熟果实损伤率8.5%、碰撞率6.5%,McNemar成功率p=0.0634、成熟损伤p=0.00102。表明成熟度信息主要降低成熟果损伤,对总体成功率作用有限。此外,遮挡越重,5-DoF不可行比例从低遮挡11.1%升至中遮挡27.3%再至高遮挡55.0%。
3.2 消融研究:自由度与自适应清除对抓取性能的影响。通过不同DoF配置和清除策略比较。无遮挡抓取成功率:5-DoF 45.0%,6-DoF无清除58.0%,6-DoF自适应清除65.0%;障碍干扰下抓取成功率:5-DoF 18.5%,6-DoF无清除16.0%,6-DoF自适应清除9.5%;抓取但损伤率分别为10.0%、6.5%、5.5%;漏抓率分别为19.0%、15.0%、15.5%;漏抓并损伤率分别为7.5%、4.5%、4.5%。结论是6-DoF调整夹持器绕估计果实轴旋转可减少漏抓,自适应清除可动态调整末端执行器动作、减少误抓并提高复杂多遮挡环境鲁棒性。
3.3 仿真与真实世界实验比较。通过200配对仿真和真实试验评估完整6-DoF加自适应清除。仿真成功率89.0%,真实成功率78.0%;仿真 Δt
exec 2.47±0.37 s、Δt
clear 1.49±0.20 s;真实 Δt
exec 6.57±0.55 s、Δt
clear 2.07±0.38 s。真实采摘存在不可控因素,动作控制不如仿真平滑,计算和清除耗时更长。
3.4 α、β、γ的适用性与局限性。通过姿态表示分析,α和β描述估计纵轴空间方向,γ确定夹持器绕局部轴旋转,因此不要求草莓完全垂直。田间试验主要涉及自然下垂草莓且可由已有5-DoF检测器表示,果实倾角未作为独立实验因素。强侧向果实方向、明显弯曲花梗、果实与花梗轴显著偏移可能降低局部轴估计精度并导致脱离时手指不对称接触;需进一步显式建模果实-花梗空间关系并评估更广果实方向。启发式规则参数基于当前平台和场景,转移至不同夹持器、传感器、品种或栽培系统可能需重新校准。
讨论总结:原文讨论指出 RRT-Connect因计算效率被选为基线规划器。遮挡增加使5-DoF不可行比例升高,说明仅视觉5-DoF不足以在密集簇中保证可执行性。成熟度信息对成熟果实保护尤为重要,因为成熟草莓更软、更易机械损伤;但其对总体成功率影响有限。当前评估N=200,仍需更大规模、更多果实方向和遮挡条件验证成熟度加权贡献。自适应清除在障碍干扰下显著改善表现,但真实执行不如仿真平滑,执行和清除时间更长。参数在正式试验前固定并保持不变。
结论翻译:商业机器人采摘在密集作物环境中需要平衡采摘可靠性、果实保护和作业效率。本研究针对遮挡草莓簇中固定行程双指末端执行器,提出一种基于风险的6-DoF采摘姿态选择策略,并集成成熟度感知的自适应障碍清除。通过引入绕果实纵轴的γ轴旋转,所提方法扩展了原有5-DoF姿态表示,使夹持器方向能够根据障碍进行调整。候选姿态采用成熟度加权遮挡风险评分评估,当无法直接无碰撞接近时激活自适应障碍清除。实验结果表明,所提策略提高了遮挡条件下的采摘可靠性。与5-DoF基线相比,完整6-DoF策略将采摘成功率从65.5%提高到78.0%,将损伤率从7.5%降低到5.5%。成熟度感知风险评估进一步改善采摘性能,尤其是对成熟果实。这些结果表明,环境感知的姿态选择与自适应操控策略相结合,可增强复杂草莓簇中的机器人采摘性能。未来工作将聚焦通过轨迹优化、并行感知与运动执行,以及在更广泛栽培环境中的验证来提高作业效率。