基于立体视觉的西兰花田间采收识别与姿态估计方法研究

为解决西兰花田间自动化采收中复杂背景下的实时分割难题及倾斜生长姿态识别问题，研究人员提出改进的YOLOv8n-seg模型YOLO-Broccoli-Seg，通过引入三重注意力模块（triplet attention）提升特征融合能力，实现mAP50（Mask）达0.973的高精度分割；同时开发基于三维点云的姿态估计方法，在-30°至30°倾角范围内R2达0.934。该研究为农业机器人精准采收提供了关键技术支撑。

　　

论文解读

在农田里，西兰花像一群调皮的孩子，有的挺直腰板，有的歪着脑袋，还有的躲在叶子后面捉迷藏。这种任性的生长方式可让采收机器人犯了难——复杂的田间背景让计算机"看"不清目标，倾斜的植株又让机械手无从下"爪"。更麻烦的是，西兰花与周围叶片颜色相近，活像穿了迷彩服。传统方法要么像Ramirez（2006）那样依赖颜色纹理分析却样本量不足，要么如Blok（2016）采用纹理滤波器检测耗时长达300ms/幅，甚至深度学习方案Mask RCNN也存在63.3ms/幅的处理延迟，远不能满足实时采收需求。

针对这些难题，来自中国的研究团队开展了一项创新研究。他们给YOLOv8n-seg模型装上了"智能探照灯"——三重注意力模块（triplet attention），让算法能像人类一样聚焦关键特征。这个被命名为YOLO-Broccoli-Seg的新模型，在Mask分割任务中mAP50达到0.973，比原模型提升1.2%，推理速度仍保持9ms/幅的闪电级响应。更妙的是，团队还发明了"西兰花姿势解码器"：通过拟合点云球面和B样条曲面，用向量精准捕捉植株倾斜角度，当倾角在±30°时误差不超过5.56°。这项发表在《Artificial Intelligence in Agriculture》的研究，为农业机器人装上了"火眼金睛"和"平衡仪"。

研究团队运用三大核心技术：1）基于ZED 2i双目相机采集的1280×720分辨率田间图像数据集，通过旋转/剪切/亮度调整进行数据增强；2）在YOLOv8n-seg的C2f模块和特征融合层嵌入三重注意力模块，构建轻量化模型YOLO-Broccoli-Seg；3）采用统计滤波（k=50, std_mul=1）和引导滤波预处理点云，结合区域生长分割（KN_normal=30, SmoothnessThred=2）提取目标点云，最后通过球面拟合与曲面重建实现姿态估计。

研究结果
3.1 西兰花实例分割
改进后的YOLO-Broccoli-Seg在Mask任务中精度（P值）达0.938，较基线模型提升8.7%。可视化分析显示，其Grad-CAM热图对西兰花特征区域的响应强度显著高于原模型。与Mask RCNN等模型对比中，新模型在保持110.30 FPS高帧率同时，mAP95（Bbox）达到0.748，较两阶段算法快7倍。特别在处理颜色相近的遮挡目标时，其分割轮廓精度优于其他模型。

3.2 西兰花姿态估计
点云预处理阶段，统计滤波有效分离了叶片与花球点云。当倾角α=20°时，基于区域生长分割的算法将误判率控制在4.46°。线性回归显示，估计值与真实值的R²达0.934，但倾角超过±30°时误差骤增，如α=40°时偏差达18.50°。这表明该方法对常见倾斜范围的西兰花具有鲁棒性，但对极端姿态需进一步优化。

这项研究突破了农业机器人视觉系统的两大瓶颈：像"变色龙"般隐匿在复杂背景中的目标识别，以及"摇头晃脑"植株的空间姿态解析。研究者巧妙地将计算机视觉领域的注意力机制（attention mechanism）与三维点云处理技术跨界融合，YOLO-Broccoli-Seg模型8.7%的精度提升看似不大，却让采收机器人在杂草丛生的田地里有了"明察秋毫"的本领。而基于B样条曲面（B-spline surface）的姿态估计方法，更是将抽象的生长姿态转化为可量化的空间向量，为机械臂运动轨迹规划提供了数学基础。尽管在极端倾角下算法表现有待改进，但研究团队开创的"识别-分割-姿态估计"技术链条，已为智慧农业装备研发树立了新范式。