融合双注意力掩码R-CNN与几何滤波的多阶段融合方法实现遮挡苹果快速精准定位

为解决复杂果园环境中遮挡苹果检测与定位精度低的问题，研究人员开展了基于多阶段融合框架的高精度视觉处理研究。该研究集成自适应图像增强、双注意力机制（SE-CBAM）改进的Mask R-CNN、层次化点云净化及两步RANSAC-LM球体拟合算法，实验结果表明该方法在轻度、中度和重度遮挡下的Mask IoU分别达到0.89、0.82和0.65，三维定位误差最低为0.42 cm，真实果园遮挡条件下采收成功率高达82.7%，显著优于传统方法，为复杂环境下果实定位与机器人采收提供了高效鲁棒的实时视觉解决方案。

　　

在农业劳动力持续短缺的背景下，果蔬采摘机器人已成为农业自动化研究的热点领域。然而，在非结构化的果园环境中，复杂光照、果实遮挡和果实簇聚等因素显著降低了苹果检测和三维定位的准确性，这成为采摘机器人实际应用的重大障碍。特别是在高纺锤形苹果园中，树冠密集、果实相互接触或被枝叶遮挡，导致可见区域碎片化，传统视觉模型难以重建果实的完整三维形态，缺乏对隐藏区域的“非模态感知”能力，机械臂可能误判果实形状造成损伤。此外，卷积神经网络难以理解物理场景结构，难以区分树枝等真实障碍物与阴影等视觉伪影，增加了碰撞风险。为了攻克这些技术瓶颈，江苏大学的研究团队在《Arthropod Structure 》上发表了一项创新研究，提出了一种多阶段融合框架，致力于实现从图像增强到三维重建的高精度鲁棒处理。

本研究采用了几个关键的技术方法：首先，基于HSV颜色空间的自适应图像增强算法用于缓解光照不均引起的图像退化；其次，引入具有双注意力机制（SE-CBAM）的改进Mask R-CNN模型，实现遮挡条件下的尺度自适应果实分割；第三，结合深度聚类和几何特征分析的层次化点云净化策略去除枝叶干扰；最后，使用两步RANSAC-LM球体拟合算法从残缺点云中快速准确地恢复果实三维形态。实验数据来源于江苏宿迁思味特果业有限公司万亩果园，使用RealSense D435深度相机采集的2000张训练图像和1000张测试图像。

2.1. 密集苹果园中的遮挡与光照挑战

研究发现，高纺锤形果园树体高大细长，形成窄高冠层，冠层间重叠普遍，导致果实相互碰撞并被枝叶遮挡。即使同一树行同一品种，因嫁接砧木不同会导致果实形态大小差异显著；人为调控成熟期导致同一区域果实颜色特征明显差异；光照变化和背景干扰同时影响多目标果实识别，阳光穿过叶片间隙形成球状光斑，引起目标果实颜色失真或边缘模糊。

2.2. 整体解决方案框架

研究提出集成四个核心模块的多阶段融合定位框架：自适应图像增强、双注意力特征融合分割、层次化几何点云净化和快速准确混合球体拟合。通过光照补偿、遮挡感知分割、几何约束点云净化和混合球体拟合的级联阶段，系统解决了复杂冠层下果实定位的关键瓶颈。

2.3. 自适应视觉增强与注意力驱动分割

在HSV颜色空间中对V通道图像分块进行自适应亮度调整，通过动态增益因子γ_i抑制高光区域并增强暗区。改进的Mask R-CNN在ResNet每个残差块中嵌入SE和CBAM注意力模块，SE模块强化通道判别能力，CBAM模块捕捉碎片化区域的空间依赖性，使模型在轻度、中度和重度遮挡下的Mask IoU分别达到0.89、0.82和0.65，显著优于DeepLabv3+、YOLACT和YOLOv8s-seg等主流模型。

2.4. 基于几何特征的多阶段滤波

提出基于最小外接圆的二维平面拟合补全果实轮廓，通过K-Means聚类结合深度阈值初步分离果实与遮挡物，再利用线性度(L_j)、平面度(P_j)和散射度(S_j)等局部几何特征精细识别去除枝叶点云。实验表明，该方法能有效区分果实（散射度0.41±0.11）、叶片（平面度0.62±0.08）和枝条（线性度0.73±0.09）的点云特征。

2.5. 基于RANSAC和LM算法的快速精确球体拟合

采用RANSAC算法从苹果点云簇中快速生成初始球体模型，再通过Levenberg-Marquardt(LM)算法进行非线性优化，最小化所有内点到球面几何距离的平方和。在室内模拟实验中，该方法在轻度遮挡下平均相对半径误差为1.6%，三维定位误差为0.42 cm；处理每帧总时间约54.1 ms，达到20 fps的实时性能。

3. 实验验证与结果分析

果园实地测试表明，在无遮挡、轻度遮挡和果实接触等场景下，本方法的采收成功率显著优于传统点云质心和二维定位方法。在轻度遮挡下达82.7%，较传统点云质心方法提高10.2%；在双果接触和多果接触情况下分别达到79.5%和76.3%。失败分析显示，运动失败（34.27%）和碰撞导致落果（21.21%）是主要失效原因。

研究结论表明，该多阶段融合方法系统解决了高纺锤形果园中遮挡苹果识别的关键技术难题，通过集成自适应视觉增强、注意力驱动分割、几何约束点云净化和鲁棒三维重建，为复杂环境下果实定位与机器人采收提供了高效、鲁棒且可实时部署的视觉解决方案。未来研究将引入结构光三维扫描和双目视觉构建高密度点云数据集，利用生成对抗网络(GAN)补全残缺点云，并将Mask R-CNN改进为Mask Transformer，通过果梗轴检测动态调整末端执行器姿态，结合冠层障碍物点云图规划无碰撞采摘路径，进一步提升严重遮挡场景下的采收成功率。