基于图像匹配位姿估计的杂乱工件视觉引导机器人分拣1

《Applied Sciences》:Vision-Guided Robotic Bin-Picking of Disordered Workpieces via Image-Matching Pose Estimation

【字体: 大 中 小 】 时间:2026年08月29日 来源:Applied Sciences 2.5

编辑推荐:

   视觉引导的机器人分拣系统在工业自动化领域受到广泛关注,然而在杂乱场景下对无序工件的精确抓取仍然具有挑战性。本研究提出了一种基于图像匹配的位姿估计方法(Image-Matching Pose Estimation, IMPE),用于解决机器人对散乱堆叠工件的

  


视觉引导的机器人分拣系统在工业自动化领域受到广泛关注,然而在杂乱场景下对无序工件的精确抓取仍然具有挑战性。本研究提出了一种基于图像匹配的位姿估计方法(Image-Matching Pose Estimation, IMPE),用于解决机器人对散乱堆叠工件的自主识别与抓取问题。该方法首先利用深度学习网络从输入图像中提取工件的高维特征,建立目标工件的特征模板库,然后通过特征匹配实现工件类别识别与二维位置定位;随后,针对工件位姿估计模块,结合点云数据与几何特征匹配算法,计算工件在三维空间中的六自由度(6-DoF)位姿。研究团队在包含多种工业零件的真实分拣场景数据集上对所提方法进行了验证,实验结果表明该方法在识别精度与位姿估计准确性方面均优于传统方法,在遮挡和堆叠条件下仍能保持良好的鲁棒性,并成功应用于实际机器人分拣任务中,显著提高了分拣的成功率与效率。该研究为工业场景中无序工件的智能化柔性抓取提供了一种有效的视觉感知解决方案。
**论文解读文章**

**研究背景**

随着工业4.0与智能制造的持续推进,工业机器人被广泛应用于装配、搬运、码垛等自动化环节。其中,针对无序、散乱堆叠工件的自主分拣是工业机器人应用中的一项核心技术需求,在机械加工、物流分拣、电子产品装配等领域具有广阔的应用前景。在实际生产环境中,工件通常以随机姿态堆叠在料筐或传送带上,相互之间存在着严重的遮挡与堆叠,这要求机器人具备从二维图像与三维点云中准确识别工件类别、定位工件位置并估计工件六自由度(6-DoF)位姿的能力。

然而,传统的机器人分拣系统多依赖人工示教或预先设计的固定轨迹,难以适应工件的随机摆放姿态和复杂背景条件。现有的视觉识别与位姿估计方法在简单场景下尚能取得良好效果,但面对高度杂乱、相互遮挡的工件堆叠场景时,普遍存在识别精度下降、位姿估计偏差大、计算实时性不足等问题。具体而言:一方面,基于传统手工设计特征(如尺度不变特征变换(Scale-Invariant Feature Transform, SIFT)、快速特征点检测与描述(Oriented FAST and Rotated BRIEF, ORB)等)的方法对光照变化、纹理缺失和目标遮挡十分敏感;另一方面,现有基于深度学习的位姿估计网络虽然在通用数据集上取得了显著进展,但针对工业场景中形状复杂、对称性高、表面反光的金属零件,其泛化能力仍有待提升。因此,开发一种兼具高精度、高鲁棒性和实时性的视觉引导分拣方法,成为当前工业机器人研究领域亟待解决的问题。

**研究内容与结论**

针对上述问题,研究人员在发表于《Applied Sciences》的论文中提出了一种基于图像匹配的位姿估计方法。该方法的核心思路是将工件的识别与位姿估计问题统一纳入图像匹配框架中处理,通过构建工件的特征模板库并结合深度学习特征提取网络,显著提升系统在杂乱场景下的感知能力。研究结论表明,所提出的方法在识别准确率、位姿估计精度及分拣成功率等关键指标上均优于多种现有基准方法,能够有效应对工件的相互遮挡与堆叠,为工业机器人实现无序工件的自主、精准分拣提供了一种可行的技术路径。

**关键技术方法**

本研究所采用的主要技术方法包括以下三个层面:其一,基于深度卷积神经网络的工件特征提取与模板库构建。研究人员利用在大规模图像数据集上预训练的卷积神经网络(Convolutional Neural Network, CNN)模型作为骨干网络,对采集到的工件图像进行高维语义特征提取,建立包含多视角模板的工件特征库,从而实现工件类别的准确识别与二维位置的初步定位。其二,二维图像特征与三维点云数据融合的位姿精估计策略。在获得二维匹配结果的基础上,方法进一步引入深度传感器获取工件区域的局部三维点云,通过迭代最近点(Iterative Closest Point, ICP)等几何配准算法,将模板点云与场景点云进行精确对齐,从而解算出工件在相机坐标系下的六自由度位姿。该阶段通过二维信息引导三维配准的由粗到精(coarse-to-fine)策略,有效避免了全局搜索带来的巨大计算开销。其三,针对实际抓取场景的机器人手眼标定与抓取规划方法。研究通过手眼标定矩阵将视觉系统估计得到的工件位姿统一变换到机器人基坐标系下,结合抓取规划算法生成无碰撞的机械臂运动轨迹。值得注意的是,上述方法的有效性是在包含多类典型工业金属零件的仿真与真实场景数据集上得到验证的,研究中所构建的评估数据集覆盖了不同光照条件、不同堆叠密度以及不同程度遮挡的多样化场景。

**研究结果与分析**

***3.1 系统总体框架与数据集构建***

为验证所提方法的有效性,研究人员首先搭建了完整的视觉引导机器人分拣实验平台,并构建了包含多种典型工业零件的数据集。数据集中涵盖了具有不同几何形状、尺寸和表面属性的工件类别,以模拟真实工业环境的复杂性。该实验平台的搭建为后续各模块的性能评估提供了统一的基础。

***3.2 工件识别与二维定位结果分析***

在工件类别识别与二维定位任务中,研究人员将所提出的图像匹配方法与多种主流目标检测算法进行了对比实验。结果显示,在堆叠和遮挡场景下,基于图像匹配的方法凭借模板库中丰富的多视角特征信息,取得了最高的识别准确率,显著优于仅依赖单帧图像信息的传统检测方法,表明该方法在处理严重遮挡问题时具有明显优势。

***3.3 六自由度位姿估计精度评估***

工件六自由度位姿估计精度是决定分拣成败的关键环节。实验结果表明,在不存在严重遮挡的简单场景下,多数对比方法均能达到较高精度;但当工件处于密集堆叠状态时,传统方法的位姿估计误差显著增大,而所提出的基于图像匹配引导三维配准的方法则保持了相对稳定的精度水平,验证了二维特征引导三维配准策略的有效性与鲁棒性。

***3.4 机器人分拣实验与消融研究***

为最终验证所提方法的实际应用价值,研究人员在真实机器人平台上开展了端到端的分拣抓取实验。实验结果表明,所提方法取得了较高的分拣成功率,能够稳定完成对杂乱堆叠工件的逐一抓取与码放任务。此外,研究人员还通过消融实验分析了系统中各关键模块的贡献,结果表明图像匹配模块与姿态精估计模块的协同作用对于最终分拣性能的提升至关重要,缺少任一模块均会导致分拣成功率出现不同程度的下降。

**讨论与结论**

本研究针对工业场景中无序工件的视觉引导机器人分拣难题,提出了一种基于图像匹配的位姿估计方法,并通过系统的实验验证了其有效性。讨论部分指出,该方法能够有效应对传统方法在工件遮挡、堆叠以及背景复杂等条件下识别率下降与位姿估计不准的局限,这得益于特征模板库所提供的丰富先验信息以及由粗到精的位姿优化策略。同时,研究也指出当前方法仍存在一定局限性,例如在工件表面高度反光或完全无纹理的极端条件下,视觉特征提取与匹配的稳定性仍有待进一步提高。总体而言,研究结论可以归纳为:所提出的基于图像匹配的位姿估计方法为工业机器人分拣系统提供了一种高精度、高鲁棒性的视觉感知方案,为推动工业机器人在复杂场景下的智能化应用提供了理论依据与技术支撑。此外,研究团队建议未来工作可进一步探索将更多模态的传感信息(如触觉、力觉)融入位姿估计框架,以应对更加苛刻的工业应用需求。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号