基于手眼视觉的煤矸石分选机器人动态视觉定位方法

《Scientific Reports》：A dynamic visual localization method for intelligent coal gangue sorting robots

　　

摘要

在煤矸石分选机器人进行动态抓取过程中，传送带速度波动、皮带打滑、皮带跑偏以及振动会导致预测目标位置与实际目标位置之间产生偏差，从而导致空抓、漏抓和抓取失败。针对固定速度预测和基于编码器的位移估计难以实时感知分选区域目标状态变化的问题，提出了一种基于手眼视觉系统的动态视觉定位方法。该方法以视觉跟踪作为主要定位模式。基于 SiamDW 框架，集成多尺度特征和轻量级通道注意力机制构建了 SiamCSF 定位模型，增强了在尺度变化、相机目标距离变化以及背景干扰下的目标特征表示能力。同时，使用平均峰相关能量来评估视觉定位的可靠性。当视觉置信度下降时，沿传送方向使用编码器位移进行短期补偿，并以之前的视觉定位结果作为参考状态，从而提高了动态分选期间的定位连续性和稳定性。实验结果表明，该方法在不同的传送带速度、相机目标距离变化和视觉特征退化条件下都能实现稳定的定位。它实现了约 58 FPS 的定位帧率，X 和 Y 方向的平均定位误差分别约为 1.7 毫米和 1.8 毫米，满足了动态抓取的实时性和精度要求。