一种利用具有已知CAD模型的一般物体进行两阶段手眼与机器人-世界标定的方法

《Measurement》：A two-stage hand–eye and robot–world calibration method using general objects with known CAD models

　　•通过点云配准和运动链建模建立统一的手眼标定模型，同时估计旋转和平移量，从而避免误差传播。•提出了一种两阶段标定策略，结合解析式初始化和迭代优化，以提高对测量噪声的鲁棒性。•所提出的方法能够利用普通物体进行过程中标定，而不会中断机器人的正常运行。•在真实测量和插销孔装配场景中的实验结果表明，该方法的精度和稳定性都有所提升。

引言
随着计算机视觉和机器人技术的快速发展，视觉引导的机器人系统在物体抓取和装配等任务中得到了广泛应用。这些任务的一个基本前提是准确估计相机与机器人末端执行器之间的相对位置，即所谓的手眼标定。不准确的手眼标定会导致对环境中目标物体的感知错误，进而造成操作偏差，影响任务执行的精确度，甚至可能导致任务失败。因此，精确的手眼标定对于确保机器人系统的高效稳定运行至关重要。

在实际应用中，相机要么固定在机器人末端执行器上（眼随手动），要么固定在工作空间内（眼独立于手）。在眼随手动的配置中，相机的姿态会随着机器人的运动而变化，这通常能提高视角的多样性，并减少因相机固定而产生的遮挡现象。此外，在许多工业环境中，与传统的手眼标定相比，人们更倾向于同时估计手眼变换和机器人-世界变换，因为这种方法能够明确建模原本未知的基座到世界的关系。这一过程通常被表述为求解方程AX=YB，如图1所示。这里，A∈SE(3)表示机器人基座坐标系与末端执行器坐标系之间的齐次变换矩阵，B∈SE(3)表示世界坐标系与相机坐标系之间的齐次变换矩阵。这两个矩阵分别可以从机器人控制器和相机中获得。X∈SE(3)和Y∈SE(3)则是分别表示机器人末端执行器坐标系与相机坐标系之间、以及机器人基座坐标系与世界坐标系之间关系的未知变换矩阵。

现有的手眼标定方法大多依赖于具有特定几何形状的标定物体，如标定板[1]、标定球[2]和圆形盘[3]，或者依赖于具有特定几何约束的专用平台[4]。这些解决方案主要分为解析式方法[5]和迭代方法[6]两类。解析式方法无需迭代优化即可为齐次方程提供解析解，具有较高的计算效率和结构简洁性。然而，它们往往更容易受到噪声的影响。相比之下，迭代方法通过优化特定目标来提高精度，但其收敛性和效率在很大程度上取决于初始条件及问题的特性。那些依赖特殊设计的标定目标的方法虽然能够实现高精度，但往往需要离线处理且会中断生产流程。此外，这些标定物体的磨损或损坏还会进一步降低精度，增加维护难度并提升整个系统的复杂性。为了解决这些问题，Xu [7]试图通过利用基于图像的场景特征来实现手眼标定，而不依赖特定的标定目标。然而，这种方法无法处理无特征的场景，也不适用于不输出图像的3D相机。在此基础之上，Xing [8]提出了一种利用3D相机且以任意物体作为标定参考的手眼标定方法，从而提高了标定效率。不过，其精度相对较低，难以满足高精度应用的需求。

为了解决上述局限性，本文提出了一种两阶段同步标定框架，其中使用具有已知CAD模型或几何模型的普通工件或一般物体作为标定参考。本研究的主要贡献如下：(1)通过结合基于模型的点云配准与运动链约束，建立了手眼标定和机器人-世界标定的同步模型，实现了旋转和平移参数的联合估计。(2)提出了一种两阶段标定策略，结合解析式初始化和迭代优化，以提高对测量噪声的鲁棒性。(3)所提出的方法可以利用具有可用几何模型的普通工件或物体进行标定，从而减少了对专用标定工具及额外标定中断的需求。(4)在真实测量和插销孔装配场景中的实验结果表明，该方法的精度和稳定性都有所提升。

文献综述
标定精度不仅取决于所采用的解决方案策略，还取决于标定物体的几何形状以及标定方程的构建方式。本节首先从解决方案策略的角度回顾了各种代表性方法，包括解析式优化和迭代优化方法。然后，介绍了与不同物体几何形状相关的标定方法，如专用标定目标以及工件/一般物体。

动机
图2展示了所提出方法的整体系统框架。在本研究中，视觉相机固定在机器人末端执行器上，而标定物体的设计模型坐标系被定义为世界坐标系{W}。设A表示从末端执行器坐标系{E}到机器人基座坐标系{B}的齐次变换。X表示从相机坐标系{S}到末端执行器坐标系{E}的齐次变换。Y表示观测到的变换TI,j。

仿真研究
在实际的机器人视觉标定中，最终不确定性会受到多种误差源的影响，包括机器人的重复定位精度、3D相机的测量噪声、点云与CAD模型之间的配准不确定性，以及非线性优化过程中的残差误差。具体而言，机器人的重复定位精度主要影响机器人姿态Ai，相机噪声会影响测量的点云，而配准不确定性则直接影响观测到的变换TI,j。

实验验证
为了进一步验证所提出方法的有效性，进行了实际标定实验，并对相应结果进行了分析。实际实验中使用了两种评估指标。首先，在真实测量实验中，通过比较点云与CAD模型之间的偏差，来评估应用标定变换后的点云与CAD模型之间的几何一致性。其次，以插销孔装配的成功率为评估指标。

结论
本文提出了一种基于普通工件或具有可用CAD/设计模型的物体的两阶段同步手眼标定和机器人-世界标定框架。该方法避免了使用诸如棋盘格或标定球之类的专用标定工具。通过结合基于克罗内克积的解析式初始化和改进的高斯-牛顿迭代优化方法，实现了旋转和平移参数的联合估计。实验结果表明，该方法具有更高的标定精度。

作者贡献声明
Wenzheng Zhao：写作——审稿与编辑，写作——初稿撰写，可视化，监督，项目管理，方法论，资金获取，数据整理，概念构思。Yinhua Liu：写作——审稿与编辑，写作——初稿撰写，可视化，方法论，资金获取，数据整理。Xiuli Geng：写作——初稿撰写，方法论，研究调查，资金获取。Chen Jiang：写作——初稿撰写，软件，资源准备。Hua Chen：写作——审稿与编辑。

利益冲突声明
作者声明不存在任何可能影响本文所述工作的已知财务利益或个人关系。

致谢
本研究得到了上海市自然科学基金（25ZR1401265）、国家自然科学基金（72202137）以及上海博士后优秀人才计划（2025553）的支持。

Wenzheng Zhao|Yinhua Liu|Xiuli Geng|Chen Jiang|Hua Chen|Xiaojin Xu