宏观/微观结合的层次化姿态测量技术，用于跨尺度微组装中的定位控制

《ROBOTICS AND COMPUTER-INTEGRATED MANUFACTURING》：Macro/micro combined hierarchical pose measurement for positioning control in cross-scale micro-assembly

多机器人协同跨尺度微装配中提出分层姿态测量方法，结合广角宏观视觉与高分辨率微观视觉，通过宏视DBSCAN亚像素检测和微视RANSAC-PnP策略优化，实现毫米级到微米级的精准定位。实验验证其测量精度、重复性和效率优于传统单尺度视觉系统。

　　

李张|张显民|李海|张芬华

中国广东省精密装备与制造技术重点实验室，华南理工大学机械与汽车工程学院，广州，510000，中国广东

摘要

在多机器人辅助的跨尺度微组装背景下，结合广域宏观视觉和高分辨率微观视觉来引导机器人协作以实现高精度操作是一个有前景的方法。本研究提出了一种基于宏观视觉和微观视觉互补特性的分层姿态测量方法，该方法通过分解任务来平衡感知效率、精度和鲁棒性。首先，通过对典型跨尺度微组装场景的分析，制定了一个两阶段的分层姿态测量方法用于定位控制。随后分别阐述了宏观视觉和微观视觉的测量过程。对于宏观视觉，提出了一种通用的姿态估计流程，该流程包含离线自动关键点标注程序，能够快速训练出专门针对任务的YOLO-Pose网络，该网络能够同时预测目标边界框和相应的关键点。基于检测到的关键点分布，接着应用DBSCAN算法来识别最具特征密度的区域，以便进行亚像素关键点检测和姿态测量。对于微观视觉，宏观视觉中单个显著特征的表面形态可能表现为复杂结构。因此，本文提出了一种一对多的RANSAC-PnP策略来提高测量鲁棒性，并为具有有限可靠关键点的无纹理目标引入了相交边缘约束。在实验研究中，使用激光跟踪器和高精度空间定位平台分别评估了宏观视觉和微观视觉姿态测量方法的精度、重复性和效率。还在不同尺度下进行了对比实验，以验证所提出的优化策略的有效性。最后，将完整的分层姿态测量方法应用于跨尺度微组装场景中的机器人定位控制。

引言

随着精密设备的快速发展，对具有复杂空间几何形状的高性能微机电系统（MEMS）的需求在医学、航空航天和国防等领域不断增长。组装技术在MEMS设备的制造中起着关键作用。目前，相当一部分微部件组装操作仍然依赖人工劳动。然而，随着组装MEMS组件的结构复杂性和精度要求的不断提高，机器人辅助的自动化微组装已成为不可避免的趋势。从尺度分析的角度来看，跨尺度微组装具有几个显著特征：组装组件的整体尺寸通常在毫米级别，而它们的局部几何特征往往在数百微米量级。此外，所需的组装精度通常与制造公差一致，这些公差通常以微米为单位进行规定[1]、[2]、[3]。

视觉感知是微组装中组装组件空间姿态信息的主要来源，其测量精度直接影响整体组装精度。在跨尺度微组装中，视觉感知的一个基本挑战在于感知范围和测量精度之间的内在权衡。从成像理论的角度来看，这一限制源于光学成像系统的有限空间带宽积，即视场（FOV）与空间分辨率的乘积[4]、[5]、[6]。由于空间带宽积是物理上受限的，增加成像FOV通常会导致可实现的空间分辨率降低，反之亦然。此外，从光学镜头设计和图像传感器制造的角度来看，在保持高分辨率的同时实现大FOV面临重大技术挑战[7]。因此，无论选择何种成像放大倍率，商用视觉系统中视场与有效像素分辨率（即每个像素对应的物理尺寸）的比率通常在$10^3$左右。然而，跨尺度微组装不仅涉及毫米级组件，还需要在组装过程中覆盖厘米级部件的转移[8]、[9]、[10]。因此，感知系统必须在延伸至数百毫米的空间范围内实现微米级的测量精度。在这种要求下，感知范围与精度的比率需要达到$10^4$或更高，从而超出了传统单尺度视觉系统的典型能力。

为了克服上述视觉感知中的瓶颈，一种广泛采用的策略是整合宏观视觉和微观视觉，其中宏观视觉提供大FOV，微观视觉确保高测量精度。在我们之前的工作中，开发并校准了一个双目宏观/微观组合视觉系统，以满足跨尺度微组装的感知需求[11]。在该系统中，宏观视觉模块的成像范围达到数百毫米量级，相应的像素分辨率在亚毫米级别。相比之下，微观视觉模块的FOV为几十毫米，像素分辨率达到几十微米量级。需要强调的是，在实际应用中，亚像素特征提取算法使测量精度能够超过标称像素分辨率。因此，通过算法优化可以进一步提高感知范围与测量精度之间的有效比率。

在宏观/微观组合视觉引导的机器人跨尺度组装中，微部件表现出显著的几何变化性和复杂的表面形态。此外，组装过程受到多种不确定性的影响，包括遮挡、反射和环境干扰。在操作过程中，宏观视觉和微观视觉系统表现出不同的成像特性和感知性能。为了有效利用这两种模式的互补优势，本文提出了一种分层宏观/微观组合姿态测量框架。主要贡献总结如下：

• 1.
  对跨尺度微组装的实际测量需求进行了全面分析，并基于此提出了一个宏观/微观组合的分层姿态测量框架。
• 2.
  针对大规模通用宏观视觉感知，提出了一种基于特征密度和自动标记的特征提取网络的姿态测量方法。
• 3.
  针对有限FOV内的高精度微观视觉感知，提出了一种一对多的RANSAC-PnP策略来稳定估计目标姿态，并引入了相交边缘约束以提高测量鲁棒性。

本文的其余部分安排如下。第2节回顾了相关工作，第3节介绍了一个代表性的跨尺度微组装场景，并提出了宏观/微观组合的分层测量框架。第4节详细阐述了所提出的宏观和微观姿态测量算法。此外，第5节从速度和精度的角度评估了所提出测量方法的性能，并通过对比实验进一步证明了其有效性。在这一节中，还将完整的测量框架应用于特定微组装场景中的定位控制。最后，最后一节总结了本文。

相关研究

相关工作

对于多尺度微组装中使用的宏观/微观组合测量框架，宏观视觉模块主要负责在复杂环境条件下的广域感知和粗略定位，其中基于深度学习的方法表现出优越的鲁棒性和泛化能力。相比之下，微观视觉模块专注于高精度的局部对齐，其中基于经典几何特征的方法提供了更强的可解释性

典型的跨尺度微组装场景

为了更直观地说明依赖多机器人协同自动化的复杂微组装系统，图1展示了这类系统的示意图，定性地指示了宏观视觉和微观视觉模块的FOV。核心组装工作空间的中心与冗余并行空间定位机器人的移动平台原点对齐。该定位机器人提供了对要组装的部件基座的广泛调整范围。

宏观视觉的高效姿态测量流程

本节首先概述了所提出的方法，该方法旨在为微组装场景中的大规模感知提供鲁棒、通用和准确的测量解决方案。传统的YOLO-Pose网络依赖于手动标注，这既费时又固有地限制了可实现的定位精度。为了解决这个问题，提出了一种基于双目的自动关键点标注策略，称为加权区域最大关键点（WRMK）策略

实验设置

宏观/微观组合姿态测量算法的完整验证涉及多个设备的协调操作。因此，本节首先介绍了宏观/微观组合视觉系统的硬件选择。对于宏观视觉模块，需要足够的FOV以避免机器人之间的任何可能碰撞。在本研究考虑的应用场景中，需要沿相机平行的方向有效的FOV超过$\pm 100\mathrm{mm}$

结论

本文提出了一种用于跨尺度微组装的宏观/微观组合分层姿态测量方法，针对不同的运动尺度和精度要求提供了定制化的解决方案。使用两个子模块来评估所提出的宏观和微观姿态测量策略的效率和精度，并通过对比实验验证了所提出的改进。在宏观视觉实验中，定量结果表明，所提出的基于特征密度的策略实现了

CRediT作者贡献声明

李张：撰写 – 原始草稿，可视化，验证，方法论，调查，形式分析，数据管理，概念化。张显民：撰写 – 审阅与编辑，验证，项目管理，资金获取。李海：撰写 – 审阅与编辑，监督，项目管理，资金获取。张芬华：验证，软件，数据管理。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。

致谢

本工作得到了中国自然科学基金 [资助编号 52130508, U24A20108, 52275019-->] 的支持。