基于YOLO检测和深度测量的3D定位技术的视觉引导精确工具对准与移动操纵器的目标接触 戴彦彦（Yanyan Dai）和李基东（KiDong Lee）

《Electronics》：Vision-Guided Precision Tool Alignment and Target Contact for a Mobile Manipulator Using YOLO Detection and Depth-Based 3D Localization Yanyan Dai and KiDong Lee

　　摘要 精确对齐和目标接触是工业检测和柔性制造中移动操作器的重要任务。然而，由于移动基座定位的累积误差、感知噪声和校准不确定性，要在导航后实现高精度仍然具有挑战性。本文提出了一种基于视觉的移动操作器精确对齐框架，该框架使用单个前置RGB-D相机。该方法结合了基于YOLO的目标检测、AR标记辅助的平面深度估计以及基于深度的3D定位，采用从粗到细的对齐策略。导航完成后，操作器首先移动到预定义的预对齐姿态，然后通过视觉定位和迭代优化来补偿剩余误差，最后执行精确的目标接触。所提出的系统在基于Gazebo的仿真环境中使用移动操作器平台模型进行了实现和评估。在一个包含50次试验的静态触摸面板实验中，该系统的成功率达到98%，定位误差保持在毫米级别范围内。仿真结果表明，所提出的方法在仿真环境中提供了稳定的对齐性能，无需依赖力传感器或多相机系统等外部传感设备。所提出的方法在移动操作中的精确接触任务中显示出广阔的应用潜力。

1. 引言
移动操作器在工业自动化、检测和柔性制造中受到了越来越多的关注，因为它们能够结合自主移动机器人（AMR）的移动性和关节式机械臂的灵巧性[1,2]。与静态操作器相比，移动操作器可以在多个空间位置执行检测、表面探测、精确接触、按压和高精度对齐等任务，从而在智能工厂和人机协作环境中实现更广泛的应用[3]。尽管已有大量研究集中在使用视觉感知进行抓取和物体操作[4,5,6]，但关于精确工具对齐任务的研究仍然相对有限。在这些任务中，末端执行器携带的是非抓取工具（如探针、触控笔、笔或焊锡头），必须在接触或插入之前与目标位置精确对齐[7,8,9]。与抓取不同，这些任务对定位精度、末端执行器方向和无碰撞路径有更严格的要求。即使是微小的定位误差也可能导致工具错位、表面损坏或任务失败，使得精确对齐比传统的拾放操作更具挑战性[10,11,12]。尽管所提出的框架不仅限于精确对齐任务，还可以扩展到一般的操作问题（如抓取），但本文重点关注作为更具挑战性的评估场景的精确对齐。与抓取相比，对齐任务对定位精度和方向一致性有更严格的要求，并且对误差的容忍度较低。因此，在这种环境中验证所提出的方法可以更严格地评估其有效性。在精确对齐任务中的成功表现也表明了其在较少限制的操作任务中的潜在应用性。

为了满足精确对齐的精度要求，许多现有的基于视觉的组装和对齐系统依赖于静态多相机设置、外部校准系统或安装在末端执行器上的专用力和激光传感硬件[13,14,15]。尽管这些方法可以提高系统的鲁棒性，但它们通常会增加系统的复杂性、成本和校准工作量，这限制了它们在灵活和可重构工业环境中的应用。相比之下，使用最小传感配置（如单个前置RGB-D相机）进行末端执行器对齐的研究仍然相对有限，特别是当机械臂安装在移动平台上时。在移动操作场景中，这种挑战进一步加剧，因为AMR的定位误差不可避免地会传递给操作器。导航完成后，移动基座通常以有限的定位精度到达目标工作站，这对于需要精确接触或插入的任务来说是不够的。由于多个不确定性来源的叠加，包括AMR姿态误差、深度感知噪声和有限的相机视野，在这些条件下实现可靠的高精度对齐仍然是一个重大挑战。

为了解决这些挑战，本文提出了一种基于视觉的移动操作器精确对齐框架，该框架在导航完成后运行。配备有机器人操作器的AMR首先导航到目标工作站，然后使用视觉感知来补偿导航引起的和与校准相关的末端执行器级别的误差。通过利用单个前置RGB-D相机和基于学习的视觉检测，所提出的方法能够在不依赖外部传感硬件或多相机系统的情况下实现稳健和准确的工具对齐。这项工作并不旨在引入全新的感知或控制算法，而是关注移动操作中一个较少探索的问题：在有限传感条件下的移动基座导航后的精确对齐。其新颖性在于明确地提出了这个问题，并为此开发了一个紧密耦合的感知-控制框架。本工作的主要贡献如下：（1）本文明确解决了移动基座导航后的精确对齐问题，这与抓取或静态操作场景相比研究较少。（2）所提出的方法仅使用单个前置RGB-D相机即可实现精确对齐，无需依赖力传感器、多相机系统或外部校准设备，从而降低了系统复杂性和成本。（3）该框架结合了基于YOLO的检测、AR标记辅助的平面深度估计和迭代优化，以提高在感知和校准不确定性下的鲁棒性和精度。（4）该工作提出了一个完整的流程，将感知、坐标变换和运动控制紧密耦合在移动操作环境中，这与孤立的视觉或控制方法相比研究较少。

本文的其余部分组织如下。第2节回顾了移动操作、基于视觉的抓取和精确对齐的相关工作。第3节介绍了系统架构，第4节介绍了所提出的对齐方法。第5节展示了仿真结果。

2. 相关工作
移动操作作为一种通过将机器人操作器与自主移动机器人集成来扩展其工作空间的方法，已被广泛研究。现有的调查主要集中在工业环境中的系统架构、运动规划和导航-操作协调[16,17]。在大多数框架中，移动机器人首先导航到预定义的工作站并完全停止，然后进行操作。在这种范式下，通常认为导航精度足以将操作器定位在任务相关的工作空间内，而与环境的精细交互则完全由操作器处理。因此，通常假设残余的基座定位误差是可以容忍的，导航后的高精度末端执行器对齐很少作为主要研究焦点。

基于视觉的抓取是机器人操作中最活跃的研究领域之一。许多方法利用RGB或RGB-D感知结合基于学习的模型来估计拾放操作的抓取姿态[18]。这些方法通常侧重于根据物体几何形状和视觉特征生成可行和稳定的抓取配置，并通过抓取成功率或任务完成性能进行评估。与精确对齐任务相比，抓取通常能容忍更大的姿态不确定性。在抓取执行过程中，几何冗余、夹持器闭合和机械柔顺性可以补偿中等程度的定位误差[10]。因此，通常不需要严格的接触前对齐精度。尽管这些工作显著推进了感知驱动的操作，但它们的目标和评估标准与精确工具对齐任务不同，在精确工具对齐任务中，小的定位和方向偏差可能导致任务失败。

精确对齐和插入任务（如插销插入孔）对定位精度和末端执行器方向的要求比抓取任务更严格。为了解决这些挑战，现有研究探索了视觉伺服、基于学习的对齐策略和多传感器融合技术，以提高在姿态不确定性下的鲁棒性[19,20]。然而，这些方法通常依赖于特定任务的学习、结构化设置或受控环境，并未针对移动基座不确定性下的对齐进行设计。许多高精度插入方法结合了视觉感知和力或扭矩感知来补偿接触过程中的残余姿态误差，从而实现合规的对齐和可靠的插入[21,22]。最近的研究探索了视觉-触觉融合，以提高在接触丰富的操作任务中的性能[23]。虽然有效，但这些方法增加了系统的复杂性和硬件要求。

最近的研究还探讨了基于学习的方法来进行插入和对齐任务，旨在提高对不同物体几何形状和环境的泛化能力。例如，已经提出了用于检测和对齐未知物体的零样本插入框架[24,25]，并探索了视觉-触觉学习方法来提高在不同条件下的插入成功率[23]。然而，这些方法通常依赖于复杂的学习流程或多模态感知，而不是明确解决移动基座导航后的精确对齐问题。

与上述方法不同，本文关注的是移动操作场景中的导航后的精确对齐问题，其中必须在校准误差累积的情况下在末端执行器级别进行补偿。所提出的方法采用最小的传感配置，使用单个前置RGB-D相机，并将感知和控制紧密耦合在一个框架中。这种设置在现有文献中研究不足，代表了移动操作中的一个实际且具有挑战性的问题。

3. 系统架构
3.1. 系统概述
所提出的系统是一个用于视觉引导精确对齐任务的移动操作平台。该平台集成了AMR、机器人操作器和前置RGB-D相机。系统遵循两阶段任务执行策略：导航到目标工作站和移动基座停止后的视觉引导精确对齐。在第一阶段，AMR使用机载感知和导航算法自主导航到指定工作站。一旦机器人到达目标位置，移动基座停止并保持静止。在第二阶段，操作器使用RGB-D相机的视觉感知执行精确对齐任务。这种设计将全局导航与局部对齐分开，允许感知驱动的操作过程补偿剩余的导航误差和校准不确定性。

3.2. 硬件配置
移动操作平台由两个主要组件组成：自主移动机器人（AMR）和安装在AMR平台中心的机器人操作器。在本工作中，系统配置基于实际的移动操作器设置，包括SCOUT 2.0移动基座和xArm 6机器人操作器。这种配置使机器人能够在工作空间内导航并在多个位置执行精确的操作任务。AMR的前端安装了一个3D LiDAR传感器（RS-Helios-16P），用于环境感知和自主导航。此外，一个RGB-D相机（Intel RealSense D435）牢固地安装在机器人臂的末端执行器附近，与工具框架保持固定的相对姿态。RGB-D相机提供同步的颜色和深度数据，分辨率为640 × 480，帧率为30 Hz，用于对齐阶段的视觉目标检测和3D定位。

在任务执行过程中，AMR首先导航到目标工作站。机器人到达所需位置并停止后，机器人操作器执行精确对齐操作。末端执行器携带的是非抓取工具，必须与工作站上的目标特征精确对齐。所有传感器数据处理和算法执行都由运行Ubuntu和ROS框架的机载工业计算机处理。系统管理来自LiDAR、IMU和RGB-D相机的传感器数据采集，并实时执行导航、感知和控制算法。需要注意的是，所提出的方法不依赖于特定的硬件模型。感知流程依赖于标准的RGB-D输入和相机内在参数，而控制策略基于通用的机器人运动学和笛卡尔运动接口。因此，所提出的框架可以应用于经过标准校准程序后具有类似传感和驱动能力的其他移动操作器。

4. 基于视觉的精确对齐和目标接触方法
为了补偿移动机器人到达目标工作站后的剩余导航和校准误差，本研究提出了一种基于视觉的移动操作器对齐框架。该方法结合了预定义的预对齐姿态、基于YOLO的目标检测、AR标记辅助的平面深度估计、RGB-D 3D定位和两阶段对齐策略。导航完成后且移动基座停止后，机器人臂首先移动到靠近目标区域的预定义姿态。然后使用视觉感知来估计目标位置，并指导操作器执行粗略和精细对齐，最后执行最终的目标接触动作。整个流程包括以下步骤，如图1所示。

4.1.**预对齐姿势**
在AMR完成导航并停在目标工作站后，操纵器首先使用关节空间运动命令（move_joint）移动到一个预定义的预对齐姿势。选择这个姿势是为了使末端执行器已经接近目标区域，同时目标在RGB-D相机的视野中仍然清晰可见。这一阶段的目的是双重的：首先，它减少了后续视觉检测的搜索空间；其次，它提供了一个一致的观察视角，从而提高了目标定位的鲁棒性。

**4.2 基于YOLO的目标检测**
目标检测模块使用YOLOv8框架实现，这是一个先进的一阶段目标检测网络，以其高效性和实时应用中的准确性而闻名。一个预训练的YOLOv8模型被微调以执行工作空间中目标区域的检测任务。训练数据集包括从环境中收集的标记图像，涵盖了视角、距离和照明条件的变化。目标对象的边界框注释是手动生成的。为了提高泛化和鲁棒性，在训练过程中应用了数据增强技术，如随机缩放、旋转和亮度调整。模型在640 × 640的输入分辨率下训练了100个周期。训练完成后，YOLOv8模型被用于实时推理，提供RGB图像流中目标区域的边界框预测。然后使用检测到的边界框来计算目标像素中心，以便进行后续的3D定位。

系统首先使用基于YOLO的目标检测网络对来自RGB-D相机的RGB图像流进行目标区域检测。YOLO检测器输出一个边界框，其定义为：
(1)
其中表示边界框的左上角，表示其宽度和高度。目标像素中心计算如下：
(2)
(3)
为了减少检测噪声和时间波动，系统对最近几帧的检测结果进行平均：
(4)
(5)
最终的目标像素坐标定义为：
(6)
这种时间平均提高了检测的稳定性，并减少了后续定位步骤中的抖动。

**4.3 使用AR标记的平面深度估计**
当相机平面不与工作表面平行时，直接使用RGB-D相机单个像素的深度值可能会引入显著误差。在这种情况下，测量的深度可能无法准确表示目标与相机之间的真实距离。为了提高深度估计的稳定性，在工作表面上放置AR标记。系统检测这些标记的姿态，并使用它们来估计目标平面的深度。假设检测到个标记，其深度值为。工作平面的深度估计为：
(7)
然后使用这个平面深度进行后续的3D定位。需要注意的是，AR标记仅用于平面深度估计，而不是目标检测。

**4.4 像素到3D定位**
一旦获得了像素坐标和平面深度，就可以使用针孔相机模型计算目标在相机坐标框架中的3D位置。相机的内参矩阵可以表示为：
(8)
目标在相机框架中的位置计算为：
(9)
(10)
(11)
因此，目标在相机框架中的3D坐标为。

**4.5 坐标变换**
为了实现机器人操作，必须将目标位置从相机坐标框架转换到机器人基座框架。从相机框架到基座框架的齐次变换矩阵可以表示为：
(12)
其中是旋转矩阵，是平移向量。0表示零向量。目标在机器人基座框架中的位置计算为：
(13)

**4.6 粗略对齐**
在获得机器人基座框架中的目标位置后，操纵器执行粗略对齐，以减少工具尖端与目标之间的较大位置偏差。设当前工具位置为：
(14)
粗略对齐中使用的平面校正定义为：
(15)
(16)
在此阶段，操纵器在x-y方向上进行平面调整，以减少工具尖端与估计目标位置之间的偏差，同时保持相对于目标平面的安全偏移。这一阶段补偿了剩余的导航和感知误差，并为后续的精细对齐和目标接触做准备。

**4.7 精细对齐和目标接触**
在粗略对齐之后，系统执行第二轮视觉感知进行精细对齐。捕获新的RGB-D图像并再次执行YOLO检测以获得更新的目标位置。由于末端执行器现在更接近目标，目标在图像中占据更大的区域，从而允许更准确的定位。更新后的像素坐标再次转换为3D目标位置，并转换到机器人基座框架。基于这个精细估计，对和方向进行微小校正，以最小化剩余的平面对齐误差。然后根据深度信息估计剩余的接近距离：
(17)
最后，操纵器使用move_straight执行直线笛卡尔运动，以完成最终的目标接触。通过这个重新检测和局部校正过程，系统细化了粗略对齐结果，实现了可靠的目标接触。

**4.8 实施细节**
为了提高可重复性，提出框架的额外实施细节总结如下：
YOLOv8检测模型在模拟环境中收集的数据集上进行了微调，包括在不同视角、距离和照明条件下的目标对象。模型在640 × 640的输入分辨率下训练了100个周期，并应用了数据增强技术，如缩放、旋转和亮度调整。
RGB-D相机基于Intel RealSense D435建模。内参参数（包括焦距和主点）遵循标准的针孔相机模型，并用于方程(8)–(11)中的像素到3D投影。在模拟中，这些参数配置为与真实传感器一致。
相机框架与机器人坐标框架之间的变换根据相机相对于末端执行器的固定安装配置来定义。这种变换用于将目标位置从相机框架转换到机器人基座框架。
对齐控制器遵循从粗略到精细的策略。粗略阶段补偿较大的位置偏差，而精细阶段在执行直线接触运动之前细化目标位置。运动参数（包括安全偏移和接近距离）是通过经验选择的，以确保稳定执行。
提出的框架在模拟环境中接近实时运行。基于YOLO的检测模块的运行速度大约为每秒几帧，具体取决于计算平台。整个对齐过程（包括检测、定位和运动执行）在每个任务中几秒钟内完成。
运行时性能受硬件配置的影响，特别是CPU和GPU的能力。高性能计算平台可以显著提高检测速度和系统响应性，而控制和运动执行组件保持相对轻量。

**5. 仿真**
**5.1 仿真环境**
为了评估所提出的视觉引导精确对齐框架的有效性，在Gazebo中构建了一个与ROS框架集成的仿真环境。仿真环境再现了一个典型的工业工作站场景，其中移动操纵器在导航后执行视觉引导的目标接触任务。仿真平台由一个移动操纵器系统和安装在移动基座上的6自由度机械臂组成。操纵器的末端执行器携带一个非抓取工具，用于在工作站上的目标面板上执行精确接触操作。如图2所示，仿真环境包括一个有障碍物和工作站的有限室内工作空间。环境中放置了六个柜子，以模拟工业设备或控制面板。柜子内包含带有彩色指示按钮的目标面板，这些按钮代表精确接触任务的目标区域。移动操纵器在工作空间内导航并接近进行对齐任务的工作站。为了增加环境的真实感并测试导航的鲁棒性，还在环境中放置了桌子、圆柱形障碍物和箱子等额外物体。这些障碍物创建了受限的导航路径，模拟了杂乱的工业环境。在仿真过程中，移动机器人首先导航到目标工作站附近的预定义位置。导航阶段完成后，移动基座停止，机器人操纵器执行第4节中描述的视觉引导精确对齐程序。安装在末端执行器附近的RGB-D相机捕获目标面板，然后使用提出的基于YOLO的检测和基于深度的3D定位流程来估计目标位置。操纵器然后执行从粗略到精细的对齐策略，其中末端执行器首先靠近目标区域，然后进行精细调整，最后执行最终的目标接触运动。这种仿真设置能够在受控条件下系统地评估所提出的感知和对齐方法，同时保持真实的环境复杂性。
**图2. 仿真环境。(a) Gazebo仿真环境的侧视图；(b) 执行按钮按压任务的移动操纵器。**

**5.2 静态触摸面板仿真分析**
图3显示了从静态触摸面板视频（https://drive.google.com/file/d/1PKvAxTPO7OWP2ww-_FjQ6GE4_eLAMxRX/view?usp=sharing）中提取的代表性快照（访问日期为2026年4月21日）。在这个仿真中，移动操纵器对预定义的红色按钮目标执行精确接触任务。所有快照都是从完全集成的感知和控制系统仿真执行中捕获的。这些快照用于说明所提出的视觉引导对齐框架的行为。
**图3. 从静态触摸红色按钮仿真中提取的快照。(a) 预对齐阶段；(b) 目标检测阶段；(c) 3D定位和粗略对齐阶段；(d) 精细对齐和接触阶段；(e) 返回到预定义的待机姿势阶段。**
图3a对应于预对齐阶段。移动机器人完成导航并停止后，操纵器使用关节空间运动命令（move_joint）移动到一个预定义的预对齐姿势。这个姿势确保目标区域在RGB-D相机的有效视野范围内，同时减少了后续视觉检测的搜索空间。图3b对应于目标检测阶段。系统使用基于YOLO的模型检测触摸面板上的目标按钮。为了提高鲁棒性，检测结果在多个帧上时间平均以获得目标的稳定像素坐标。这个过程减少了噪声并抑制了后续定位中的抖动。图3c对应于3D定位和粗略对齐阶段。系统首先使用AR标记估计工作平面的深度，然后根据针孔相机模型将目标像素坐标转换为相机坐标框架中的3D位置。随后通过坐标变换将位置转换到机器人基座框架。基于这个估计，操纵器执行平面（x-y）粗略对齐，同时保持安全的高度偏移以避免碰撞并提供足够的精细调整余量。图3d对应于精细对齐和接触阶段。粗略对齐后，系统执行第二轮视觉检测和3D定位，以获得更准确的目标位置估计。然后操纵器应用小的校正运动，并根据深度信息计算前进接近距离。最后，执行直线笛卡尔运动（move_straight）以实现与目标按钮的精确接触。成功完成目标接触任务后，操纵器使用关节空间运动命令（move_joint）返回到预定义的待机姿势，如图3e所示。这个阶段将系统重置为安全和稳定的配置，为后续任务或重复试验做好准备。返回到一致的待机位置还提高了重复性，并确保每次试验都从相同的初始条件开始。在整个过程中，没有观察到明显的振荡或超调，表明视觉感知、坐标变换和运动控制之间的有效协调。仿真结果表明，即使在导航错误和感知不确定性存在的情况下，所提出的方法也能实现稳定和高精度的接触。
在静态触摸仿真中进行了50次试验。在这些试验中，有一次试验由于运动规划失败而失败，而其他49次试验成功触发了红色按钮，整体成功率达到98%。如图4所示，大多数试验中x轴的误差接近零，表明横向定位性能稳定。在第6次试验中观察到一个明显的偏差，任务因直线轨迹的运动规划失败而失败。排除这次失败的试验后，x轴的误差保持在非常小的范围内，证明了所提出系统的高精度和鲁棒性。图4显示了x轴的最终误差。如图5所示，y轴的误差与x轴相比有较大的变化。这是预期的，因为y轴对应于末端执行器的主要接近方向。对于大多数试验，误差接近零，表明在接近阶段性能稳定。然而，在后面的试验中可以观察到一些波动，最大偏差约为0.18毫米。这些变化主要是由于直线接近过程中的累积控制误差和运动执行不确定性造成的。尽管有这些波动，整体误差仍然保持在较小的范围内，表明系统在接近方向上保持了可靠的定位精度。图5显示了y轴的最终误差。如图6所示，在模拟环境中z轴的误差非常小，表明在所提出的深度约束对齐策略下垂直定位稳定。这个结果反映了理想化的模拟条件，实际世界的误差可能会因为传感器噪声和校准不确定性而更大。图6显示了z轴的最终误差。为了提供额外的背景信息，使用单像素深度测量的简单基于深度的方法可能会因为传感器噪声而导致定位不稳定。相比之下，所提出的方法通过结合基于AR标记的平面深度估计和粗略到精细的对齐策略来提高稳定性。这种比较是定性的，旨在解释设计动机，而不是作为正式的基准。5.3. 完整任务执行和系统可视化视频（https://drive.google.com/file/d/1eWObe4e9GxnlPFQdOGKJDb4bAifU7ode/view?usp=sharing）（2026年4月21日访问）展示了移动操作器的完整任务执行过程。屏幕左侧显示了Gazebo模拟环境，该环境代表了一个类似工业工厂的场景，移动操作器在多个工作站和障碍物之间操作。机器人在这个环境中导航并在不同位置执行顺序操纵任务。屏幕右侧显示了RViz界面，提供了机器人体态的实时可视化。它包括来自LiDAR的检测到的障碍物、移动基座的计划导航路径以及操纵过程中的机械臂运动。这种双视图可视化清楚地展示了导航和操纵之间的协调，以及感知、规划和控制在所提出系统中的集成。从图7a所示的初始位置开始，机器人导航到第一个工作站并执行图7b所示的按下绿色按钮的任务。完成任务后，机器人移动到一个等待位置。然后它通过一个中间站点，如图7c所示。接着，它到达第二个工作站，在那里执行相同的按下绿色按钮的任务，如图7d所示。任务完成后，机器人再次返回等待位置。最后，机器人继续导航回到第一个工作站，完成一个循环任务序列。图7. 移动操作器的完整任务执行过程。(a) 从初始位置开始；(b) 导航到第一个工作站并执行按下绿色按钮的任务；(c) 通过一个中间站点；(d) 执行按下绿色按钮的任务。除了精度之外，所提出框架的执行时间对于实际应用也是一个重要因素。在模拟环境中，包括视觉检测、3D定位和运动执行在内的整个对齐过程每次试验都在几秒钟内完成。计算成本主要由基于YOLO的检测模块主导，而坐标变换和运动控制引入的开销可以忽略不计。粗略到精细的对齐策略使系统能够有效减少大的初始误差，避免过多的迭代校正。尽管当前的实现没有明确优化执行速度，但结果表明所提出的框架在精度和效率之间取得了合理的平衡。通过未来的硬件加速和模型优化，可以进一步提高运行时性能。为了便于从模拟过渡到实际部署，所提出的框架采用了基于ROS的模块化架构，可以直接与物理移动操作器平台集成。包括基于YOLO的目标检测和基于深度的3D定位在内的感知流程，在标准相机校准和手眼校准程序后可以直接应用于真实的RGB-D相机输入。控制策略，包括粗略到精细的对齐和笛卡尔运动执行，依赖于常见的机器人接口，例如关节空间和笛卡尔控制器，使其与工业操作器和移动机器人系统兼容。因此，整个系统可以在最小结构修改的情况下在真实硬件上实例化。此外，Gazebo模拟环境被配置为紧密复制真实世界条件。传感器参数，如相机内参和深度特性，以及机器人运动学和工作空间布局，都与现实规格对齐。这使得模拟可以作为物理系统的实际数字孪生，支持算法验证、参数调整和部署前的系统级测试。尽管做出了这些努力，由于未建模的因素，如传感器噪声、校准不准确性和执行不确定性，模拟与现实之间可能仍然存在差距。未来的工作将专注于实际实验和集成基于学习的适应方法，以进一步提高实际应用中的鲁棒性和泛化能力。5.4. 与现有方法的讨论为了进一步解释获得的结果，将其与现有的视觉引导操纵方法进行比较是很重要的。与容忍较大姿态不确定性的基于视觉的抓取方法相比，所提出的任务侧重于精确对齐，并在更严格的要求下实现了毫米级的精度。与依赖于力或扭矩传感的经典插销-孔和插入方法相比，所提出的框架仅使用单个RGB-D相机就实现了可比的精度，降低了系统复杂性。与通常需要大规模训练和多模态传感的最新基于学习的方法相比，所提出的方法更轻量级且更容易实现。5.5. 组件分析为了更好地理解所提出框架中每个组件的贡献，我们对关键模块进行了定性分析。所提出的框架由几个组件组成，每个组件旨在解决对齐过程中不同的不确定性来源：(1) 基于YOLO的检测在不同视角和光照条件下提供稳健的目标定位，为后续对齐奠定基础。(2) 多帧平均减少了时间噪声，并提高了检测到的目标位置的稳定性，这对于准确的3D定位至关重要。(3) 基于AR标记的平面约束通过引入目标表面的稳定参考来提高深度估计的可靠性，从而减少了由深度噪声或传感器错位引起的误差。(4) 粗略到精细的对齐策略实现了逐步误差减少。粗略对齐阶段补偿了大的初始偏差，而精细对齐阶段细化了结果以实现精确的目标接触。虽然全面的消融研究超出了本工作的范围，但这些组件旨在解决不同的不确定性因素，它们的组合效果提高了鲁棒性和对齐精度。6. 结论本文提出了一种使用单个前置RGB-D相机的视觉引导精确对齐和目标接触框架。所提出的方法结合了基于YOLO的目标检测、基于AR标记的平面深度估计和基于深度的3D定位，并采用粗略到精细的对齐策略来补偿剩余的导航和校准误差。仿真结果表明，系统在导航后实现了可靠的目标接触。在静态触摸模拟中，50次试验的成功率达到98%，所有轴上的定位误差保持在有限的范围内。结果表明，所提出的方法在测试的模拟条件下无需依赖外部传感器（如力传感器或多相机系统）即可实现稳定的对齐性能。这些发现证明了所提出方法在模拟环境中的可行性，并暗示了其在实际应用中的潜力。这项工作应被视为一个经过模拟验证的概念证明，未来工作计划在真实硬件上进行进一步验证。未来的工作将专注于提高运动规划的鲁棒性，并通过基于学习的策略（如强化学习）来扩展框架，以在更复杂和动态的环境中进一步提高适应性和性能。这项工作有几个局限性。首先，评估仅限于模拟环境，不包括实际世界的验证。其次，没有进行基线比较或消融研究。第三，该方法是在结构化场景中评估的，其泛化到更复杂环境需要进一步研究。这些局限性将在未来的工作中得到解决。