视觉引导的任务级机器人装配框架用于复杂块状结构的自动化建造

《Developments in the Built Environment》：Vision-guided Task-Level Robotic Assembly Framework for Automated Construction of Complex Block Structures

　　

自动化装配复杂块状结构对于提升非结构化环境中的施工效率、精度及长期自主运行具有重要意义。然而，由于离散的不规则块体具有随机的位置与姿态，同时受到序列依赖关系、临时支撑需求以及在建造过程中不断演变的碰撞边界的共同约束，实现可靠装配仍然充满挑战。为解决这些问题，本研究提出了一种视觉引导的任务级机器人装配框架，用于复杂块状结构的自动化建造。该框架集成了层次化视觉感知以实现由粗到精的构件识别与位姿估计（pose estimation）、约束感知装配规划以生成拓扑引导的序列和无碰撞渐近最优路径规划（asymptotically optimal path planning），以及执行过程中的视觉引导位姿补偿策略。针对三种代表性结构的实验取得了以下结果：平均精度均值（mean Average Precision, mAP50）超过99.0%，交并比（Intersection over Union, IoU）超过98.0%，序列生成成功率为100%，规划效率与关节空间RRT（joint-space RRT）相当，路径长度普遍更短，且在装配过程中达到了毫米级的放置精度。这些结果证明了所提框架在构件化建筑系统自动化建造中的可行性与实用价值。

论文解读文章

研究背景与问题

建筑业长期以来面临劳动密集型作业、生产率增长缓慢、现场环境复杂及安全风险高等挑战，这促使研究人员持续探索机器人与自动化技术在施工中的应用。随着模块化建造、预制建筑和数字化建造的快速发展，建筑施工正从大量现场作业向基于构件的精细化、智能化方向转变。在此背景下，机器人装配已成为提升施工效率、几何精度和运行自主性的重要技术路径，尤其适用于将离散构件逐步组装成目标结构的场景。

然而，与常规工业零件的装配不同，复杂块状结构的建造通常涉及不规则的构件几何形状、随机的初始放置状态以及持续变化的作业空间约束。现有研究大多仍聚焦于几何关系相对明确的预制构件或受控场景，一般假设构件状态已知、装配接口清晰或环境布局较为有序。在实际建造中，构件往往随机排列且几何不规则，局部遮挡严重，空间约束在装配过程中持续演化。因此，机器人必须超越孤立的抓取-放置操作，发展围绕目标结构整合感知、规划和执行的任务级装配能力。此外，大多数现有方法仍将感知、规划和执行视为相对独立的模块，尚未建立起面向真实建造场景的完整任务级决策链。

针对上述问题，研究人员提出了一个视觉引导的任务级机器人装配框架，旨在实现非结构化环境中复杂块状结构的自动化建造。

研究方法概述

研究人员采用了三个关键技术方法。首先，层次化视觉感知模块结合RGB-D相机与渐进式视觉分析策略，利用YOLOv11进行目标检测，再利用UNet++对单个目标块进行像素级语义分割，并通过主成分分析（Principal Component Analysis, PCA）提取主轴方向，最终获取块体的结构化位姿表示。其次，约束感知装配规划模块引入了可装配性函数，从支撑可行性、放置可行性、局部碰撞可行性、夹爪空间可行性、机械臂可达性和局部装配空间可行性六个维度评估候选块体在当前结构状态下的可装配性，采用逆向拆卸策略生成满足拓扑依赖关系的装配序列；同时，基于轴对齐包围盒（Axis-Aligned Bounding Box, AABB）碰撞检测改进RRT*算法，在笛卡尔空间中生成无碰撞且渐近最优的转移轨迹。第三，视觉引导的位姿补偿策略在执行前通过预抓取视觉感知和坐标变换估计块体当前位姿，动态调整抓取位置、角度和接近高度，以补偿当前块体状态与目标装配状态之间的偏差。

研究结果

感知结果：研究人员收集了1745张RGB-D场景样本用于YOLOv11训练验证，2500张标注俯视图用于UNet++训练验证。YOLOv11在所有块体类别上的mAP50均不低于0.990，mAP50-95均超过0.96；UNet++在所有块体类别上的IoU均高于0.98。即使在块体随机排列且相互靠近的情况下，检测置信度仍保持在0.95左右，分割掩膜与块体表面的平均像素重叠率超过98%。

任务级装配规划：以墙体构型为例，逆向拆卸策略生成了12个块体的装配逻辑。在拆卸过程中，只有能够在不被阻碍的条件下安全移除的块体才被纳入拆卸序列，进而反转得到正向装配序列。所有三种代表性结构（梁构型、墙构型和塔构型）的序列生成成功率均为100%。

路径规划：改进的RRT算法在笛卡尔空间中进行采样，仅搜索被操作块体参考点的三个平移自由度，并结合预设的末端执行器姿态构成完整六维工具中心点（Tool Center Point, TCP）位姿。通过逆运动学求解和安全极限检查确保可达性，利用AABB碰撞检测保证无碰撞。实验表明，该方法的规划效率与关节空间RRT相当，且生成的路径长度普遍更短。

装配执行：通过视觉引导的位姿补偿策略，系统实现了毫米级的放置精度。手眼标定后的平移误差约为0.974 mm，旋转误差约为0.283°，深度相机误差约为1.468 mm，系统总体平移误差经根方和传播估算约为1.762 mm，定位验证试验得到的整体定位误差约为1.756 mm，与误差传播估算基本一致。

讨论与结论

讨论部分指出，在不同光照条件下，层次化感知模块仍能保持稳定的检测和分割性能，体现了较好的鲁棒性。自动路径规划相比人工示教方式具有显著的效率优势，尤其是在结构复杂度增加时更为明显。块体形状对装配精度有一定影响，L形和T形块体因其轮廓包含明显的拐点和较复杂的局部边界特征，在检测稳定性和分割边界提取方面略低于规则或高度对称的块体。

结论部分翻译如下：本研究提出了一种视觉引导的任务级机器人装配框架，用于复杂块状结构的自动化建造。该框架将层次化视觉感知、约束感知装配规划和视觉引导位姿补偿集成到一个统一的系统中。实验结果表明，所提出的框架能够在非结构化环境中实现高精度组件识别、约束感知装配序列生成、无碰撞渐近最优路径规划以及毫米级放置精度。该研究为构件化建筑系统的自动化建造提供了可行的技术路径，并为未来高度自主的施工机器人系统奠定了基础。