考虑场景特征的自主相机姿态估计技术，用于钢筋绑扎机器人

《AUTOMATION IN CONSTRUCTION》：Feature-aware autonomous camera pose estimation for rebar tying robots

　　徐少鹏 | 郭晶晶 | 王慧光 | 邓 lu | 史鹏 | 龙立志 | 王硕
中国湖南大学土木工程学院

**摘要**
由于建筑行业依赖人工劳动，其生产力和安全性一直落后于其他行业。特别是在钢筋绑扎方面，机器人自动化面临着重大感知挑战，这主要是由于钢筋结构的重复性纹理和缺乏显著特征所致。现有的相机姿态估计方法，包括基于深度学习和结构驱动的方法，在这类环境中通常无法有效工作。为了解决这些问题，本文提出了一种针对钢筋结构定制的自主式、具有特征 awareness 的相机姿态估计框架。该框架引入了结构感知特征提取、理想图像生成、基于结构约束的匹配以及闭环图像评估等方法。实验室和现场测试表明，所提出的方法在三次尝试内能够始终实现 100% 的姿态估计成功率，显著优于基于深度学习、结构驱动和手动的方法。这项研究大大提高了钢筋绑扎机器人的可靠性和效率，使其能够在实际建筑环境中得到更广泛和有效的应用。

**引言**
建筑行业在生产力和安全性方面常常被认为落后于其他行业 [1]。近年来，由于熟练劳动力的减少 [2]，尤其是在重复性和劳动密集型任务中，这一问题变得更加紧迫。因此，迫切需要创新解决方案来提高建筑工地的生产力和安全性。自动化和人工智能（AI）已成为解决这些长期挑战的有希望的技术。在这些技术的各种应用中，建筑机器人 [2], [3] 代表了自动化和 AI 的一个特别有吸引力的结合。作为回应，研究人员和公司开发了一系列机器人系统。例如，已经提出了用于自动化砌砖工作的砌砖机器人：其中一个系统将 6 自由度（DoF）工业机器人与跟踪底盘和液压模块相结合，在现场完成整个砌砖周期 [4]；另一个展示了使用煤渣砖进行自动化墙体建造的技术，显著提高了时间和成本效率 [5]；还有一个系统提供了一种将 BIM 模型转换为机器人建造计划的数字布局规划方法 [6]。同样，也开发了用于组装预制墙板的墙体面板安装机器人 [7], [8]，以及用于固定钢筋结构中钢筋交点的钢筋绑扎机器人 [9]。尽管这些机器人设计用于不同的任务，但它们都依赖于感知系统（如相机、LiDAR、传感器）来进行导航和精确任务执行。

在各种建筑机器人中，钢筋绑扎机器人面临着由钢筋笼的重复网格结构和高纹理相似性带来的独特感知挑战。与砌砖或面板安装等涉及相对结构化和可区分元素的任务不同，钢筋绑扎要求机器人检测并对齐细长、间距紧密且视觉上重复的钢筋图案。这大大复杂化了感知过程，并需要毫米级的对齐精度来准确定位绑扎点。在实际建筑环境中，钢筋笼通常以不同的方向出现，例如水平、垂直或倾斜。然而，大多数现有的钢筋绑扎机器人都是为水平钢筋笼设计的，通常依赖于一个固定朝下的相机，其方向在整个操作过程中保持不变 [10], [11], [12]。具体来说，这些系统使用 RGBD 相机 [10] 或深度相机和工业相机的组合 [11], [12]，以固定的向下配置安装，它们的感知流程始终采用自上而下的视角观察钢筋网格。虽然在受控条件下这样的设置可能表现良好，但它缺乏在机器人必须从不同角度和方向操作的实际情况中所需的适应性。为了解决这些限制，开发了一种钢筋绑扎机器人 [9]，如图 1 所示。该系统由移动底盘、工业计算机和配备结构光相机以及末端钢筋绑扎执行器的 6 自由度（DoF）机械臂组成。这种配置使机器人能够灵活适应不同的钢筋方向，为在现场的稳健和适应性性能奠定了基础。图 2(a) 说明了相机姿态的核心概念，它由相机相对于钢筋网格的 3D 位置（x, y, z）和方向定义。钢筋网格本身由正交的横向和纵向钢筋组成，形成了机器人必须感知的结构化环境。

为了确保钢筋绑扎机器人的高质量和高效率运行，系统必须捕捉到清晰且姿态正确的钢筋笼图像。这一过程从将相机设置为适当的姿态开始，该姿态由其相对于钢筋网格的位置和方向定义，使机器人能够准确检测并定位绑扎点。理想情况下，相机应布置在其局部 x 轴平行于横向钢筋，y 轴平行于纵向钢筋的位置，如图 2(a) 所示。这种最佳姿态确保：(1) 视场（FoV）内的钢筋网格区域保持矩形（如图 2(b) 所示），有利于后续的相机路径规划；(2) 钢筋交叉点不与图像边缘对齐，从而最小化重叠并优化绑扎效率。在当前系统中，通常通过机械臂调整相机姿态后再捕捉图像。然后机器人使用这些图像来识别钢筋交叉点并执行绑扎操作。在完成当前区域的任务后，移动底盘沿着钢筋笼的延伸方向移动到下一个工作位置，重复上述过程。然而，由于移动底盘的定位精度有限，很难确保移动方向严格平行于钢筋笼的延伸方向。因此，在移动一定距离后，相机姿态会逐渐偏离最佳配置，需要频繁手动调整。这不仅降低了操作效率，还增加了对人工干预的依赖。此外，建筑工地上的钢筋笼不仅限于水平方向；它们也经常垂直或倾斜安装。在这种情况下，固定或手动设置的相机方向无法适应，进一步影响了性能。不良的相机姿态会导致感知准确性降低、机械臂运动效率低下和绑扎错误，最终影响建筑质量和速度。这些限制凸显了需要一个自动化和动态的相机姿态估计系统来提高钢筋绑扎机器人的效率和适应性。

虽然对动态相机姿态估计的需求显而易见，但为钢筋绑扎机器人开发这样的系统并不简单。主要挑战在于钢筋笼的周期性网格结构引起的感知混叠。它们均匀的网格状结构和重复的几何形状提供了很少的显著视觉线索，使得标准计算机视觉算法难以可靠地提取和匹配特征。此外，钢筋段之间的高视觉相似性经常导致特征匹配时出现模糊或错误的关联，进一步复杂化了准确的姿态估计。这些挑战凸显了相机姿态估计问题的复杂性。

现有的相机姿态估计方法大致可以分为三类：端到端深度学习方法、基于 PnP 的几何方法和结构驱动的启发式方法。然而，如第 2 节将讨论的，所有这三类方法在应用于钢筋笼环境时都存在关键限制。端到端方法由于钢筋交叉点的极端视觉相似性而泛化能力较差。基于 PnP 的方法从根本上依赖于可靠的 2D3D 对应关系；然而，在钢筋笼环境中，现有的特征提取和匹配技术在处理高度重复的模式、有限的纹理变化和几何对称性时表现不佳。结构驱动的方法虽然直观，但由于其固定视野（FoV）无法适应变化的钢筋布局而容易受到边界遮挡的影响。这些限制指出了一个根本性的研究空白：当前方法主要依赖于基于外观的特征，缺乏对钢筋笼几何形状的明确结构特征意识，而这对于辨别重复模式和实现稳定的姿态估计至关重要。这构成了本文的核心研究问题：如何通过结构特征意识来改进视觉上重复、低纹理环境中钢筋绑扎机器人的相机姿态估计？

为了解决这个问题，本文提出了一个基于特征 awareness 的结构感知前端框架，专为钢筋绑扎机器人设计。该框架不是取代传统的透视 n 点（PnP）[21] 求解器，而是作为一个强大的感知层，旨在解决关键的特征对应关系模糊问题。这有效地使 PnP 算法在目标领域内可靠地工作。通过利用钢筋网格的固有正交拓扑结构，所提出的前端能够建立准确的 2D3D 对应关系，然后将这些对应关系输入 PnP 求解器进行精确的姿态估计。该框架旨在自动调整相机姿态以适应不同的钢筋笼方向，通过优化图像质量来提高检测精度，并通过减少手动调整的需要来提高钢筋绑扎机器人的效率。

本文的其余部分结构如下：第 2 节回顾了与相机姿态估计相关的现有方法；第 3 节详细介绍了所提出的具有特征 awareness 的相机姿态估计框架；第 4 节描述了实验设置并讨论了在实验室条件下获得的结果；第 5 节报告了现场测试的结果，并提供了讨论和实际应用意义；最后，第 6 节总结了本文并概述了未来的研究方向。

**相关工作**
相机姿态估计是机器人感知中的一个基本任务，它使机器人在复杂环境中具备空间意识和运动规划能力。现有方法大致分为三类：端到端学习方法、基于 PnP 的几何方法和结构驱动的启发式方法。端到端方法直接使用深度神经网络从传感器输入回归 6 自由度（DoF）姿态，无需显式的特征匹配和几何求解器。相比之下，基于 PnP 的方法……

**方法论**
本文介绍了一个具有特征 awareness 的相机姿态估计框架，旨在克服传统外观驱动方法在结构化、低纹理和重复环境（如钢筋笼）中的局限性。核心原则是将明确的特征 awareness（如第 2.3 节所定义）直接嵌入感知流程中，而不仅仅是依赖于通用的视觉特征。这种结构特征 awareness 是通过一个包括四个阶段的闭环过程实现的……

**实验和结果**
本节描述了实验设置、测试条件、基准比较以及用于评估所提出的具有特征 awareness 的相机姿态估计框架的有效性和鲁棒性的关键结果。

**现场测试**
本节介绍了在真实预制建筑工厂进行的现场验证。第 5.1 节描述了现场测试设置并展示了结果；第 5.2 节讨论了研究结果的实际应用意义；第 5.3 节讨论了所提框架的通用性和局限性。

**结论**
本文提出了一种专为实现钢筋绑扎机器人设计的自主相机姿态估计框架。该方法有效解决了钢筋笼结构带来的重大挑战，尤其是在视觉模糊性和特征缺乏方面。本文的主要贡献是一个具有结构感知的前端框架，它使经典 PnP 算法在这种具有挑战性的环境中能够稳健可靠地应用。具体来说，通过……

**作者贡献声明**
徐少鹏：撰写 – 审稿与编辑、撰写 – 原稿、可视化、验证、软件、方法论、数据管理、概念构思。
郭晶晶：撰写 – 审稿与编辑、监督、资源获取、概念构思。
王慧光：软件、方法论、数据管理。
邓 lu：撰写 – 审稿与编辑、监督、资源获取、项目管理、调查、资金获取。
史鹏：软件、方法论、数据管理。
龙立志：……

**利益冲突声明**
作者声明他们没有已知的竞争财务利益或个人关系会影响本文报告的工作。

**致谢**
作者感谢国家关键研发计划（项目编号 2023YFC3806800）、国家自然科学基金（项目编号 52308312）、湖南省科技领军人才资助计划（项目编号 2021RC4025）以及湖南省研究生科研创新项目（项目编号 CX20250613）提供的财务支持。