利用3D视觉技术实现钢箱梁焊接缝的自动化提取及路径规划

《AUTOMATION IN CONSTRUCTION》：Automated welding seam extraction and path planning for steel box girders using 3D vision

计算机视觉为自动化焊接提供新方案，但传统方法依赖预设几何模型，难以应对钢箱梁焊接缝复杂多变的几何特性。本文提出基于3D视觉的自动化焊接缝提取与路径规划方法，集成点云分割、局部空间向量分析、最近邻路径生成和自适应焊接姿态规划四大模块，经实际焊接机器人验证，可有效处理直线、曲线、直曲连接及空间交叉多线焊接缝，适应性强且精度高。

　　

Jiayao Zou|Wenyao Liu|Huiguang Wang|Yv Dai|Feng Zhang|Lu Deng

湖南大学土木工程学院，长沙，中国

摘要

计算机视觉为自动化焊接提供了有前景的解决方案。然而，现有的基于视觉的方法严重依赖于为特定焊接接头条件定制的预定义几何模型。因此，由于焊接接头的复杂和多变几何形状，钢箱梁构件的自动化焊接仍然具有很高的挑战性。因此，本文提出了一种使用3D视觉的自动化焊接接头提取和路径规划方法。该方法整合了四个关键模块：使用平面滤波器的点云分割、通过局部空间向量分析进行接头提取、使用最近邻算法进行路径规划以及带有平滑策略的焊接姿态规划。该方法已在实际焊接机器人上进行了测试。结果表明，该方法能够自动提取和规划各种类型的路径，包括直线、曲线、直曲线和空间相交的焊接接头。与现有方法相比，它具有更好的适应性和更高的提取精度，为钢箱梁的自动化焊接提供了可靠的解决方案。

引言

焊接是钢箱梁的核心制造工艺[1]，[2]，其质量和效率直接决定了最终桥梁结构的性能和成本[3]。然而，目前钢箱梁的焊接仍然高度依赖经验丰富的焊工。恶劣的工作环境，如有毒烟雾和强烈的电弧光，对焊工的健康构成严重威胁，加剧了劳动力短缺的问题[4]。因此，采用焊接机器人成为了一个非常有前景的解决方案，因为它不仅可以将工人从危险环境中保护出来，还承诺提供更高的一致性和生产力[5]，[6]。 目前，“教学-回放”和离线编程（OLP）是机器人焊接的两种主要模式[7]，[8]，在制造标准部件（如汽车行业）中取得了广泛的成功。然而，钢箱梁本质上具有“非标准、高混合、低产量”的特点。这些部件具有巨大的尺寸变化和高度多样的焊接接头配置，不可避免地伴随着显著的装配公差[9]。当直接将“教学-回放”和OLP模式应用于钢箱梁时，不可预测的几何偏差经常导致关键故障，包括焊接偏差、漏焊，甚至严重的焊接炬头碰撞[10]。因此，这两种方法无法满足钢箱梁焊接的高精度和高质量要求[11]。为了克服这些限制，计算机视觉的快速发展为钢箱梁结构的自动化、适应性焊接开辟了新的途径[12]，[13]。 早期研究主要依赖于2D被动视觉方案来检测焊接接头位置。这些技术主要依赖于传统的图像处理算法，如Canny边缘检测器[14]、图像匹配[15]，[16]，[17]、形态学侵蚀边缘检测[18]和自适应线生长[19]，以及现代的深度学习模型[4]，[20]，[21]。尽管这些被动视觉系统简单易用，但它们严重依赖于环境光，并且缺乏3D信息，因此不适合提取复杂的焊接接头。为了克服这些挑战，研究人员开发了3D主动视觉解决方案，这些方案提供了更好的空间感知能力和对环境光干扰的强鲁棒性[22]。目前最广泛采用的3D主动视觉传感器是基于线激光的相机和3D结构光相机。 基于线激光的主动视觉相机将激光线投射到组件上，然后观察激光线的变形。从变形的激光线信息中准确检测焊接接头点是线激光视觉系统中的一个关键挑战[23]。为了解决这个挑战，研究人员最初使用传统的特征提取方法（如似然理论[24]和先验形态学判断[25]）开发了焊接接头跟踪系统。随着深度学习的发展，它已成为这项任务的主要方法[26]，[27]，[28]。例如，受人类姿态估计的启发，Cheng等人[29]将焊接特征点的提取转化为骨骼关键点检测任务，实现了“V”型焊接接头的准确检测。针对小间隙（即<1毫米）的方形槽对接接头，Nguyen等人[28]开发了一种基于判别性卷积跟踪器和深度强化学习的实时焊接接头跟踪算法，提高了跟踪精度并减少了处理时间。Yu等人[30]提出了一种三点接头跟踪算法（TSTA），成功实现了不同类型焊接接头的实时跟踪。对于实际工程应用，Chen等人[27]提出了一种名为Dynamic Squeeze Network（DSNet）的轻量级焊接接头跟踪模型。实验表明，即使在NVIDIA GTX 1050Ti GPU上，DSNet的推理速度也比基线模型提高了33倍，而不会影响精度。虽然基于线激光的主动视觉相机能够实现焊接接头的实时识别和跟踪，但由于视野有限，这种方案需要操作者在焊接前教授扫描路径[31]。对于钢箱梁构件，路径教学非常耗时，因此基于线激光的主动视觉相机方案仍不适用于钢箱梁结构的机器人焊接。 与基于线激光的主动视觉相机不同，3D结构光相机通过将编码条纹图案投射到目标表面来获取高精度的点云数据[32]。早期研究集中在交叉管道结构上，Liu和Tang[33]通过结合随机样本一致性（RANSAC）算法和数学参数模型，首次成功提取了双管道交叉结构中的焊接接头。同样，Geng等人[34]提出了一种结合数学模型和点云的算法来提取复杂共主交叉管道的焊接接头。尽管在从交叉管道结构中提取焊接接头方面取得了显著进展，但目前提出的方法仍然严重依赖于数学模型，使其仅适用于此类配置。除了在交叉管道结构方面的进展外，研究人员还应用3D结构光相机来提取其他结构上的焊接接头。Zhang等人[31]通过结合凹凸特征描述符和K均值算法提取了多叶片轮结构中的焊接接头。Yang等人[35]提出了一种基于点到平面距离的焊接接头算法，用于提取板梁结构中的平面“V”型焊接接头。Geng等人[36]使用改进的RANSAC多平面拟合算法提取了中厚度板结构中的复杂交叉焊接接头。然而，Geng的算法仍然需要手动选择焊接接头提取方案。随后，Hao等人[37]使用曲率分析和点云聚类实现了中厚度板中多线交叉焊接接头的自动提取。然而，这种方法仍不适用于曲线焊接接头的提取。 尽管先前的研究表明，3D结构光相机提供的宽视野显著减少了预定义路径的需求，并提高了焊接的自动化程度，但将其应用于钢箱梁焊接时面临两个关键挑战。首先，当前的焊接接头提取方法是为单一、预定义的几何形状设计的，无法处理多种和可变的焊接接头类型。其次，现有的路径规划方法严重依赖于数值拟合，如最小二乘法[31]，[36]、B样条法[33]，[37]和非均匀有理B样条（NURBS）方法[38]，[39]。这种依赖性需要手动干预来为不同的工件选择适当的拟合模型和参数，这从根本上限制了自动化程度。因此，本文的主要研究问题是：如何开发一种自动化的、与几何形状无关的焊接接头提取和路径规划方法，以适应钢箱梁中的多种和可变的焊接接头类型，从而消除对预定义数学模型和手动数值拟合的依赖。 为了解决上述问题，本文提出了一种自动化焊接接头提取和路径规划方法。具体来说，该方法引入了局部空间向量分析来实现与几何形状无关的焊接接头提取，然后使用最近邻算法直接从焊接接头点生成路径，消除了手动拟合的需要。主要贡献总结如下： （1）与几何形状无关的焊接接头提取：本文开发了一种使用局部空间向量分析的提取方法，可以识别板结构中的各种线性焊接接头，无论底层几何形状如何复杂，克服了模型依赖方法的局限性。 （2）无需拟合的路径规划：本文提出了一种基于最近邻算法的路径规划方法。该方法直接从提取的接头点生成有序路径，消除了手动选择拟合模型的需要，显著提高了自动化程度。 （3）自适应姿态生成：基于规划的路径，本文设计了一种使用高斯平滑的自适应姿态规划方法。它自动计算出稳定且连续的炬头轨迹，确保焊接质量的一致性。 这项研究通过局部空间向量分析克服了对预定义模型的依赖，显著减少了手动干预。它为在钢箱梁桥梁建设中部署智能焊接机器人提供了可行的途径。本文的其余部分组织如下：第2节详细介绍了所提出的自动化焊接接头提取和路径规划方法。第3节简要介绍了实验系统的配置，以便于方法描述。第4节介绍了进行的实验细节并分析了结果，以评估所提出的方法。第5节总结了本文的发现和结论。

方法论

方法论

鉴于3D结构光相机在提供更高精度和更宽视野方面的能力已被证明，它们是钢箱梁感知的首选视觉设备[22]。因此，本研究基于3D结构光相机进行。为了实现与几何形状无关的焊接接头提取和无需拟合的路径规划，本文设计了一个框架，逐步将原始的、无组织的点云数据转换为精确的、可执行的

焊接机器人的系统框架和实验平台

为了系统地验证所提出方法的性能，本文首先建立了一个焊接机器人的系统框架。如图9所示，焊接机器人实验系统由三个主要部分组成：视觉系统、运动系统和焊接系统。视觉系统包括一个3D结构光相机和一台工业个人计算机（IPC）。3D结构光相机用于获取工件的3D点云数据。

实验和讨论

选择了四种典型的焊接接头几何形状作为提取目标，如图12所示，主要包括直线焊接接头（类型1）、曲线焊接接头（类型2）、直曲线连接的焊接接头（类型3）和空间相交的多线性焊接接头（类型4）。这些几何形状在钢桥中经常出现，尤其是在具有箱形截面的结构中。此外，所提出的方法是在Python 3.8开发环境中实现的。

结论

本文解决了现有焊接机器人在适应钢桥构件中可变焊接接头几何形状方面的局限性。它提出了一种适用于多种线性接头几何形状的焊接接头提取和路径规划方法。所提出的方法整合了四个关键模块，即使用平面滤波器的点云分割、通过局部空间向量分析进行接头提取、使用最近邻搜索策略进行路径规划以及

CRediT作者贡献声明

Jiayao Zou：写作 – 审稿与编辑，写作 – 原始草稿，可视化，验证，项目管理，方法论，调查。Wenyao Liu：写作 – 审稿与编辑，监督。Huiguang Wang：方法论，调查。Yv Dai：可视化，验证，调查。Feng Zhang：可视化，验证。Lu Deng：写作 – 审稿与编辑，监督，项目管理，资金获取。

利益冲突声明

作者声明没有利益冲突。

致谢

作者感谢国家自然科学基金（资助编号：52278177）、湖南省科技创新人才资助（资助编号：2021RC4025）、岳麓山产业创新中心项目（资助编号：2025YCII0116）和湖南省研究生研究创新资助项目（资助编号：CX20250619）的支持。