利用深度学习技术进行焊接起点检测与定位的研究

《Engineering Science and Technology, an International Journal》：Research on weld start point detection and localization using deep learning techniques

焊缝起点识别算法基于改进RT-DETR-R18模型，通过整合CG-ResNet18架构与LSKA注意力机制，结合D435i相机采集的800张数据集，实现99.4% mAP精度，参数减少32%，计算量降低31%，检测误差低于0.4mm，满足工业机器人实时定位需求。

　　

摘要

在工业自动化焊接中，精确确定焊接起点对于确保焊接稳定性和质量至关重要。为了解决这一挑战，本文提出了一种基于实时检测变换器（RT-DETR）的改进焊接起点识别算法，使焊接机器人能够自适应地识别并初步定位焊接起点。焊接起点的图像是使用基于D435i相机的视觉系统捕获的，并构建了一个用于深度学习训练的数据集。该算法基于RT-DETR模型，采用具有18层的残差网络架构（RT-DETR-R18），将上下文引导网络（CGNet）中的上下文引导块（CGBlock）与ResNet18的基本块结合，形成了新的架构——上下文引导残差网络18（CG-ResNet18），从而提高了模型的全局感知能力和准确性。此外，还在主干网络中加入了大型可分离核注意力（LSKA）机制，以提高适用性和鲁棒性。RT-DETR的混合编码器进一步通过分组可分离卷积（GSConv）和高效跨阶段部分网络块（VoV-GSCSP）模块进行了优化，增强了特征融合并降低了计算负担。实验结果表明，改进后的模型平均精度（mAP）达到了99.4%，相比原始模型提高了5%，同时参数数量减少了32%，计算负担也减少了31%。焊接起点的检测误差低于0.4毫米，满足了焊接机器人的实时检测和定位要求。

引言

焊接技术作为现代制造业的核心工艺，在造船、铁路运输和航空航天等关键领域发挥着不可替代的作用（Zhou等人，2024年）。线性焊缝作为金属部件的主要结构连接，需要精确的起始点定位以确保焊接质量和结构完整性。特别是在自动化焊接系统中，焊接起始点的定位误差可能导致焊缝变形和气孔等缺陷，严重影响工程安全（Xu等人，2008年）。依赖手动教学或离线编程进行起始点定位的传统焊接机器人在效率和适应性方面存在局限性，无法在复杂的工作条件下满足精度要求（Xu等人，2015年）。因此，开发快速且可靠的智能识别焊接起始点的技术对于提高自动化焊接的效率和质量至关重要（Li和Zheng，2023年）。

当前的焊接起点（IWP）检测技术主要分为三类：传统图像处理、主动/被动视觉技术和深度学习方法。传统方法使用手动设计的特征（如边缘检测和形态学操作）进行定位，但在噪声干扰和光照变化等挑战性条件下表现出不足的鲁棒性（Zou和Zhou，2019年；Xiao等人，2019年）。主动视觉技术利用激光扫描或结构光投影获取高精度的3D信息，有效减轻了环境干扰（Shah等人，2018年；Liu等人，2018年），但设备成本较高且动态响应能力有限。以卷积神经网络（CNN）为代表的深度学习方法通过端到端特征学习显著提高了检测精度（Zhang等人，2019年），但现有模型仍面临小目标遗漏和焊接场景中实时性能不足的问题（Ma等人，2023年）。

本文旨在通过赋予焊接机器人视觉感知能力，解决无需人工指导的自主定位技术瓶颈，实现焊接起点的精确识别和亚毫米级空间定位。

主要贡献总结如下：

1)

通过将CGBlock与BasicBlock结合，重新设计了ResNet18，形成了新的CG-ResNet18架构。这种设计降低了计算开销，同时增强了全局感知能力；

2)

在特征提取网络中引入了可分离的大核注意力机制，以增强细粒度特征捕获能力；

3)

通过结合GSConv和VoVGSCSP模块优化了混合编码器，有效提升了模型的特征提取和特征融合能力；

4)

结合深度相机坐标变换算法，模型能够实时求解焊接机器人基坐标系中焊缝起点的3D坐标，实现精确定位。

本文的结构如下：第2章回顾了焊接起点检测、焊缝跟踪和IWP定位的相关文献。第3章详细介绍了所提出的方法。第4章展示了实验结果和定位分析。第5章总结了研究结果和未来发展方向。

相关研究

相关工作

早期的研究主要集中在初始焊接点定位的图像处理技术上。Chen等人（2006年）在自然光条件下使用改进的模板匹配算法来定位铝合金板上的焊接起点，但未能解决曲面工件的适应性问题。Chen和Chen（2010年）提出了一种从粗到细的两阶段定位策略，首先通过双目视觉进行焊缝边缘拟合以获得初始值，然后

基于实时检测变换器和残差网络18主干的网络的焊接起点检测算法研究

在工业自动化焊接场景中，实时检测和高精度定位焊接起点是确保焊接质量和效率的核心挑战。尽管传统的目标检测算法（如YOLO系列、Faster R-CNN）和早期的RT-DETR模型在一般场景中表现优异，但在复杂的焊接环境中存在关键局限性，包括小目标特征提取不足和全局感知能力有限

数据集

本实验使用了双源数据集。数据集是在山东王泰科技有限公司使用Intel RealSense D435i深度相机收集的，共捕获了800张板式换热器上焊接起点的原始图像。为了提高模型的泛化能力和鲁棒性，使用Python脚本对图像数据进行了数据增强处理。首先，原始图像被随机分为8:2的比例两部分

结论

本文提出了一种基于改进的RT-DETR-R18的焊接起点识别算法，并得出以下结论：

(1)

通过将CGNet的ContextGuidedBlock与ResNet18的基本块结合，我们设计了CG-BasicBlock并重新设计了ResNet18，形成了新的CG-ResNet18架构。这种设计减少了网络的参数数量和计算负担，同时增强了焊接起点形态的全局感知能力。

(2)

LSKA注意力机制被集成到

CRediT作者贡献声明

Mingda Huang：撰写 – 审稿与编辑、软件开发、方法论、数据整理。Linyuxuan Li：调查、形式分析、概念化。Yixing Meng：撰写 – 初稿撰写、方法论。Guanhua Zhu：撰写 – 初稿撰写、验证。Hu Wu：资源获取、资金筹措、形式分析。Xianhai Yang：资源管理、项目协调。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文的研究工作。

致谢

本项目得到了山东省自然科学基金一般项目的支持：复合材料预制件柔性导向三维编织工艺参数研究，项目编号：ZR2022ME187。