基于线激光的机器人视觉引导胶粘剂涂敷轻量级三关键点识别方法

《Electronics》：A Lightweight Three-Keypoint Recognition Method for Line-Laser-Based Robot Vision-Guided Adhesive Dispensing

　　

机器人视觉引导胶粘剂涂敷中的线激光条纹具有狭窄的局部结构，关键点定位对空间信息高度敏感，且在线处理对计算效率有严格要求。为解决这些挑战，本研究提出了一种面向线激光胶粘剂涂敷的轻量级三关键点识别方法。首先采用两阶段自顶向下视觉流程：目标检测器定位感兴趣区域（Region of Interest, ROI），随后在局部ROI内预测左、中、右三个关键点。关键点网络采用RepViT-M0.6作为轻量级特征提取骨干。为弥补其末级特征空间分辨率较低的问题，设计了LiteFlattenSimCCHead，通过低维特征变换、渐进式空间重建、轻量局部特征融合和保位置特征展平，将深层特征转换为更适合关键点定位的位置敏感表示。随后结合SimCC坐标分类与分布感知坐标表示（Distribution-Aware Coordinate Representation of Keypoints, DARK）解码获取三个关键点的坐标。实验结果表明，所提方法取得了0.9532的平均精度（Average Precision, AP）、3.6385像素的均值定位误差、4.8272像素的均方根误差（Root Mean Square Error, RMSE）和0.7842的PCK@5。与Lite-HRNet-18基线相比，均值误差和RMSE分别降低16.5%和20.1%，AP提升3.80个百分点。在第二阶段的单ROI推理中，最终模型在GPU上达到116.34帧每秒（Frames Per Second, FPS），在CPU上达到49.32 FPS。这些结果表明，所提方法在保持轻量模型和高推理效率的同时提高了定位精度。因此，所报告的实验结果证明了视觉与关键点识别方法的性能，而非完整机器人胶粘剂涂敷系统的定位精度。

针对机器人视觉引导胶粘剂涂敷中线激光条纹窄局部结构带来的关键点定位挑战，研究人员开展了轻量级三关键点识别方法研究。

汽车、航空航天和大型装备制造向柔性化、自动化、智能化方向发展，胶接与密封工艺广泛用于结构连接、防腐、防水和气密性保障。工业机器人以其高运动重复性、稳定轨迹执行和连续作业能力成为自动化涂敷的重要平台。然而传统示教再现机器人依赖预规划固定轨迹和相对稳定的工件装夹，当工件位置、姿态或局部几何改变时，离线生成或人工示教的轨迹难以与实际涂敷区域准确对应。利用视觉信息确定目标区域位置和局部几何特征，是提升系统环境适应性并实现在线轨迹调整的关键。现有研究多集中于胶条质量评估、三维轮廓测量与焊缝轨迹提取；在机械臂末端线激光图像中直接定位局部几何关键点并用其描述涂敷区域位置与姿态，仍相对不足。线激光条纹窄且集中，关键点定位对空间信息高度敏感，通用关键点模型直接应用面临深层特征空间响应弱、高分辨率结构计算量大、多关键点几何关系需稳定保持等挑战，因此需在轻量化与精确定位之间取得平衡。

针对这些问题，研究人员构建了两阶段自顶向下视觉流程：YOLO26n目标检测器定位感兴趣区域（Region of Interest, ROI），RepViT-M0.6轻量骨干提取特征，LiteFlattenSimCCHead将低分辨率深层特征转换为位置敏感表示，SimCC轴向坐标分类与分布感知坐标表示（Distribution-Aware Coordinate Representation of Keypoints, DARK）解码相结合，最终输出左、中、右三关键点坐标。在自建单工件线激光涂敷图像数据集（4460张图像、5656个标注实例）上，该方法达到平均精度（Average Precision, AP）0.9532、均值误差3.6385 px、均方根误差（Root Mean Square Error, RMSE）4.8272 px、阈值5像素时正确关键点比例（Percentage of Correct Keypoints at 5 pixels, PCK@5）0.7842；较Lite-HRNet-18基线均值误差和RMSE分别降低16.5%和20.1%，AP提升3.80个百分点；第二阶段单ROI推理在GPU和CPU上分别达到116.34和49.32帧每秒（Frames Per Second, FPS）。这表明在不牺牲轻量性与推理速度的前提下，方法有效提升了线激光关键点定位精度。

研究采用Siasun SR25A-20/1.80六轴工业机器人、ML-6000X-CTR-N-GP点胶控制器和PSN0270线激光传感器（中心波长660 nm，Z向精度0.03–0.06 mm，最大60 fps）搭建实验平台。数据来自同一工件沿扫描轨迹采集的4460张图像，按图像级随机划分为训练（3568张/4525实例）、验证（445张/564实例）、测试（447张/567实例）。主要关键技术包括：RepViT-M0.6骨干通过RepVGGDW结构重参数化与通道混合器实现高效特征提取，输出320×8×8深层特征；LiteFlattenSimCCHead以低维通道压缩、双线性上采样结合深度可分离卷积的渐进空间重建、轻量局部特征融合和保位置展平，生成位置敏感表示；SimCC将二维定位分解为水平和垂直方向一维坐标分类，DARK在推理时基于峰值邻域对数响应细化离散解码坐标。

5.4 消融实验
为区分预测头和坐标解码的贡献，设置了递进对比：Baseline采用Lite-HRNet-18与HeatmapHead；Model A为RepViT-M0.6与标准SimCCHead；Model B以LiteFlattenSimCCHead替换标准SimCCHead；Model C在Model B权重上仅于推理时启用DARK。Model C相比Baseline，AP由0.9152升至0.9532，PCK@5由0.7337升至0.7842，Mean、RMSE、Center、Slope和Arm分别降低16.51%、20.12%、20.14%、24.08%和14.91%，GPU FPS由23.78升至116.34，CPU FPS由16.10升至49.32。Model A到Model B的对比表明，LiteFlattenSimCCHead是精度提升的主要贡献；Model B到Model C的对比表明，DARK提供了一致但较小的额外增益。

LiteFlattenSimCCHead的有效性与效率
固定RepViT-M0.6骨干、输入尺寸、SimCC编码和损失，仅以LiteFlattenSimCCHead替换Standard SimCCHead，参数量由9.771 M降至3.278 M（减少66.45%），理论计算量由1.959 GFLOPs降至0.532 GFLOPs（减少72.84%）；GPU FPS由93.57升至120.49，CPU FPS由29.90升至49.40。结果表明该预测头同时改善了定位精度与计算效率。

5.5 对比实验
与RLE-ResNet50、Integral-ResNet50、Hourglass-52、SimpleBaseline-ResNet50、HRNet-W32、Lite-HRNet-18比较，所提方法在AP、Mean、RMSE、Center、Slope、Arm、PCK@5上均取得更好或相当的最优结果；GPU速度较对比中最快的RLE-ResNet50（89.52 FPS）提升约30.0%，CPU速度约为Lite-HRNet-18的3.06倍。

5.6 可视化比较与误差分析
在条纹连续且边缘清晰时，各模型均能近似定位；但在镜面反射、条纹展宽、亮度不均或轮廓弯曲减弱时，对比模型出现明显偏移。所提方法的三关键点与真值重合度更高，尤其在模糊条纹边界下可准确确定中心弯曲位置，并保持左、中、右关键点的空间顺序与几何关系。该定性结果与定量指标一致。

5.7 不同误差阈值下的PCK曲线分析
通过改变定位误差阈值绘制PCK曲线，所提方法在约3–10 px的严格小误差范围内保持更高曲线；在5 px阈值下达0.7842，即78.42%的关键点误差不超过5 px。随阈值增大模型间差异减小，表明方法优势主要体现在控制小误差，符合涂敷对局部位置精度的要求。

5.8 不同关键点的像素误差分布
所提方法左、中、右关键点平均误差分别为4.0928、3.9802、2.8425 px，中位误差分别为2.6440、2.8868、2.4036 px；左点95%分位误差达13.6814 px，误差分布较宽。相比其他模型，三关键点误差分布整体位于更低区间，说明性能提升并非由个别样本造成，而是在多关键点和不同误差范围内均获得稳定改善。

综上，LiteFlattenSimCCHead有效解决了轻量骨干低分辨率深层特征与线激光窄结构精确定位之间的表征失配，DARK进一步减少了离散坐标解码偏差。所提方法在保持轻量化与高推理速度的同时实现了准确的三关键点定位，可为后续目标涂敷区域的位置、局部姿态和机器人运动参数计算提供视觉信息。当前结果证明的是视觉与关键点识别方法的性能，尚未建立完整机器人涂敷系统的物理定位精度。未来研究需结合相机标定与图像-机器人坐标变换，验证实际涂敷轨迹与物理放置精度，并进一步研究镜面反射、弱激光、遮挡、条纹展宽和圆角过渡等复杂条件下的鲁棒性以及完整两阶段视觉管道的优化。