《Sensors》:Bayesian Variational Neural Architecture Search for Lightweight Weld Seam Feature Point Detection in Laser Vision Systems
编辑推荐:
在基于激光视觉的机器人焊接中,必须在焊接过程中采集的每一帧图像中,于强烈的弧光和飞溅干扰下定位焊缝特征点,以便实时引导焊枪;因此,检测器必须能够在工业控制器的有限处理器上跟上相机的采集速度。传统深度学习模型在此约束下面临结构冗余和计算延迟高的问题。为解决这些局
在基于激光视觉的机器人焊接中,必须在焊接过程中采集的每一帧图像中,于强烈的弧光和飞溅干扰下定位焊缝特征点,以便实时引导焊枪;因此,检测器必须能够在工业控制器的有限处理器上跟上相机的采集速度。传统深度学习模型在此约束下面临结构冗余和计算延迟高的问题。为解决这些局限,本文提出一种轻量级目标检测模型,其框中心输出映射至焊缝特征点,并通过贝叶斯变分神经架构搜索(BayeNAS)进行优化,其中架构参数被建模为高斯分布,并通过自然梯度变分推断进行更新。研究引入一种新颖的双重选择优化策略,以联合搜索最优候选算子和网络拓扑分支,实现模型复杂度与硬件延迟之间的显式平衡。此外,研究还整合了搜索内通道剪枝策略,以压缩搜索空间并防止通道配置空间的组合爆炸。对比分析和实际焊接实验表明,所提出模型在旧式中央处理器(CPU)上实现了78帧/秒(FPS)的高处理速度——高于传感器60 fps的采集速率——同时在测量平面上保持平均定位误差在0.15 mm以内。这些结果表明,所提出模型在检测精度上与重型检测器相当,同时在推理速度和模型尺寸方面具有数量级的优势,验证了其适用于低成本工业部署的可行性。
论文解读
一、研究背景与问题
焊接技术是现代制造业的基础性环节,在造船、汽车制造和航空航天等领域发挥着关键作用。传统手工焊接方式因生产效率低、劳动强度大而日益难以满足现代工业需求。近年来,集成视觉传感技术的焊接机器人系统发展迅速,其中激光视觉系统因投射结构光至工件表面、产生高对比度激光条纹图案,具有测量精度高、抗噪能力强等优势而被广泛采用。
然而,在资源受限的工业平台上同时实现高精度与实时性能仍是一项重大挑战。现有综述文献明确指出:在线计算成本与噪声鲁棒性、标定一同被视为工业部署的主要障碍;视觉算法的适应性与实时能力被认定为自主电弧焊接的开放问题;模型复杂度与在工业控制器上的可部署性之间的权衡被强调为自动化机器人焊接的关键方向。传统数字图像处理方法依赖人工设计的滤波器和试错式参数调节,缺乏处理严重噪声污染图像的灵活性。而深度学习模型虽然具有优越的特征提取能力,但人工设计的架构往往存在结构冗余和推理延迟高的问题——此类模型常在各层采用统一通道配置,忽视了不同网络深度处特征冗余度的差异。近年来焊缝传感的轻量检测器仍通过人工替换骨干网络和手工剪枝通道获得,或对固定架构训练后进行剪枝,每当传感配置或部署平台变化时都必须重复该过程。因此,本研究旨在填补的空白是:缺乏一种在目标设备推理延迟的显式约束下自动构建检测器的流程,而非针对每种新配置进行人工重新设计。
二、研究内容与意义
本研究提出一种基于贝叶斯变分神经架构搜索(BayeNAS)的自动模型构建方法。为平衡精度与推理速度,研究提出针对算子与网络分支的双重选择优化策略,将目标部署设备上的推理延迟显式纳入约束。此外,研究将模型通道剪枝技术整合进搜索过程,以缓解搜索空间过大的问题并进一步压缩模型。
研究的主要贡献包括:第一,开发了用于焊缝特征点检测的贝叶斯变分神经架构搜索框架(BayeNAS-Weld),联合学习候选算子与拓扑分支的后验分布,扩展了先前仅搜索算子的变分神经架构搜索方法;第二,提出算子与分支的双重优化策略,将目标设备上的推理延迟作为核心约束纳入;同时引入联合通道剪枝策略以应对搜索空间过大的问题,进一步提升计算效率;第三,搭建了机器人焊缝跟踪实验平台,并对对接接头和搭接接头进行了实际焊接实验。
研究结果表明,所提出模型在旧式CPU上达到78 FPS的处理速度,高于传感器60 fps的采集速率,同时在测量平面上保持平均定位误差在0.15 mm以内。该模型在检测精度上与重型检测器相当,在推理速度和模型尺寸方面具有数量级优势,验证了其在低成本工业部署中的适用性。
三、关键技术方法
研究人员采用的主要关键技术方法包括以下四个方面。其一,构建了基于单发多框检测器(SSD)架构的超网络,包含四个可搜索单元(Cell 0至Cell 3),每个单元为有向无环图(DAG)结构,候选算子集包括标准卷积(Conv 3×3、Conv 5×5)和深度可分离卷积(Sep_Conv 3×3、Sep_Conv 5×5),其中旁路边携带额外的门控参数以实现拓扑搜索。其二,采用贝叶斯变分推断方法,将架构参数建模为多元高斯分布,通过自然梯度变分推断更新分布参数,以蒙特卡洛采样估计梯度,从而避免确定性梯度优化导致的性能崩溃。其三,提出双重选择优化策略,联合搜索候选算子和网络分支,并将预测量的推理延迟查找表纳入损失函数作为惩罚项,引导搜索朝向低延迟架构。其四,整合基于批归一化(BN)缩放因子的通道剪枝策略,通过L1正则化驱动不重要通道的缩放因子趋于零,在搜索过程中实现可微分的连续通道剪枝。数据集来源于真实焊接环境,共19,814幅图像,按约3:1比例划分为14,848幅训练图像和4,966幅测试图像,包含搭接接头(L型)2,455幅和对接接头(V型)2,511幅测试图像。
四、研究结果
4.1 离线数据集对比分析。 研究人员将所提出模型与Faster R-CNN、FemtoDet、MobileNetV3-SSD、EfficientDet和YOLOX-tiny等五种代表性检测器在相同CPU环境下进行了对比评估。结果表明,BayeNAS-Weld实现1.739像素的平均定位误差,略高于YOLOX-tiny(1.496像素)和Faster R-CNN(1.642像素),但明显低于FemtoDet(3.552像素)、EfficientDet(3.091像素)和MobileNetV3-SSD(1.806像素)。然而,两个精度更高的基线分别需要6.44 GFLOPs和102.8 GFLOPs,而所提出模型仅需0.128 GFLOPs,即在大约1/50的计算成本下达到与最佳检测器相差0.25像素以内的精度。所提出模型还展现出最低的误差标准差(1.064像素)。在推理速度方面,所提出模型达到78.63 FPS,约为Faster R-CNN(0.20 FPS)的390倍、YOLOX-tiny(6.34 FPS)的12倍。按标定比例因子0.0754 mm/像素换算,1.739像素的平均定位误差对应测量平面上约0.13 mm。
4.2 优化组件分析。 研究人员通过分析搜索产生的最终架构发现,延迟项以三种可观察方式塑造了最终拓扑:第一,搜索在所有四个单元中保留了标准卷积而非默认选择深度可分离算子,通过核大小和分辨率控制计算成本——Cell 0(最高分辨率96×96)选择3×3核,而Cell 1至Cell 3(特征图已降至48×48及以下)选择5×5核;第二,分支选择将超网络的多路径单元结构简化为单一线性链,消除了并行路径和聚合节点;第三,所选算子与分支配置总计0.128 GFLOPs,约为YOLOX-tiny的五十分之一。联合通道剪枝策略方面,各层保留通道数差异显著——Cell 0保留32通道中的16个、Cell 1保留64通道中的39个、Cell 2保留128通道中的72个、Cell 3保留128通道中的66个,证实统一通道配置对该任务而言是次优的。最终模型仅含0.292百万参数,远小于MobileNetV3-SSD(2.657 M)。
4.3 实际焊接实验。 研究人员在气体金属电弧焊(GMAW)系统上进行了实际焊接实验,使用Q235钢为基材,保护气体为20% CO?和80% Ar的混合气。实验制备了搭接接头(L型)和对接接头(V型)两种典型工业接头构型。闭环跟踪结果表明,搭接接头的平均绝对误差为0.1108 mm,对接接头为0.1442 mm。误差曲线呈现两个特征:误差沿轨迹不收敛于零,在前三分之二段负向漂移(搭接接头达?0.3158 mm、对接接头达?0.2587 mm),随后部分恢复;误差在整个焊接过程中保持在±0.32 mm以内,尽管存在间歇性弧光和金属飞溅。完成焊缝的焊道连续且视觉均匀,未观察到咬边、可见不连续或焊道偏移等表面不规则现象。
4.4 误差预算与定位精度分析。 研究人员通过误差分解分析表明,检测误差在基坐标系中贡献0.131 mm(对应1.739像素的平均误差)和0.080 mm(对应1.064像素的标准差),且逐帧变化;标定误差表现为轨迹的刚性偏移而非附加噪声,其幅值受标定残差(低于0.5 mm)约束。检测误差与机器人重复定位精度(±0.08 mm)处于同一量级,而标定残差大于实测闭环误差,因此闭环性能不受机器人限制,而是受限于链路中的系统性项。研究还指出跟踪误差不累积——每帧均获得传感器坐标系中特征点的绝对测量值,前一帧检测仅决定当前帧的裁剪位置,不参与坐标计算。
五、讨论总结与研究结论
讨论部分明确指出研究的局限性:搜索与评估方面,所报告架构为单次搜索运行的结果,未建立跨随机种子的拓扑稳定性及精度、速度、模型尺寸的置信区间,未进行组件级消融实验,延迟查找表仅用作相对排序信号;数据方面,帧级划分可能导致离线精度高估对未见工件、光照条件或采集会话的泛化能力,地面真值由单一标注者产生,标注不确定性未量化;闭环验证方面,每种接头类型仅进行单次焊接,无法获得失败率、跨重复变异性和同闭环内替代检测器的对比数据;工件几何方面,数据集和闭环实验仅限于平板8 mm Q235钢板上的直焊缝搭接和对接接头,未考察角接、T型和多道接头等额外接头类型,也未考察曲面母材和曲线空间焊缝轨迹。
研究结论为:本研究解决了基于激光视觉的机器人焊接中定位精度与实时推理之间的权衡问题。研究提出了BayeNAS-Weld——一种通过贝叶斯变分神经架构搜索构建的轻量级焊缝特征点检测器,其中延迟感知的双重选择机制在候选算子和拓扑分支上联合搜索,BN-based通道剪枝在搜索循环内执行而非作为后处理步骤。实验验证表明,该模型在旧式CPU上达到78.63 FPS的推理速度,超过传感器60 fps的采集速率,同时保持约0.13 mm的平均定位误差,在检测精度上与重型检测器相当,在推理速度和模型尺寸方面具有数量级优势,验证了其适用于低成本工业部署。