《Scientific Reports》：Enhanced seam segmentation for automated welding robot in construction through transfer learning: addressing limitations of bilateral segmentation network
编辑推荐：
可靠的焊缝分割对于建筑领域自主机器人焊接至关重要，而在该场景中，剧烈的光照变化、镜面反射以及薄型焊缝几何结构经常导致分割性能下降。本文提出了一种轻量级后训练优化框架，在不修改原有网络架构的前提下，系统性地提升现有实时语义分割网络的性能。该框架以在线难例挖掘（O
可靠的焊缝分割对于建筑领域自主机器人焊接至关重要，而在该场景中，剧烈的光照变化、镜面反射以及薄型焊缝几何结构经常导致分割性能下降。本文提出了一种轻量级后训练优化框架，在不修改原有网络架构的前提下，系统性地提升现有实时语义分割网络的性能。该框架以在线难例挖掘（Online Hard Example Mining, OHEM）预训练检查点为起点，结合受控微调与交叉熵–Lovász（Cross-Entropy–Lovász）混合目标函数，以增强像素级分类、区域级焊缝连续性和反射致分割失效的恢复能力，同时保持实时推理效率。大量实验表明，所提框架显著提升了分割性能。在使用BiSeNetV2时，Joint IoU从59.40%提升至81.76%（+22.36个百分点），mIoU达到90.73%，且未增加参数量、FLOPs、推理延迟或内存消耗。此外，该框架成功恢复了由强反射引起的严重零IoU失效案例中的96.33%，显著提升了下游机器人感知的作业可靠性。为评估所提优化框架的泛化性，研究人员还在多种微调配置下使用U-Net、DeepLabV3+、SegFormer-B0和PIDNet-S进行了额外实验。结果表明，后训练优化的有效性强烈依赖于网络架构：轻量级实时分割网络，尤其是BiSeNetV2和PIDNet-S，能持续受益于该框架，而较大的语义导向型架构所获得的提升相对较小且不够稳定。在机器人焊接实验中，所提出的BiSeNetV2模型是唯一能够在评估中持续生成有效焊缝轨迹的方法，其在机器人路径规划中的平均接头中心偏移为\(2.47 \pm 0.78\) mm，与此前基于BiSeNetV2的机器人焊接系统相比降低约9.8倍。总体而言，研究结果表明，精心设计的后训练优化为架构重设计提供了一种实用且计算高效的选择，可显著提升反射性建筑环境中自主焊接的失效恢复能力、焊缝连续性和机器人轨迹生成能力。
论文解读：基于迁移学习与CE–Lovász后训练优化的建筑焊接机器人焊缝分割增强方法
一、研究背景与问题
焊接是钢结构制造、预制加工和现场装配中的基础工艺，直接影响钢结构质量、安全性与耐久性。然而，建筑行业正面临熟练焊工短缺、劳动力成本上升以及对更安全高效施工方式的需求增长。机器人焊接系统因此受到广泛关注，被视为提高生产率并减少人员暴露于危险环境的有效途径。近年来，计算机视觉与深度学习的进展使得基于视觉的机器人焊接系统能够在复杂建筑环境中自动检测焊缝、生成机器人轨迹并执行自主焊接操作。语义分割能够提供密集的像素级焊缝信息，可直接用于焊缝定位、中心线提取和机器人路径规划。轻量级实时分割网络如BiSeNetV2在分割精度与计算效率之间表现出良好平衡，适合部署于资源受限的机器人平台。
然而，在实际建筑环境中，可靠焊缝分割仍面临严峻挑战。金属工件常产生强烈镜面反射、饱和高光、光照变化和低对比度焊缝边界，导致焊缝预测碎片化、中心线提取不稳定。这些分割失效会直接影响下游机器人定位与轨迹生成，进而降低自主焊接系统的可靠性。现有大多数基于深度学习的焊缝分割方法通过设计新网络架构、引入注意力机制或多尺度特征融合模块来提升性能，虽然取得了一定精度提升，但通常增加模型复杂度和计算成本，限制其在实际实时机器人焊接系统中的部署。另一条可行路径是在不改变架构的前提下，通过后训练优化改进现有轻量级分割模型。尽管迁移学习和区域感知目标函数如Lovász损失已被广泛用于语义分割，但通常仅作为标准优化技术使用，缺乏对后训练策略如何影响强金属反射条件下鲁棒性的系统研究。此外，优化策略与分割架构之间的相互作用在机器人焊接应用中仍未被充分理解。
研究人员此前开发了基于BiSeNetV2的实时机器人焊接感知系统，验证了其在自主建筑焊接中的可行性，但强金属反射仍频繁导致焊缝预测碎片化甚至完全遗漏，表明分割性能不仅受限于网络架构，还受限于后训练阶段的优化策略。为此，本研究不开发新网络架构，而是提出一种轻量级后训练优化框架，从OHEM预训练检查点出发，通过受控微调和混合交叉熵–Lovász（CE–Lovász）目标函数，同时改进像素级分类与区域级焊缝连续性，并保持原分割模型的计算效率。研究还系统评估了该框架在BiSeNetV2、PIDNet-S、U-Net、DeepLabV3+和SegFormer-B0等代表性语义分割架构上的效果，揭示后训练优化与网络架构在严重反射性焊接环境下的交互关系。论文发表在《Scientific Reports》。
二、主要关键技术方法
本研究采用的核心技术方法包括：基于在线难例挖掘（OHEM）的预训练策略，以获得适用于焊缝分割的初始检查点；受控后训练微调框架，分别采用仅解码器微调、部分微调和全微调三种配置；混合CE–Lovász损失函数，结合像素级交叉熵损失与区域级Lovász–Softmax损失，以平衡局部分类精度与全局区域重叠一致性；焊缝中心线提取与机器人路径规划流程，将分割掩码通过骨架化和端点检测转换为连续中心线；以及基于激光扫描的机器人轨迹跟踪与偏移测量方法。实验数据来自WJ3600焊接接头数据集，该数据集由WJ1000扩展而来，包含3600张训练图像，并将原有验证集和测试集保留不变；外部泛化验证则使用Kaggle公开的Weld-Joint-Segments数据集，包含1597张焊接图像。所有模型均在WJ3600上训练，超参数选择仅基于验证集，测试集仅用于最终评估。
三、主要研究结果
定量比较结果
研究人员在相同训练和评估条件下，使用多种语义分割架构进行了广泛实验，并采用Joint IoU、BG+Plate IoU、mIoU、Dice/F1、精确率、召回率和恢复率（Recovery Rate）作为评价指标。由于焊缝仅占图像极小比例且易受镜面反射影响，Joint IoU被设为主要评价指标。预训练损失函数对比实验表明，CE-only和Lovász-only优化在焊缝分割中收敛不稳定，而OHEM预训练取得最佳初始化性能，达到59.40%的Joint IoU和79.66%的mIoU。因此，所有后续迁移学习实验均以OHEM预训练检查点为初始化点。
跨架构微调消融实验显示，在全部配置中，BiSeNetV2结合全微调与CE–Lovász优化取得了最佳综合性能：Joint IoU从基线59.40%提升至81.76%，提升22.36个百分点；mIoU从79.66%提升至90.73%；召回率从69.86%提升至94.10%。更重要的是，所提框架在严重反射条件下达到96.33%的恢复率，即121个基线零IoU失效案例中成功恢复了绝大多数。定性结果进一步表明，在极端眩光场景下，基线预测严重碎片化，而所提框架能够重建与真实标注高度一致的几何稳定曲线焊缝结构，为后续焊缝跟踪、中心线提取和轨迹生成提供了足够稳定的连续预测。
架构泛化性实验表明，后训练优化的有效性具有架构依赖性。轻量级实时分割网络BiSeNetV2和PIDNet-S持续受益于所提框架，而DeepLabV3+与基于Transformer的SegFormer-B0在多种微调设置下提升较小且不稳定。研究人员认为，BiSeNetV2通过双边分支显式保留高分辨率空间信息，PIDNet-S通过专用细节分支保留薄边界结构，这些特性使其能够在严重反射下准确定位窄焊缝，同时保持实时推理速度。因此，轻量级实时网络比重语义架构更适合自主机器人焊接的实际部署需求。
机器人焊接评估
为验证工程适用性，研究人员在室内正常环境光照下开展了机器人焊接实验。实验平台由Yaskawa HC10工业机械臂、LMI Gocator 2618 A激光轮廓扫描仪和Intel RealSense D455 RGB-D相机组成，通过ROS 2框架集成控制，机器人运动规划使用MoveIt执行。预测焊缝掩码经骨架化和端点检测转换为连续中心线，再转化为机器人路径规划的航点序列。在轨迹执行过程中，激光轮廓扫描仪持续获取焊缝二维横截面轮廓，通过估计焊缝中心与激光扫描仪光学中心之间的位置偏移来量化路径规划精度。
定量结果表明，所提迁移学习框架将平均接头中心偏移从此前研究的24.12 mm降至2.47 ± 0.78 mm，定位误差降低约9.8倍。其余分割架构（PIDNet-S、DeepLabV3+、U-Net和SegFormer-B0）在机器人路径规划中均未能检测到焊缝接头，无法进行定量偏移测量。该结果证明，所提框架不仅提升了焊缝分割精度，还显著提高了自动焊接机器人轨迹生成的精度与可靠性。
定性比较结果
定性比较进一步验证了所提框架在挑战性工业环境中的焊缝连续性与反射鲁棒性。在强镜面反射代表案例中，基线预测因表面眩光抑制局部焊缝边界而产生碎片化输出，迁移学习后缺失的焊缝结构被成功重建，焊接轨迹连续性显著恢复。在严重零IoU失效案例中，基线模型在强烈反射畸变和光照变化下完全无法识别焊缝，而迁移学习后的模型成功恢复了缺失焊缝区域，生成稳定分割掩码。研究人员也展示了所提方法未优于基线的随机失败案例，这些案例中的性能下降通常较小，焊缝几何形状仍与真实标注保持视觉一致，表明所提框架很少引入显著性能退化。
超参数影响
CE–Lovász权重参数\(\lambda\)在0.00至0.20范围内进行敏感性分析，混合目标函数定义为\(\mathcal{L} = \lambda \mathcal{L}_{CE} + (1-\lambda)\mathcal{L}_{Lovasz}\)。对BiSeNetV2，验证性能在\(\lambda =0.04\)时达到最大值，即CE权重0.04、Lovász权重0.96，呈现Lovász主导的优化区间。该现象与焊缝分割的薄型和严重类别不平衡特征一致：焊缝仅占图像极小部分，像素级CE易被大面积背景和板材区域主导，而Lovász–Softmax直接优化IoU相关目标，对薄型焊缝的全局连续性更为有效。\(\lambda\)值针对每种架构和微调配置独立基于验证集选取，测试集未参与超参数选择过程。
跨域泛化实验
为评估模型在WJ3600领域之外的泛化能力，研究人员使用Kaggle公开的Weld-Joint-Segments数据集进行零样本跨域评估，包含1597张与WJ3600视觉特征不同的焊接图像。该外部数据集的任何图像或标注均未用于训练、微调、超参数选择或模型适应。由于外部数据集标注方案与WJ3600的六类方案不同，定量评估采用统一的二值Plate/非Plate表示。结果显示，所提模型在外部数据集上取得平均Plate IoU 50.17%、非Plate IoU 88.54%、二值mIoU 69.36%、Plate Dice/F1 54.58%、Plate精确率94.41%。高精确率表明外部域条件下误报有限，而中等的Plate IoU和Dice/F1表明金属表面外观、光照、背景和标注定义的显著差异仍为零样本跨域迁移带来挑战。该实验提供了跨域可迁移性的独立证据，同时揭示了较大域偏移下的剩余限制。
四、讨论与结论总结
讨论部分指出，所提框架通过互补的像素级与区域级监督提升焊缝分割性能。交叉熵损失稳定局部边界预测，Lovász损失直接优化区域重叠，促使模型在严重镜面反射和光照变化下保持焊缝结构连续。关键发现是优化策略的有效性强烈依赖于网络架构，轻量级实时架构如BiSeNetV2和PIDNet-S获得最大增益，而DeepLabV3+和SegFormer-B0提升较小且不稳定，说明优化策略应根据架构特征选择，而非假定统一后训练程序普遍有效。恢复率指标针对基线预测Joint IoU为零的严重失效样本，衡量迁移学习后恢复为有效焊缝预测的比例。BiSeNetV2在全微调下恢复了121个基线零IoU案例中的96.33%。虽然恢复率很高，但仍有少数灾难性失效未被恢复，例如极薄弯曲真实焊缝与周围金属表面对比度极低，或模型沿视觉相似的横向结构产生碎片化误报而未能与标注焊缝重叠，这些残余案例表明所提框架大幅减少但未完全消除灾难性分割失效。
损失平衡敏感性分析显示，验证性能在\(\lambda=0.04\)附近达到最优，表明Lovász主导的优化体制能为全局焊缝连续性与局部边界细化提供最有效平衡。随着交叉熵贡献增大，分割性能逐渐下降，说明过度像素级监督会削弱薄型焊缝在反射条件下的全局结构一致性。实际应用方面，所提BiSeNetV2在机器人实验中实现平均接头中心偏移2.47 ± 0.78 mm，较此前系统降低约9.8倍，且这些改进未增加任何计算成本，FLOPs、参数量、推理速度、延迟和内存消耗均与基线一致。研究结论表明，对于反射性建筑环境下的焊缝分割，改进现有轻量级分割网络的训练策略可能比增加架构复杂度更为有效，所提框架为需要可靠焊缝定位与计算效率的实时机器人焊接系统提供了实用解决方案。
