MVIF-Net：基于长时视频的摆动焊接焊缝表面质量在线监测方法

《Journal of Manufacturing Processes》：MVIF-Net: An online monitoring method for weld surface quality in weaving welding based on long-duration video

　　

摘要

摆动焊接是中厚板焊接中的一个重要工艺过程，在摆动焊接过程中，熔池形态会随着焊枪摆动而周期性变化。采用静态图像或短时长视频的方法难以区分熔池的正常变化与焊缝表面缺陷，从而导致焊缝表面质量的误判。因此，本文提出了一种基于长时长视频的焊缝表面质量在线监测方法。借鉴SlowFast网络在动作识别中对双通路时空建模的启发，考虑到摆动焊接中缺陷位置具有局部性，同时熔池变化会带来干扰，构建了一种多尺度视频-图像融合网络MVIF-Net。该网络采用慢速分支捕捉熔池区域的空间细节信息，并采用快速分支提取焊接过程的动态信息。通过跨分支信息交换模块，将动态特征逐步引入空间表征过程中，建立静态外观与动态行为之间的关联。终端视频-图像融合模块分别增强慢速分支的长时长演化表征和快速分支的局部动态细节建模能力，并通过特征拼接聚合双分支特征，从而实现空间结构信息与时间动态信息的互补融合。实验结果表明，MVIF-Net的识别准确率可达99.2%，平均推理延迟仅为2.65 ms。与现有方法相比，本文提出的方法兼具高准确率、低延迟和轻量化设计，同时降低了在线监测中的高频图像处理压力。

引言

摆动焊接是多道多层中厚板焊接中改善坡口侧壁熔合、保证焊道成形质量的关键工艺之一，已广泛应用于船舶制造等大型结构件的焊接连接[1]、[2]、[3]。然而，在实际的中厚板多层多道焊接过程中，坡口尺寸、装配间隙、焊道位置和局部热输入等因素均会引起焊接条件的动态变化。由于摆动幅度、摆动频率和侧壁停留时间等参数通常在焊接前预先设定，难以根据焊接条件的变化进行及时自适应调整。当这些参数与实际焊接状态不匹配时，熔池稳定性和金属铺展行为将受到影响，进一步诱发侧壁熔合不良、咬边、焊道过高凸起、成形不良等焊接质量问题[4]、[5]、[6]。焊接质量通常可从两个维度进行评估：表面质量和内部质量。其中，表面质量问题直接表现为焊缝外观和表面成形异常。在多层多道焊接中，若某道焊缝的表面缺陷未能被及时发现，不仅会影响后续焊道的铺展、熔合和成形稳定性，还可能导致层间和道间缺陷累积，进一步加大焊接质量控制难度和返修风险[7]。

在传统焊接工艺中，无论是单道焊接还是多层多道焊接，每道焊缝的表面质量评估主要依赖焊后目视检查以及磁粉检测、涡流检测等离线检测方法[8]。然而，在中厚板多层多道焊接中，若对每道焊道都进行停机检测，则不可避免地频繁中断焊接过程，影响连续生产的节奏。反之，若缺乏逐道焊缝的表面质量评估，所产生的表面缺陷可能被后续焊道覆盖、累积或进一步扩散，从而增加缺陷定位难度和后续返修成本。

因此，针对中厚板多层多道摆动焊接工艺，开展焊缝表面质量在线监测技术研究，对实现缺陷早期识别、提高过程质量稳定性和降低返修成本具有重要意义。本文所研究的焊缝表面质量主要指焊缝表面成形状态，包括咬边、焊道偏移、表面气孔、过高凸起和焊道良好五种典型状态。

焊缝表面质量在线监测依赖于焊接过程动态信息的实时获取。熔池的动态特性可以直接反映焊接过程中的成形状态和质量变化，因此是焊缝表面质量评估的重要依据[9]。经验丰富的焊工通常通过观察熔池形态、流动行为以及熔池与坡口边缘的相互作用来判断焊缝表面成形状态[10]。随着CCD、CMOS等视觉传感器以及机器视觉算法的发展[11]，熔池动态信息的实时采集与自动分析成为可能[12]。同时，这些技术已广泛应用于焊缝跟踪领域[13]、[14]、[15]，为焊缝表面质量在线监测提供了技术基础。

现有的基于视觉的在线质量监测算法在无摆动焊接的缺陷识别方面已取得一定进展[16]。这些算法模拟焊工对熔池状态的视觉感知和经验判断过程，对熔池及其相关现象的图像信息进行捕捉、表征和解释，从而实现焊接质量的在线评估和预测[17]。现有方法大致可分为三类：基于手工特征的传统机器学习方法、基于深度学习的图像表征方法，以及基于视频序列的动态建模方法。

传统机器学习方法主要依赖专家经验和图像处理方法，从单帧图像中提取具有明确物理意义的静态特征，如弧柱形态、飞溅强度、熔池面积、宽度、长度和轮廓参数等[18]、[19]、[20]。随后，将这些特征与支持向量机、随机森林、长短期记忆网络（LSTM）等模型结合，建立图像特征与焊接质量之间的映射关系，从而实现缺陷类别或质量状态的识别与预测[21]、[22]。然而，此类方法的性能高度依赖手工特征设计和专家先验知识，特征提取过程与具体工况、材料体系和成像条件强耦合。当焊接参数、成像环境或噪声干扰发生变化时，特征稳定性和模型泛化能力往往会显著下降，限制了其在复杂焊接场景中的应用。

为了解决手工特征提取不足和特征设计主观性强的问题，数据驱动的深度学习方法是逐步引入在线焊接质量监测的。与传统方法相比，深度学习可以直接从原始图像中自动学习与焊接质量状态相关的深层表征，从而减少对人类经验和显式特征构建的依赖[23]。沿此思路，研究者从网络架构设计和训练策略优化两个方面开展了大量工作。在模型构建层面，轻量级卷积网络、注意力机制、Transformer以及双线性特征提取方法被相继用于增强从复杂熔池图像中提取关键判别信息的能力[24]、[25]、[26]；在模型训练与部署层面，小样本学习、模型集成和知识蒸馏等策略也被用于缓解焊接缺陷样本不足、类别不平衡和在线部署效率有限等问题[27]、[28]。

除了基于单帧图像的特征提取和表征学习方法，一些研究者还考虑了焊接过程的动态演化特性，指出熔池状态并不简单地表现为孤立的静态特征，而是随着液滴过渡、熔池振荡和表面流动等时变行为持续演化。这些时变行为不仅反映了焊接过程的稳定性，也与表面缺陷的形成机制密切相关[29]、[30]。因此，近年来一系列研究利用短时长视频序列挖掘焊接过程的动态信息，以揭示过程演化与质量结果之间的关联。相关研究表明，无论是基于时间特征分析的传统机器学习方法，还是结合视频特征提取与时空表征学习的深度模型，都在一定程度上提升了对焊接缺陷、成形异常和质量状态的识别能力[31]、[32]、[33]、[34]。这些研究表明，与单帧图像相比，视频序列在一定程度上能够弥补静态图像对过程演化信息表征不足的问题，从而提升焊接质量状态识别的准确率。

尽管上述方法在非摆动焊接的视觉质量监测中取得了良好效果，但其建模假设与摆动焊接过程并不完全吻合。如图1所示，与普通焊接相比，摆动焊接中的焊枪和电弧呈现周期性横向运动，使熔池在两侧坡口侧壁之间往复运动，熔池形态、熔池边界和亮度分布，以及熔池与坡口侧壁的相互作用会随摆动位置不断变化，导致熔池视觉特征的时变性和非平稳性更强。在此过程中，侧壁停留时间会影响局部热输入分布和侧壁熔合行为，而横向摆动则进一步决定了液态金属在槽内的重新分布和铺展行为。例如，若侧壁停留时间不足或液态金属向槽边的铺展不够，会导致局部润湿和填充不足，从而产生咬边。当液态金属向两侧的横向铺展不足、更多液态金属在焊缝中部堆积时，焊缝中部可能出现过高堆积，形成过高凸起。因此，摆动焊接中缺陷的形成与熔池周期性运动的时序演化、侧壁停留行为以及液态金属铺展过程密切相关。

受熔池运动趋势变化、局部遮挡、特征形态波动和焊接状态耦合效应的影响，摆动焊接中表面缺陷的征候很难用单一静态图像或简单几何特征准确表征。更重要的是，在摆动焊接条件下，表面缺陷的形成通常并非瞬时完成，而是在摆动过程的一定持续时间内逐渐演化的。以图2所示的咬边形成过程为例，熔池在120 ms时开始侵入母材，在480 ms时离开母材。时长仅40 ms的短时长视频只能覆盖该过程中的局部阶段，不足以呈现缺陷形成所依赖的关键动态过程，同时还可能导致该过程与正常焊接过程混淆，从而造成焊接质量误分类。此外，虽然工业相机高频采集的连续图像可以揭示液滴过渡和熔池波动过程，弥补单帧图像动态信息表达不足的问题，但高频图像采集会在相邻图像间引入相当程度的信息冗余。无论是对高频单帧图像逐帧判别，还是对短时长视频片段进行连续推理，都会显著增加数据处理频率，从而对在线监测系统在计算、存储和实时响应方面造成更大负担[35]。

基于上述分析，针对中厚板多层多道摆动焊接的在线表面质量监测，难以简单沿用非摆动焊接中采用的单帧图像识别或短时长视频判别策略，而针对摆动焊接工艺的在线表面质量监测研究目前仍较为有限。为了实时监测摆动焊接的成形演化过程，并缓解高频连续图像带来的信息冗余和计算负担，需要探索一种既具备长时长动态表征能力又具备高效在线推理能力的视频理解方法。

长时长视频理解的相关方法为解决该问题提供了可行的技术路径。其中，SlowFast网络[36]是动作识别任务中的代表性框架。

通过协同建模快慢双路径并采用跨帧跨步采样机制，该方法以相对可控的计算成本实现了长时视频理解。这种双路径建模策略能够在相对较长的时间跨度上同时考虑全局状态表征与局部动态捕捉，这在一定程度上符合摆动焊表面质量监控的需求，因为后者需要同时考虑焊缝成形过程与局部动态变化。然而，SlowFast 网络主要是为自然动作视频设计的，通常假设目标运动幅度大且动作语义显著。相比之下，摆动焊视频中与质量相关的信息通常表现为熔池形态、边界波动及亮度分布的细微时空变化，同时还受到弧光、飞溅、烟雾及局部遮挡等复杂干扰的影响。因此，直接采用针对动作识别开发的视频建模策略，难以充分提取与表面缺陷演化相关的关键动态特征。同时，原始 SlowFast 网络参数量庞大，这对工业现场部署的计算与存储资源提出了较高要求，仍难以满足在线监控的效率需求。基于上述实际约束与工程要求，本文聚焦于船舶制造中厚板多层多道摆动电弧焊的监控。利用 CCD 熔池视觉相机建立了一套熔池视觉感知系统。受焊工观察熔池的方式、其缺陷判别机制及 SlowFast 网络架构的启发，提出了一种名为 MVIF-Net 的多尺度视频图像融合网络，用于处理焊接熔池的小幅度、高频动态视觉特征。所提方法适用于长时焊缝成形视频的在线监控。通过建模多尺度时空信息，该方法有效缓解了传统方法在处理高频图像数据时面临的计算负担过重问题。

在架构设计层面，不同于 AF-FTTS-Net [23] 等基于图像的双分支网络，MVIF-Net 直接以视频数据作为输入。其中一个分支负责从图像中提取空间语义信息，而另一个分支则专注于抑制动态噪声并提取有效运动特征。同时，采用多级信息交换机制，并在各对应分支末端采用与其特性相匹配的视频图像融合策略。由此，动态信息与静态信息得以深度耦合，从而最终实现双路径特征的高效聚合与焊接表面质量的准确判别。MVIF-Net 的主要特点总结如下。直接以焊接视频为输入，采用双分支架构协同建模熔池的静态空间信息与动态运动信息。设计了针对各分支特性的视频图像融合策略，以抑制动态噪声同时增强有效运动特征。此外，引入多级信息交互以实现多尺度时空特征融合。这些设计使 MVIF-Net 能够在保持焊缝表面质量评估高精度的同时实现计算效率，使其非常适合基于长时视频的焊缝表面质量在线监控。

本文中“长时”这一术语是相对于焊接过程监控任务定义的。在工业相机的高频成像机制下，其体现在两个方面：一是图像序列更长；二是覆盖的实际焊接时间跨度更大。本文其余部分组织结构如下。第 2 节介绍焊接实验平台与方法。第 3 节提出 MVIF-Net 的具体架构。第 4 节通过实验验证所提方法的性能与优势。第 5 节总结本文结论。

章节片段
实验平台设计
本文采用的机器人焊接实验平台主要由库卡（KUKA）KR50R2100 工业机器人、福尼斯（Fronius）TPS 500i 焊机、福尼斯焊枪、保护气供应装置、熔池视觉观测系统及工业计算机组成。系统整体结构如图 3 所示。采用的焊接工艺为金属活性气体（MAG）焊，保护气为体积分数 95% Ar + 5% CO? 的混合气体。

熔池视觉
焊缝表面质量在线监控方法的总体流程
如图 5 所示，本文的整体工作流程可分为四个阶段：图像采集、数据处理、缺陷监控及结果输出。首先，在阶段 a，利用熔池相机实时采集焊接过程图像，并以预设固定帧率进行缓存。在阶段 b，针对未识别的缓存图像序列，从序列起始位置提取快速分支所需的帧数，并进行帧采样预处理是

数据集准备
数据集中各类原始视频的数量及包含在测试集中的相应原始视频数量列于表 1。为构建实验数据集，使用大小为 16 帧、步长为 8 的滑动窗口对原始视频进行切分，共产生 7700 个视频片段（样本）。随后，数据集按 6:2:2 的比例划分为训练集、验证集和测试集，详见表 2。为严格防止数据泄露，数据集

结论
本文提出了一种基于 SlowFast 网络改进的 MVIF-Net 模型。通过引入视频与图像信息的多尺度融合机制，该模型实现了机器人中厚板摆动电弧焊过程中焊缝表面质量的高效监控。主要结论如下：
（1）基于大型船舶 T 型接头中厚板试件摆动 MAG 焊接采集的数据集，所提 MVIF-Net 模型能够有效识别五种

CRediT 作者贡献声明
张元良：写作 – 初稿，可视化，验证，方法论，调查，形式化分析，数据管理，概念化。郭应杰：写作 – 审阅与编辑，可视化，资金获取。董辉跃：写作 – 审阅与编辑，指导。黄启伟：指导，资源。柯迎林：指导，资源，项目管理。

利益冲突声明
作者声明不存在已知的竞争性经济利益或个人关系，这些利益或关系可能影响本文所报告的工作。

张元良 | 郭应杰 | 董辉跃 | 黄启伟 | 柯迎林