用于焊接质量评估的先验超像素驱动多模态查询超图卷积网络

《MECHANICAL SYSTEMS AND SIGNAL PROCESSING》：Prior superpixel-driven multi-modal query hypergraph convolutional network for weld quality assessment

　　

引言

结构连接件的可靠性与服务安全性与连接和装配过程的稳定性密切相关。先前的研究表明，装配参数和界面条件的变化会显著影响结构连接件的承载能力和可靠性[1]。焊接作为应用最广泛的连接技术之一，因其高效率、高自动化程度和相对较低的成本，被广泛应用于汽车制造、轨道交通和航空航天领域[2]、[3]。对于焊接结构件，焊缝质量在决定结构连接件的可靠性和服务安全性方面起着关键作用。然而，在实际工业生产中，焊缝质量受到多种因素的共同影响[4]、[5]、[6]。对于电阻点焊（RSW）等焊接工艺，装配间隙、电极姿态偏差、近边效应以及焊接参数的波动会在焊缝表面形貌和内部焊核的形成过程中引入显著的非线性与不确定性[7]、[8]、[9]。在众多质量特征中，焊核直径是点焊质量的关键指标，与连接件的承载能力和失效模式密切相关。因此，在复杂装配条件下实现精确且稳健的焊缝质量评价，对于焊接工艺优化和有效质量控制具有重要的工程意义。

基于经验模型或单信号门限的传统方法耗时且成本高昂，需要多次实验优化[10]、[11]。这些方法难以准确描述复杂工况下焊缝质量的形成机制，其评价精度和鲁棒性受到局限[12]。随着视觉采集技术和传感器的发展，工业生产过程中产生并存储的大量图像和信号数据为质量评估提供了更丰富的信息来源[13]、[14]、[15]、[16]。机器学习与深度学习方法通过分析海量数据并提取相关特征，在质量评价方面取得了显著进展[17]、[18]。例如，Johnson等人利用人工神经网络和自适应神经模糊推理模型将焊接参数与质量指标相关联，实现了电阻点焊质量的预测[10]。Chen等人基于焊接过程的物理规律对质量相关特征进行标注，然后利用图像处理算法将其转化为先验信息，以指导CNN模型进行质量识别，阐明了特征与质量识别之间的关系[19]。该CNN模型不仅能够自动聚焦于与质量相关的特征，还实现了差异化特征注意力策略，从而提高了不同结果的识别精度。Ji等人采集了焊接现场的声学信号，采用自适应小波阈值去噪方法消除噪声干扰，并应用改进的SeCNN-LSTM深度学习模型从焊接声信号中提取特征，实现了质量识别与分类[20]。Zhang等人提出了一种新型轻量化网络EfficientNet-ECA，利用高效通道注意力（ECA）增强跨通道信息交互，从图像中提取针对不同缺陷最具判别力的特征，从而有效实现了焊接缺陷的识别与分类[21]。尽管这些方法显著提高了焊接质量评估的精度，但它们侧重于单一类型数据的分析，难以充分捕捉焊缝质量形成的复杂机制。仅依赖图像信息无法反映焊接过程中的动态物理变化，而仅依赖工艺信号则容易受到噪声和非线性耦合效应的干扰，导致模型稳定性不足。在其他工业状态监测任务中，也报道了单模态分析的类似局限性。例如，在变工况下采用多模态特征融合以捕获不同信号表示的互补信息并提高故障识别性能[22]。这表明整合异构信息具有克服单模态特征表示局限性的潜力。

焊接本质上是一个热-电-机耦合过程。最终的焊核直径和表面形貌并非由单一瞬时变量决定，而是由整个焊接周期中产热、电流传导、接触电阻、电极力、板材变形和焊核生长的累积演化所决定。特别是电流、电压、动态电阻、功率和能量等电信号反映了以焦耳效应为主的产热行为，而力和位移信号则描述了电极与板材之间的机械相互作用。因此，焊接后采集的焊缝表面图像是集成工艺历史的宏观表现，而非孤立的静态观测。这一物理特性促使对局部视觉区域和全程信号进行联合建模以进行焊缝质量评估。

近年来，基于深度学习的多模态数据融合方法通过联合建模图像和工艺信号，在质量评估方面取得了显著进展[23]、[24]、[25]。Tang等人采用双输入权重共享网络处理焊核表面图像，其中两个额外的基础模型分别处理红外图像和焊接参数数据，然后利用Dempster-Shafer理论进行多模态特征融合[26]。实验结果表明，该方法显著优于基于单模态的基础模型。Dong等人构建了超图神经网络，为不同类型传感器数据建立超特征空间嵌入图模型，整合了超拉普拉斯散射矩阵，有效在特征层面对多源数据进行了融合，进一步提升了模型性能[27]。尽管基于深度学习的多模态方法已广泛应用于焊接质量评估，但仍存在一些 issues：（1）在焊接质量评估场景中，图像与工艺信号之间的相关性具有明显的方向性和阶段性特征，不同模态之间的信息传递并非均匀分布。大多数多模态融合方法采用特征拼接或注意力机制进行信息融合，缺乏对局部图像语义与工艺信号之间高阶结构相关性的建模，难以揭示模态间的信息传递路径。（2）焊核图像中与质量高度相关的区域往往占比很小，大面积的背景区域会干扰特征提取。现有方法大多基于像素或全局特征进行建模，难以显式聚焦于关键质量区域，尤其忽略了焊缝上下表面之间的对应关系和互补信息。（3）在基于超图的多模态建模中，超边通常被视为节点的简单集合，在聚合过程中对节点不加区分地处理，弱相关或含噪声的超边会对节点特征更新产生负面影响，从而限制了模型性能的进一步提升。

针对上述问题，本文提出了一种先验超像素驱动的多模态查询超图卷积网络（PS-MQHGN）。该方法设计了一个跨模态查询超图卷积模块（CQHM），以识别模态间信息传递的主导路径，从而实现超边多模态特征的自适应更新。构建了一个先验超像素驱动的双图像交互模块（PSDIM），以引导超像素分割过程，主动聚焦于与焊接质量高度相关的局部区域。整合了同图像与跨图像之间的联合交互机制，以有效对齐和增强上下表面的关键特征。同时，引入了一种双维度超图特征聚合机制（DHAM），以抑制弱相关超边和噪声信息对多模态节点特征更新的干扰，最终实现焊接质量的高精度预测。PS-MQHGN的主要创新点如下：

（1）构建了CQHM框架，创新性地统一超图空间中视觉特征与全程信号特征之间的高阶结构相关性建模，自适应地识别可解释的模态间信息传递主导路径，以指导多模态特征的融合。

（2）提出了集成MPPM和SCJIM的PSDIM，其中MPPM利用质量类别先验知识引导超像素分割，实现对焊接质量相关区域的主动聚焦；SCJIM实现了焊缝上下表面关键特征的自适应对齐与增强，解决了现有方法中上下表面互补信息利用不充分的问题。

（3）创新设计了DHAM，解决了传统超图模型中节点对超边不加区分聚合的缺陷。通过集成结构-特征双维度注意力，有效抑制了弱相关超边和噪声的干扰，从而显著增强了多模态特征融合的鲁棒性和判别能力。

章节摘要

相关工作

本节首先对基于深度学习的焊接质量评估相关研究进行了综述，重点分析了图像和工艺信号驱动的方法在复杂工况下的局限性。随后总结了图神经网络和超图模型在多模态信号建模中的应用进展，并讨论了它们在焊接质量评估任务中面临的关键挑战。

PS-MQHGN的整体结构

PS-MQHGN的整体结构如图1所示。首先设计了PSDIM，其中构建了一个多区域先验特征传播机制（MPPM），该机制利用不同质量类别焊核图像的先验知识来引导超像素分割和特征传播，从而为无标签数据分配软标签并融入高层语义信息。随后，开发了SCJIM，将超像素特征转化为表示的图结构……

实验验证

为验证所提方法的有效性，采用电阻点焊机器人进行了焊接实验。采集了焊点的表面图像和工艺信号，并通过金相分析获得了相应的焊核直径。由此构建了一个多模态焊接质量数据集，并利用该数据集验证了PS-MQHGN模型的性能。

讨论

尽管所提出的PS-MQHGN通过多模态融合实现了焊核直径的精确预测，但应强调当前的框架仍然是数据驱动的学习模型，而非基于第一性原理的电阻点焊物理模型。模型的物理相关性主要来源于焊接知识引导的模态选择和结构设计。例如，电流、电压、动态电阻、功率和累积能量与……密切相关

结论

本文提出了PS-MQHGN用于电阻点焊的高精度质量评估。该方法利用PSDIM聚焦于焊接图像的关键区域，有效对齐了上下表面的特征。此外，利用CQHM融合图像和工艺信号的多模态特征，有效抑制了噪声和弱相关超边对节点特征更新的负面影响，从而增强了模型的稳定性和性能。

作者贡献声明

WenLong Xu：撰写——原稿，方法论。RunDong Lu：数据整理。Bo Yang：监督。ChengQing Zhang：数据整理。BoXuan Men：形式分析。YunFan Zhou：验证。Yu-Jun Xia：监督，资源。YongBing Li：监督，资源。

利益冲突声明

作者声明不存在任何已知的竞争性经济利益或个人关系，这些关系可能影响本文所报告的工作。

致谢

作者感谢国家自然科学基金（批准号：52575415、52605519）、中国教育部基础学科与交叉学科突破计划（JYB2025XDXM214）以及机械系统与振动国家重点实验室（批准号：MSVZD202603）提供的资金支持。

WenLong Xu | RunDong Lu | Bo Yang | ChengQing Zhang | BoXuan Men | YunFan Zhou | Yu-Jun Xia | YongBing Li