基于判别性全局-局部特征表示与学习的交叉视图步态识别

《Engineering Applications of Artificial Intelligence》：Cross-view gait recognition based on discriminative global–local feature representation and learning

本文提出UWSDNet轻量级模型，通过特征提取模块（FRT）、多核心特征增强模块（MCM）和轻量级不对称检测头（LADH）结合多尺度特征融合，解决超声焊接表面缺陷检测中计算复杂度高、多尺度目标识别困难及复杂背景干扰问题，在自建数据集和公开NEU-DET数据集上分别达到mAP 88.9%和95.6%精度，参数量仅12.7M。

　　在工业和医疗领域，超声波焊接技术的应用日益广泛，其核心在于确保焊接质量。为了实现这一目标，精确的表面缺陷检测至关重要。然而，传统检测方法在精度、效率、成本以及实施复杂性方面存在明显不足。此外，当前用于超声波表面缺陷检测的神经网络模型在参数优化与检测准确性之间难以达到良好的平衡。为了解决这些问题，本文提出了一种基于多尺度特征融合的轻量级模型——超声波焊接表面缺陷检测网络（UWSDNet）。该模型通过优化网络结构和引入先进的特征提取机制，显著提升了检测效率和准确性，同时降低了计算资源的消耗。

### 超声波焊接技术的背景与挑战

超声波焊接是一种新型的固态焊接技术，其原理是利用超声波频率的机械振动能量，通过施加静态压力使固体材料表面产生高频摩擦，从而引发局部热量并使材料表面接触区域熔化。当振动停止后，焊接头持续的压力促使材料在固态下形成牢固的连接。与传统焊接方法相比，超声波焊接具有更高的效率、更低的能耗、更清洁的工艺特性，并且无需使用焊剂或外部热源，避免了残留物的产生。这些优势使得超声波焊接在汽车、电气、电池、太阳能以及航空航天等多个行业得到了广泛应用。

然而，超声波焊接过程中，由于焊接参数（如焊接压力、超声波振幅、焊接时间）的变化，容易出现多种焊接缺陷，例如气孔、空洞、橡胶烧焦等。这些缺陷会显著降低焊接接头的机械性能，并导致电流电阻增加，从而引发过大的焦耳热损失。因此，缺陷检测对于保障焊接质量、提升设备运行效率以及减少安全隐患具有重要意义。

目前，超声波焊接缺陷检测主要依赖于人工检查和机器学习方法。人工检查虽然在某些场景下仍然适用，但其受限于主观判断，不仅效率低下，还可能遗漏某些细微缺陷，进而影响整体焊接质量。相比之下，基于机器学习的方法虽然提升了检测效率，但仍需依赖人工设计的特征提取规则，难以有效处理高维复杂数据。因此，采用计算机视觉技术进行实时焊接质量检测，不仅能够降低成本，还能提高检测的准确性和效率，成为当前研究的重点方向。

### 现有方法的局限性

近年来，随着深度学习技术的发展，基于卷积神经网络（CNN）的物体检测算法在高维特征提取方面表现出色。在工业表面缺陷检测领域，这些方法也逐渐被应用于焊接缺陷识别。例如，Li等人（2023b）基于YOLOv4模型，通过改进通道注意力机制、多尺度空间金字塔池化（MSPP）以及指数移动平均（EMA）等技术，实现了对焊接缺陷的快速且准确检测。然而，该方法对GPU内存需求较高，检测速度难以满足实时性的要求。

Wang等人（2023b）提出了一种基于YOLOv5的实时检测系统，结合多尺度对齐融合（MSAF）和并行特征过滤（PFF）模块，以提高检测效率。Kwon等人（2023）则基于YOLOv5构建了双模型检测方法，能够自适应地预测最佳的滤波参数以识别焊接缺陷。然而，这种方法增加了网络的计算复杂度，限制了其在边缘设备上的部署能力。

Yang等人（2021）利用U型网络（UNet）构建的分割网络，结合特征融合机制和双向卷积长短期记忆（LSTM）模块，实现了对焊接缺陷位置的精准检测。尽管该方法在检测精度上表现优异，但其模型计算量较大，且模型尺寸限制了其在实际应用中的推广。

Xu等人（2022）提出了一种基于FPN-ResNet-34的优化策略，包括基于图像变换的数据增强和基于混合损失函数的数据分布平衡。这种方法实现了端到端的焊接缺陷检测，但由于采用了ResNet-34作为主干网络，对硬件性能提出了较高要求，模型体积较大，检测速度难以达到实时监控的需求。

综上所述，尽管上述方法在焊接表面缺陷检测方面取得了一定成果，但普遍存在计算复杂度高、实时性能差以及难以适应边缘部署等挑战。因此，有必要开发一种更加轻量化、高效且具备多尺度特征融合能力的检测模型，以满足工业应用中对实时性和精度的双重需求。

### UWSDNet的创新设计

为了解决上述问题，本文提出了一种轻量级的超声波焊接表面缺陷检测网络——UWSDNet。该模型基于单阶段检测算法YOLOv10l，作为其基础架构。YOLOv10l的主干网络通过多层卷积和下采样操作，将原始像素图像转换为富含语义信息的特征图。其中，浅层特征图保留了丰富的空间细节，有助于识别小目标的边缘，而深层特征图则包含了强大的语义信息和全局上下文。YOLOv10的颈部结构采用路径聚合网络（PAN）来融合主干网络输出的多尺度特征，从而解决不同尺度特征之间的矛盾，使后续检测头能够同时利用深层语义信息和浅层空间细节。

YOLOv10的检测头基于颈部融合后的多尺度特征图，同时执行目标定位、置信度评估和分类任务，直接生成最终的检测结果，无需额外的后处理步骤。其中，检测头P3负责利用详细特征实现对小缺陷的精准定位，P4则在细节与语义之间取得平衡，用于识别中等尺寸的缺陷，而P5则依赖于全局语义信息，用于检测大尺寸缺陷。

尽管YOLOv10在工业检测中已经相对成熟，但其主干网络中的C2f和C2fCIB模块仍然存在较高的计算成本和有限的检测能力。为此，本文引入了一种基于重参数化技术的特征提取模块（FRT），通过结构重参数化技术优化网络结构，降低计算负担并提升检测性能。此外，为了缓解高维背景噪声对特征提取的影响，本文在FRT模块中引入了高效的多尺度注意力（EMA）机制，以增强网络对目标特征的敏感度。

在处理多尺度缺陷检测方面，本文在颈部结构中引入了多核特征增强模块（MCM）。该模块采用并行深度卷积技术，同时捕捉局部信息和跨尺度的上下文信息，从而提升网络对多尺度缺陷的识别能力。同时，为了应对数据集中目标尺寸跨度较大的问题，本文在颈部结构中引入了上下文与空间特征校准网络（CSFCN）。该模块通过高效挖掘空间信息并校准上下文特征，增强了网络对混合尺度缺陷的检测能力。

此外，针对YOLOv10检测头在多目标检测方面的能力不足，本文将其替换为一种多级通道压缩的轻量级非对称检测头（LADH）。该检测头通过优化特征通道的压缩策略，提升了对不同尺寸目标的检测能力，同时降低了模型的计算复杂度。

### 实验结果与分析

为了验证UWSDNet在超声波焊接表面缺陷检测中的有效性，本文构建了一个专门用于超声波焊接线束终端缺陷检测的数据集。该数据集是在真实工业生产环境中采集的，图像亮度符合车间正常照明条件，检测目标的背景为超声波焊接机的工作台。数据集共包含635个样本，涵盖了多种常见的焊接缺陷类型，如断线、边缘脱落、气孔、空洞和橡胶烧焦等。

在该数据集上，UWSDNet表现出优异的检测性能。实验结果显示，UWSDNet在该数据集上实现了95.6%的检测精度和88.9%的平均精度（mAP）。此外，该模型的参数量仅为12.7M，显著低于其他主流检测模型，如YOLOv5、FPN-ResNet-34等，从而提升了其在边缘设备上的部署可行性。

为了进一步验证UWSDNet的泛化能力，本文将其应用于公开的NEU-DET数据集。该数据集涵盖了多种工业表面缺陷，包括金属、塑料和复合材料的缺陷类型。实验结果显示，UWSDNet在该数据集上同样取得了良好的检测效果，表明其具备较强的泛化能力和实际应用潜力。

### 方法概述与网络框架

本文提出的UWSDNet模型由三个核心模块组成：特征提取模块（FRT）、多核特征增强模块（MCM）以及多尺度特征融合模块。这些模块共同作用，以降低模型参数量的同时保持较高的检测性能。模型的整体框架如图3所示，其核心输出包括每个检测目标的边界框坐标、类别标签和置信度评分。

特征提取模块（FRT）通过重参数化技术优化主干网络的结构，减少计算复杂度并提升特征提取能力。具体而言，FRT模块在推理过程中消除了跳连结构带来的计算和内存开销，从而提升了模型的运行效率。同时，引入的EMA机制增强了网络对目标特征的敏感度，有效缓解了高维背景噪声对检测结果的影响。

多核特征增强模块（MCM）在颈部结构中采用并行深度卷积技术，同时捕捉局部信息和跨尺度的上下文信息，从而提升网络对多尺度缺陷的识别能力。该模块的设计使得网络能够在保持轻量化的同时，实现对不同尺度缺陷的精准检测。

多尺度特征融合模块则负责将主干网络和MCM模块提取的特征进行有效融合，以增强网络对复杂背景的适应能力。该模块通过上下文与空间特征校准网络（CSFCN）进一步优化特征融合过程，提升模型对混合尺度缺陷的检测能力。

### 工业缺陷检测的深度学习应用

传统的工业缺陷检测流程通常涉及多个中间子任务，如图像预处理、特征提取、分类和后处理等，这不仅增加了计算复杂度，还对专家经验提出了较高要求。这种依赖性使得传统方法难以充分发挥数据的价值，并且在实际应用中需要多学科知识的协同配合。

相比之下，基于深度学习的缺陷检测方法能够直接建立端到端的映射关系，避免了繁琐的中间步骤。此外，深度学习模型具备自动学习特征的能力，能够从数据中提取出对缺陷识别至关重要的信息，从而提升检测的准确性和鲁棒性。

在工业缺陷检测中，基于深度学习的方法主要分为两类：基于目标检测的模型和基于分割的模型。目标检测模型（如YOLO、Faster R-CNN等）能够直接定位缺陷区域并进行分类，适用于检测多种类型的表面缺陷。而分割模型（如UNet、Mask R-CNN等）则能够提供更精细的缺陷区域分割结果，适用于需要高精度定位的场景。

然而，现有的目标检测模型在处理工业表面缺陷时仍然面临一些挑战。一方面，工业缺陷通常具有复杂的背景和多样的形态，这对模型的特征提取能力提出了更高要求。另一方面，目标检测模型的计算复杂度较高，难以满足实时检测的需求。因此，如何在保证检测精度的同时降低模型的计算负担，成为当前研究的重点方向。

本文提出的UWSDNet模型正是针对这些挑战进行优化设计的。通过引入FRT、MCM和CSFCN等模块，UWSDNet在保持高检测精度的同时，显著降低了模型的参数量和计算复杂度，使其更加适合在边缘设备上部署。此外，该模型在处理多尺度缺陷检测方面表现出色，能够有效应对工业场景中常见的复杂缺陷分布问题。

### 数据集的构建与应用

为了验证UWSDNet在超声波焊接表面缺陷检测中的有效性，本文构建了一个专门用于该任务的数据集。该数据集采集于真实工业生产环境中，涵盖了多种常见的焊接缺陷类型，如断线、边缘脱落、气孔、空洞和橡胶烧焦等。数据集中的图像亮度符合车间正常照明条件，背景为超声波焊接机的工作台，确保了检测任务的真实性和代表性。

数据集的构建过程包括图像采集、预处理和标注。图像采集过程中，采用了高分辨率摄像头对焊接过程进行实时监控，以确保图像质量。预处理步骤包括图像增强、去噪和标准化处理，以提升模型的训练效果。标注过程中，采用了半自动标注工具，结合人工校验，确保了缺陷区域的准确性。

在数据集的应用中，UWSDNet表现出了优异的检测性能。实验结果显示，该模型在该数据集上实现了95.6%的检测精度和88.9%的平均精度（mAP）。此外，该模型的参数量仅为12.7M，显著低于其他主流检测模型，从而提升了其在边缘设备上的部署可行性。

为了进一步验证UWSDNet的泛化能力，本文将其应用于公开的NEU-DET数据集。该数据集涵盖了多种工业表面缺陷，包括金属、塑料和复合材料的缺陷类型。实验结果显示，UWSDNet在该数据集上同样取得了良好的检测效果，表明其具备较强的泛化能力和实际应用潜力。

### 结论与展望

本文提出的UWSDNet模型在超声波焊接表面缺陷检测方面取得了显著进展。该模型通过引入FRT、MCM和CSFCN等模块，有效降低了计算复杂度并提升了检测性能，使其更加适合在边缘设备上部署。实验结果表明，UWSDNet在自建数据集和公开数据集上均表现出优异的检测能力，具有较高的应用价值。

未来的研究方向可以包括进一步优化模型的轻量化设计，以适应更多资源受限的场景。此外，还可以探索更高效的特征融合机制，以提升模型对复杂背景和多尺度缺陷的适应能力。同时，如何将该模型应用于其他类型的焊接检测任务，也是值得进一步研究的方向。总之，UWSDNet的提出为工业缺陷检测提供了一种新的解决方案，具有广阔的前景和应用潜力。