一种基于分层多分支特征提取和群体决策注意力机制的轻量级金属表面缺陷检测网络

《COMPUTERS IN INDUSTRY》：A lightweight metal surface defect detection network with hierarchical multi-branch feature extraction and group decision attention

金属表面缺陷检测面临规模多样性、特征模糊、数据不平衡和计算受限等挑战，LHMB-Net通过HMBFE多分支提取多尺度特征，PGDA机制缓解数据不平衡，HMB-head简化检测头结构，结合BoundaryIoU损失优化边界定位，在NEU-DET和GC10-DET数据集上验证其检测精度和计算效率优于现有方法，并具备跨材料泛化能力。

　　金属材料在航空航天、桥梁建设、汽车制造和设备生产等多个关键工业领域中扮演着重要角色。然而，金属表面的缺陷，如裂纹和划痕，会严重削弱材料的结构完整性和性能，使得金属表面缺陷检测成为一项至关重要的工业任务。与一般的物体检测不同，金属表面缺陷检测面临一系列独特的挑战，包括显著的尺度多样性、明显的特征模糊性、严重的数据不平衡以及工业环境中严格的计算资源限制。为了应对这些挑战，本研究提出了一种名为LHMB-Net的新型检测算法，该算法围绕四个关键组件构建：层次化多分支特征提取（HMBFE）模块、部分分组决策注意力（PGDA）机制、HMB-head检测头和边界IoU损失函数。LHMB-Net的设计不仅提升了检测精度，还显著优化了计算效率，显示出其在实际工业部署中的强大潜力。

在工业自动化不断发展的背景下，对金属表面缺陷检测技术在精度和计算成本方面的需求也在不断提高。传统方法主要依赖检测设备和人工经验，但随着现代工业生产的复杂性增加，这些方法逐渐显得不足。近年来，基于人工智能的计算机视觉技术推动了物体检测算法在工业场景中的广泛应用，尤其是在缺陷检测领域。例如，Faster-RCNN、YOLOv8、YOLOv9、YOLOv10、YOLO11以及基于Transformer的RT-DETR、DN-DETR和DINO等先进算法已成为研究的重点。提高这些模型的准确性和效率是关键，因为计算效率低下限制了像Faster-RCNN这样的方法在资源受限环境中的应用。此外，虽然基于Transformer的物体检测算法在提取上下文信息方面表现出色，但它们需要大量的数据集，这对样本数量有限的缺陷检测任务构成了挑战。然而，随着YOLO系列算法的不断演进，平衡检测精度与计算效率已成为其最显著的优势之一。因此，优化计算成本同时提升检测精度是提高金属表面缺陷检测技术的重要方向。

与一般的物体检测任务相比，金属表面缺陷检测具有更多复杂性和独特性。首先，缺陷在尺度上存在显著的多样性，即缺陷的大小和形状差异较大，使得在不同尺度下准确检测成为一大难题。这要求模型具备强大的多尺度信息融合与处理能力。其次，特征模糊性也是一个关键问题，许多缺陷具有模糊的边界，且不同缺陷类别之间存在高度相似性，使得准确识别和分类变得困难。第三，数据不平衡问题在金属表面缺陷检测中尤为突出，缺陷数据集中往往存在类别分布不均，某些缺陷类型的样本数量非常有限，这导致模型难以有效识别这些少见的缺陷类型。最后，工业场景通常对计算资源有严格的要求，需要模型具备较低的计算复杂度，以满足实时检测的需求。

为了解决上述挑战，研究人员提出了多种新型金属表面缺陷检测算法，如LAACNet、IDD-Net、CSWFFN、RADDA-Net和LAD-Net等。这些方法在检测精度方面表现优异，但仍存在一些不足之处。例如，它们在平衡检测精度与实时推理效率方面仍有待提升，同时在处理模糊特征方面也显得不够充分。因此，本研究提出LHMB-Net，这是一种新型的轻量级层次化多分支网络。LHMB-Net的创新点在于其模块化设计，每个模块都针对特定的挑战进行了优化，从而实现了更高效的缺陷检测。

具体而言，LHMB-Net的四个核心模块分别承担不同的功能。首先，层次化多尺度特征提取模块（HMBFE）能够有效捕捉不同尺度下的缺陷特征，从而提升模型对多尺度信息的融合能力，解决尺度多样性问题。同时，该模块的多分支结构增强了对不同缺陷类别之间细微特征差异的提取，有助于缓解特征模糊性。其次，部分分组决策注意力机制（PGDA）是一种创新的注意力融合策略，通过多路径分组决策和自学习加权机制，有效应对数据不平衡和特征模糊性。PGDA模块利用并行的注意力路径分别提取不同尺度和类别的特征表示，通过自学习机制动态分配加权，增强罕见类别缺陷特征的表示，从而提升在样本数量有限情况下的检测能力。此外，该机制的多路径决策结构在不同缺陷类别之间平衡贡献，显著减轻了数据不平衡导致的模型偏差。同时，其通道分割结构有效降低了计算复杂度，同时保留了关键的特征信息，满足了工业环境中对低计算成本的需求。

第三，HMB-head是一种基于渐进结构的检测头，能够显著减少模型的复杂度和计算负担，从而提升检测效率。此外，其渐进解耦设计增强了缺陷特征的表示能力，同时减少了分类与回归任务之间的干扰，显著提升了检测的准确性和鲁棒性。最后，边界IoU损失函数是一种改进的边界回归损失函数，它不仅考虑了中心点距离和长宽比惩罚，还显式地引入了边界点之间的距离约束。这种设计显著提升了边界定位的准确性，尤其是在边界模糊和形状不规则的缺陷检测中具有明显优势。此外，通过针对不同尺度缺陷定制的边界约束，边界IoU损失函数有效减少了由于微小预测偏差导致的定位误差，特别是在小尺度缺陷检测中表现突出。因此，它进一步缓解了尺度多样性带来的负面影响，显著提升了检测的准确性和稳定性。

为了验证LHMB-Net的有效性，本研究在两个广泛使用的金属表面缺陷检测基准数据集上进行了全面实验：NEU-DET和GC10-DET。这两个数据集代表了典型的挑战，包括尺度多样性、特征模糊性和数据不平衡。实验结果表明，LHMB-Net在关键指标如mAP50和计算复杂度方面均优于现有的先进模型，实现了检测精度与效率之间的良好平衡，符合工业部署的需求。此外，热图可视化展示了模型在缺陷区域的精确聚焦能力，以及在非目标区域有效抑制噪声的能力，表明其在复杂工业环境中的强大应用潜力。模型在不同金属材料上的泛化能力也是衡量其有效性的关键指标。我们评估了LHMB-Net在铝表面缺陷数据集（APDDD）和磁砖表面缺陷数据集（MT缺陷数据集）上的表现，其卓越的泛化能力确认了LHMB-Net作为一种稳健、通用的金属表面缺陷检测算法的潜力。

LHMB-Net的提出基于对现有检测方法的深入分析和优化。传统检测方法，如人工检查，往往在复杂环境中表现出主观性和低效率，难以满足现代工业生产的需求。而基于深度学习的方法则具备强大的特征学习能力，能够提供更高效和准确的解决方案。然而，许多现有方法在处理尺度多样性、特征模糊性和数据不平衡问题时仍存在局限。例如，部分方法在提升检测精度的同时，牺牲了推理速度，难以满足工业场景中对实时性的要求。此外，一些方法在处理模糊特征时表现不佳，导致误检率较高。为了解决这些问题，LHMB-Net引入了多层次、多分支的特征提取结构，以及自适应的注意力机制和改进的损失函数，以提升模型的适应性和检测能力。

在具体实现中，HMBFE模块采用了层次化的设计，能够捕捉不同尺度下的缺陷特征。这种结构不仅增强了模型对多尺度信息的处理能力，还提高了特征表示的准确性。PGDA机制则通过多路径决策和自学习加权策略，有效解决了数据不平衡和特征模糊性问题。HMB-head检测头采用渐进结构，减少了模型的计算复杂度，同时提升了检测效率。而BoundaryIoU损失函数则通过引入边界点距离约束，提高了边界定位的准确性，特别是在处理边界模糊和形状不规则的缺陷时表现出色。

LHMB-Net在多个方面进行了创新。首先，其多层次的特征提取结构能够有效应对尺度多样性问题，通过捕捉不同尺度下的特征信息，提高了模型对缺陷的识别能力。其次，PGDA机制通过自学习加权和多路径决策策略，解决了数据不平衡和特征模糊性问题，使得模型在处理样本数量有限的缺陷类型时更具鲁棒性。此外，HMB-head检测头的渐进结构不仅降低了模型的计算复杂度，还提升了检测效率，使得LHMB-Net能够在工业环境中实现高效的实时检测。最后，BoundaryIoU损失函数通过引入边界点距离约束，提高了边界定位的准确性，使得模型在处理边界模糊的缺陷时表现更优。

在实验设计方面，本研究选择了两个具有代表性的金属表面缺陷检测数据集：NEU-DET和GC10-DET。NEU-DET数据集由东北大学收集，包含1800张钢表面缺陷图像，分辨率均为200×200像素。该数据集涵盖了热轧钢表面常见的六种缺陷类型：裂纹、夹杂物、斑点、锈蚀表面、轧入氧化铁皮和划痕。GC10-DET数据集则由其他研究机构提供，同样包含了多种缺陷类型，用于评估模型在不同场景下的表现。通过在这些数据集上的实验，LHMB-Net展示了其在检测精度和计算效率方面的优势，特别是在处理小尺度缺陷时表现尤为突出。

在实际应用中，LHMB-Net的轻量化设计使其能够适应工业环境中的计算资源限制。传统的深度学习模型往往需要较高的计算资源，难以满足实时检测的需求。而LHMB-Net通过优化模型结构，减少了计算复杂度，使得其能够在有限的计算资源下实现高效的检测。此外，LHMB-Net的模块化设计使得其具备良好的可扩展性，可以针对不同的缺陷类型和检测场景进行调整和优化。

在性能评估方面，LHMB-Net在多个关键指标上表现出色。例如，在mAP50指标上，LHMB-Net的检测精度显著优于现有的先进模型，表明其在识别不同缺陷类型方面具有更强的能力。同时，其计算复杂度较低，使得模型能够在工业环境中实现高效的实时检测。此外，热图可视化展示了模型在缺陷区域的精确聚焦能力，以及在非目标区域有效抑制噪声的能力，表明其在复杂工业环境中的应用潜力。

LHMB-Net的泛化能力也是其重要优势之一。在铝表面缺陷数据集（APDDD）和磁砖表面缺陷数据集（MT缺陷数据集）上的实验表明，LHMB-Net能够有效识别不同材料上的缺陷，显示出其在不同应用场景下的适应能力。这种泛化能力使得LHMB-Net不仅适用于钢表面缺陷检测，还可以扩展到其他金属材料的检测任务中，具有广泛的应用前景。

总的来说，LHMB-Net是一种针对金属表面缺陷检测任务的新型算法，其设计充分考虑了工业环境中存在的各种挑战，如尺度多样性、特征模糊性、数据不平衡和计算资源限制。通过引入多层次的特征提取结构、自适应的注意力机制、轻量级的检测头和改进的损失函数，LHMB-Net在检测精度和计算效率之间实现了良好的平衡，显示出其在实际工业应用中的强大潜力。此外，LHMB-Net的模块化设计和泛化能力使其能够适应不同的检测场景和材料类型，为金属表面缺陷检测技术的发展提供了新的方向。