一种用于细粒度结构表面裂纹分割的基于Transformer的轻量化多尺度特征融合网络

《European Journal of Control》：A Lightweight Transformer-Based Multi-Scale Feature Fusion Network for Fine-Grained Structural Surface Crack Segmentation

　　

摘要

工程基础设施如道路和桥梁表面的裂纹通常是细薄的且低对比度的。小规模裂纹在阴影、污渍和高纹理背景下尤其难以检测，这使得精确高效的裂纹分割对于结构状况评估至关重要。为此，我们提出了一种基于Transformer的轻量级多尺度特征融合网络，在编码器-解码器框架内提高分割精度，同时保持紧凑的模型结构和低计算成本。在编码器中，采用深度可分离卷积（DSConv）进行低成本的局部特征提取，并集成移动ViT块（MVB）以增强全局语义建模。在解码器中，采用亚像素卷积（SPC）进行保持细节的上采样和伪影缓解。此外，设计了一个混合注意力块（HAB），用于自适应地重新加权通道和空间特征，从而实现低层细粒度细节与高层语义表征的有效融合，从而在复杂背景下提高裂纹判别能力。在公开的Crack500和DeepCrack数据集上的实验表明，所提方法分别取得了73.5%和88.7%的F1分数，仅包含13.16M参数，优于U-Net、TransUNet和TransMUNet等主流基线方法，并在具有挑战性的背景样本上表现出优越的鲁棒性。

引言

裂纹是土木工程基础设施（包括路面和桥梁构件）表面退化的最常见和最早期指标之一。在不断增加的服务载荷、环境暴露和材料老化的耦合效应下，未加处理的裂纹往往会传播和合并，可能引发更广泛的损坏并加速性能退化。这种进展不仅损害了耐久性和服务安全性，还增加了检查和维修的生命周期成本。因此，早期可靠的裂纹识别——特别是在存在阴影、污渍和高纹理背景的情况下——需要鲁棒的细粒度裂纹分割和定量表征，以支持后续的状况评估和维护决策[1,2]。

在路面裂纹检测任务中，复杂背景和细薄、低对比度裂纹是两大主要挑战[1,3]。特别是在自然环境中拍摄的图片中，光照变化、阴影干扰以及污渍和油污污染等复杂背景显著降低了传统检测方法的性能。此外，裂纹的小尺寸、强纹理干扰和多样化的采集场景进一步增加了准确裂纹分割的难度[1,3]。多尺度特征融合可以有效地整合层次化特征信息，增强网络对微小裂纹的表征能力，并提高复杂背景下的检测鲁棒性。然而，大多数现有的裂纹分割方法仍然存在模型体积大、计算复杂度高以及捕捉细粒度细节能力不足的问题，使其难以在资源受限的场景中高效部署，同时在复杂背景下识别微小裂纹的能力有限。通过轻量级设计和多尺度特征融合实现高分割精度和计算效率仍然是当前裂纹检测研究中的关键挑战[4,5]。

随着深度学习的发展，基于CNN的检测和编码器-解码器分割方法已被广泛应用于裂纹检测任务[[6], [7], [8], [9]]。早期的基于CNN的方法通过直接从图像数据学习视觉特征来提高裂纹识别能力[8]，而U-Net类的编码器-解码器结构提供了有效的像素级分割框架[9]。随后，代表性的裂纹分割模型如DeepCrack [10]、ECSNet [11]和DMA-Net [12]通过层次化特征学习、加速CNN架构、特征金字塔设计和多尺度注意力机制进一步提高了裂纹分割性能。

近期的研究进一步强调了高效和特定任务的裂纹分割。轻量级CNN架构已被探索以在保持裂纹检测质量的同时降低计算成本[4,11,13]。实时高分辨率或多分支网络进一步试图在效率约束下保留细薄裂纹细节[5,14]。此外，卷积-Transformer和边界感知模型已被引入以加强长程上下文表征和裂纹边界恢复[15]。然而，现有的深度分割网络在细粒度裂纹分割方面仍面临两个主要局限性。首先，许多模型依赖于重型骨干网络或密集的解码器结构，导致参数量大且计算复杂度高，这限制了它们在资源受限的检查场景中的部署。其次，低层空间细节与高层语义表征之间的融合对于细薄和低对比度裂纹的优化仍然不足，这可能导致漏检、不连续的裂纹边界或复杂背景下的不准确分割。

为了解决这些问题，本文提出了一种用于细粒度结构表面裂纹分割的轻量级卷积-Transformer网络。所提网络将DSConv、MVB、SPC和HAB集成到编码器-解码器架构中，以实现轻量级多尺度视觉特征提取、细节重建和裂纹分割。具体来说，采用DSConv来减少参数量和计算复杂度，同时保持有效的局部特征提取[4]。引入MVB来增强长程上下文建模并改善对细长裂纹结构的感知[16]。在解码器中使用SPC，通过通道到空间的特征重组在上采样过程中保留细粒度细节。HAB结合通道注意力和空间注意力，自适应地融合低层裂纹细节与高层语义表征，从而在复杂背景下提高细裂纹的判别能力[17]。

为验证所提方法的有效性，在两个公开数据集Crack500 [18]和DeepCrack [10]上进行了全面实验。在Crack500和DeepCrack上的实验结果表明，所提方法在保持紧凑参数规模的同时提高了裂纹分割的精度和鲁棒性，优于几个代表性的基线模型。本文开发了一种用于细粒度结构表面裂纹分割的轻量级卷积-Transformer编码器-解码器框架。在该框架中，DSConv用于低成本的局部纹理提取，MVB用于增强长程上下文建模，SPC用于保留细节的特征重建。此外，HAB被设计用于自适应地融合低层裂纹细节与高层语义表征，从而在复杂背景下提高细薄和低对比度裂纹的判别能力。本工作的主要贡献总结如下：

• 1.
  针对复杂背景下的细粒度裂纹分割，建立了轻量级卷积-Transformer编码器-解码器框架，将局部纹理提取、全局上下文建模和保持细节的重建集成到统一的分割架构中，从而在保持模型紧凑性的同时增强裂纹区域的表征；
• 2.
  为解决低层细节与高层语义融合不足的问题，设计了HAB，通过协调的通道和空间注意力自适应增强与裂纹相关的特征响应并抑制背景纹理干扰；
• 3.
  通过多尺度特征融合机制，促进浅层空间细节与深层语义表征之间的有效交互，改善编码-解码过程中的裂纹连续性保持和边界恢复。

章节摘要

所提出的网络架构

所提出的编码器-解码器架构如图1所示。它由四个层次化的编码器阶段（记为E1-E4）、一个瓶颈层（记为E5）和四个解码器阶段（记为D4-D1）组成。编码器阶段主要采用DSConv和MVB进行轻量级局部纹理提取和全局上下文建模。瓶颈层E5在特征重建之前进一步聚合高层语义表征。解码器逐步恢复空间分辨率。

实施细节和评估指标

所提方法使用PyTorch库[20]作为深度学习框架进行训练和测试，运行在配备两块NVIDIA 2080Ti GPU（每块12GB显存）的服务器上。在训练阶段，每个epoch后比较性能并保存最佳模型，共训练100个epoch。

为评估分割性能，采用了三个常用指标：精确率（Pr）、召回率（Re）和F1分数（F1）。参数量（Params）为...

讨论和结论

本文针对复杂背景下裂纹分割的核心挑战——即裂纹的细薄、低对比度特性以及它们容易与纹理干扰混淆——开发了一种轻量级基于Transformer的多尺度特征融合框架。在公开的Crack500和DeepCrack数据集上的实验证明了所提方法的有效性。仅包含13.16M参数，实现了具有竞争力的分割性能，并表现出改善的...

CRediT作者贡献声明

廖宇：写作 – 审阅与编辑，软件，资源。崔一博：写作 – 初稿，数据整理，概念构思。胡宇航：监督，软件。邓杰：软件，资源，调查。郭力：可视化，验证，监督。李润泽：验证，监督。

廖宇|崔一博|胡宇航|邓杰|郭力|李润泽