裂缝是路面和建筑物等结构中常见的缺陷,可能引发严重的安全问题。因此,在边缘控制设备上实现自动检测对于保障生产安全至关重要[1]、[2]、[3]、[4]、[5]。最近的研究还在NVIDIA Jetson[6]、[7]等嵌入式平台以及无人机上部署了轻量级裂缝模型,用于实时检测[8],但由于大多数高精度模型的成本过高,仍然难以在设备端应用。早期的自动检测方法采用传统的图像处理技术来提取裂缝[9]、[10]、[11]、[12]。虽然这些方法易于实现,但在复杂场景下的性能仍有提升空间。
近年来,得益于卷积神经网络(CNN)强大的局部归纳能力,基于CNN的网络如MST-Net[13]和FcaHRNet[14]在结构裂缝分割任务中展现了高效的特征提取能力。CNN的空间不变性使其能够通过学习不同位置上的相似特征来检测图像中的裂缝。在带有标签的图像中,裂缝表现为由白色像素构成的细长结构,而背景则是大面积的黑色区域。这给模型带来了区分细小裂缝与背景的挑战。尽管如此,基于CNN的网络在捕捉裂缝像素之间的长距离依赖关系方面仍存在困难,从而导致分割不连续。最近的一些研究通过方向感知检测[15]、动态蛇形卷积[16]以及拓扑感知框架[17]、[18]等方法,对裂缝的细长、不连续形态进行了建模,表明在局部纹理之外保持裂缝的连续性是实现无缝分割的关键,这也促使我们设计了LDE。
视觉变换器(ViT)[19]和Swin Transformer[20]的成功证明了变换器[21]在处理视觉任务方面的优势,它们具备强大的序列处理能力[22]、[23]。与CNN不同,变换器在处理图像时能够捕捉任意像素之间的依赖关系[24]、[25],因此在处理复杂结构时更具优势。为了充分发挥CNN和变换器的优点,研究人员提出了CATransUNet[26]、MFAFNet[27]和Crackmer[28]等网络,它们通过U形连接或残差连接整合局部信息和长距离信息。
尽管上述结合了CNN和变换器的方法在像素级裂缝分割任务中提升了性能,但它们仍存在一些局限性。不同的信息融合策略会显著影响CNN-Transformer网络的分割效果。例如,UCTNet[29]和CT-crackseg[31]采用通道拼接的方式来融合局部模式和长距离依赖信息。然而,通道拼接只是简单地将特征信息堆叠在一起,缺乏深度的特征交互,无法理解它们之间的关联与互补性,因此在对细微裂缝的分割以及应对背景噪声方面表现不佳。此外,DTrCNet[28]和Crackmer[32]则使用通道注意力来融合信息,虽然可以增强对某些特征的关注,但却忽视了特征图中的空间信息和像素细节,影响了模型的整体性能。如图1(a)所示,由于这些缺陷,这四种方法都无法达到最佳性能。另外,像PP-LiteSeg[34]和BiSeNetV2[35]这样的超轻量级分割网络虽然通过简化的编码器和浅层解码器实现了高效率,但它们是为通用场景设计的,缺乏针对裂缝稀疏、细长且形状不规则特点的建模,因此在对细微裂缝的分割精度上存在不足。
大多数网络为了追求高性能,往往忽视了大量卷积操作所带来的高昂参数和计算成本,这使得它们很难在资源有限的控制设备上部署。如图1(b)和图1(c)所示,SFIAN[30]、Crackmer[32]和CT-crackseg[31]等网络的计算量巨大,参数数量众多,这意味着它们难以在智能手机和无人机等资源有限的设备上实现,大大降低了其实用性。为了解决这一问题,最近的研究从多个互补方向探索高效的裂缝分割方法,包括移动骨干网络融合技术[36]、[37]、从复杂模型向小型模型进行知识蒸馏的技术[38]、可解释的图像处理流程[39],以及同时执行分割、宽度估计和传播建模的多任务框架[40]。
现有的轻量级方法通常只对骨干网络进行压缩[31]、[41]、[42],而保留成本较高的融合和注意力模块,因此它们很难同时实现真正的轻量化以及针对裂缝的精准建模。例如,Crackmer[32]和EfficientCrackNet[43]这类轻量级方法主要对卷积骨干网络进行压缩,但仍保留了成本较高的融合或注意力阶段,且缺乏针对裂缝稀疏、不规则形态的专门建模。而CrackSCF则将低秩原理同时应用于骨干网络、注意力线性层以及融合模块,并根据裂缝的特点对各个部分进行优化。
为解决这些问题,本文没有直接采用低秩近似、可变形注意力以及基于注意力的融合等现成模块,而是围绕裂缝的稀疏、细长且形状不规则的特性重新设计了这些组件,并将低秩原理一致地应用于每一个成本较高的模块,从而构建了一个阶梯式级联融合网络,该网络能够在降低计算成本的同时生成准确的分割结果,并有效抑制背景噪声。
具体而言,为了减少参数数量并降低计算负担,本文引入了一种名为LRDS的轻量级卷积块。该模块利用低秩近似原理,有效减少了卷积层所需的计算资源,同时通过深度卷积在低秩空间中高效捕捉空间结构,从而保持强大的特征感知能力。所提出的架构还包括一个轻量级长距离依赖提取器(LDE),它采用轻量级的可变形注意力机制,以极低的计算成本有效捕捉裂缝像素之间不规则的长距离依赖关系。此外,为了更好地利用特征图之间的互补性与关联性,同时确保不会遗漏关键细节信息,本文还加入了阶梯式级联融合模块(SCFM)。该模块逐层生成特征图,然后通过像素注意力机制以及通道拼接机制将它们有效地融合在一起,从而全面结合局部纹理信息与像素依赖关系。
为了全面评估该模型在各种复杂环境中的结构裂缝分割性能,本文还收集了一个名为TUT的数据集,其中包含1408张RGB格式的图像。现有的公共数据集如DeepCrack[41]和Crack500[44]仅包含1-2种类型的场景,且裂缝形状相对简单,不足以全面测试该网络的性能。TUT数据集涵盖了更广泛的真实结构裂缝图像场景,包括塑料跑道、砖块、瓷砖、水泥、沥青、发电机叶片、金属材料以及地下管道等。由于包含了如此多样化的图像场景,该数据集能够有效评估网络的泛化能力和鲁棒性。此外,这些图像还存在遮挡现象、极其复杂的背景以及不均匀的照明条件,进一步增加了数据集的多样性。