基于轻量级局部模式识别与长距离依赖关系的阶梯式融合方法,用于结构裂缝分割

《Engineering Structures》:Staircase Cascaded Fusion of lightweight local pattern recognition and long-range dependencies for structural crack segmentation

【字体: 大 中 小 】 时间:2026年08月11日 来源:Engineering Structures 7.6

编辑推荐:

  摘要在像素级别准确分割结构裂缝仍是一个重大难题,因为现有方法无法将局部纹理与像素依赖性相结合,往往导致预测结果碎片化且不完整。此外,这些方法参数众多且计算量大,难以在资源有限的边缘设备上应用。为解决这些问题,我们提出了CrackSCF,这是一种轻量级级联融合裂缝分割网络,仅需47

  

摘要

在像素级别准确分割结构裂缝仍是一个重大难题,因为现有方法无法将局部纹理与像素依赖性相结合,往往导致预测结果碎片化且不完整。此外,这些方法参数众多且计算量大,难以在资源有限的边缘设备上应用。为解决这些问题,我们提出了CrackSCF,这是一种轻量级级联融合裂缝分割网络,仅需479万参数和9.26亿次浮点运算就能实现出色的分割精度。我们设计了一种轻量级卷积块(LRDS)来替代所有标准卷积操作。这种方法能够在最小化计算成本的同时有效捕捉局部模式。为全面感知裂缝结构,我们还设计了轻量级长距离依赖提取器(LDE)来捕捉全局依赖关系。通过阶梯式级联融合模块(SCFM),将这些全局依赖与局部模式结合起来,从而确保最终的分割结果既连贯无缝,又具备精细的细节。为了全面评估我们的方法,本文创建了具有挑战性的TUT基准数据集,并将其与其他五个公共数据集进行了对比测试。实验结果表明,CrackSCF方法始终优于现有方法,且在处理复杂背景噪声时更具鲁棒性。在TUT数据集上,CrackSCF的F1分数为0.8382,mIoU值为0.8473,而且仅需要479万参数。

引言

裂缝是路面和建筑物等结构中常见的缺陷,可能引发严重的安全问题。因此,在边缘控制设备上实现自动检测对于保障生产安全至关重要[1]、[2]、[3]、[4]、[5]。最近的研究还在NVIDIA Jetson[6]、[7]等嵌入式平台以及无人机上部署了轻量级裂缝模型,用于实时检测[8],但由于大多数高精度模型的成本过高,仍然难以在设备端应用。早期的自动检测方法采用传统的图像处理技术来提取裂缝[9]、[10]、[11]、[12]。虽然这些方法易于实现,但在复杂场景下的性能仍有提升空间。
近年来,得益于卷积神经网络(CNN)强大的局部归纳能力,基于CNN的网络如MST-Net[13]和FcaHRNet[14]在结构裂缝分割任务中展现了高效的特征提取能力。CNN的空间不变性使其能够通过学习不同位置上的相似特征来检测图像中的裂缝。在带有标签的图像中,裂缝表现为由白色像素构成的细长结构,而背景则是大面积的黑色区域。这给模型带来了区分细小裂缝与背景的挑战。尽管如此,基于CNN的网络在捕捉裂缝像素之间的长距离依赖关系方面仍存在困难,从而导致分割不连续。最近的一些研究通过方向感知检测[15]、动态蛇形卷积[16]以及拓扑感知框架[17]、[18]等方法,对裂缝的细长、不连续形态进行了建模,表明在局部纹理之外保持裂缝的连续性是实现无缝分割的关键,这也促使我们设计了LDE。
视觉变换器(ViT)[19]和Swin Transformer[20]的成功证明了变换器[21]在处理视觉任务方面的优势,它们具备强大的序列处理能力[22]、[23]。与CNN不同,变换器在处理图像时能够捕捉任意像素之间的依赖关系[24]、[25],因此在处理复杂结构时更具优势。为了充分发挥CNN和变换器的优点,研究人员提出了CATransUNet[26]、MFAFNet[27]和Crackmer[28]等网络,它们通过U形连接或残差连接整合局部信息和长距离信息。
尽管上述结合了CNN和变换器的方法在像素级裂缝分割任务中提升了性能,但它们仍存在一些局限性。不同的信息融合策略会显著影响CNN-Transformer网络的分割效果。例如,UCTNet[29]和CT-crackseg[31]采用通道拼接的方式来融合局部模式和长距离依赖信息。然而,通道拼接只是简单地将特征信息堆叠在一起,缺乏深度的特征交互,无法理解它们之间的关联与互补性,因此在对细微裂缝的分割以及应对背景噪声方面表现不佳。此外,DTrCNet[28]和Crackmer[32]则使用通道注意力来融合信息,虽然可以增强对某些特征的关注,但却忽视了特征图中的空间信息和像素细节,影响了模型的整体性能。如图1(a)所示,由于这些缺陷,这四种方法都无法达到最佳性能。另外,像PP-LiteSeg[34]和BiSeNetV2[35]这样的超轻量级分割网络虽然通过简化的编码器和浅层解码器实现了高效率,但它们是为通用场景设计的,缺乏针对裂缝稀疏、细长且形状不规则特点的建模,因此在对细微裂缝的分割精度上存在不足。
大多数网络为了追求高性能,往往忽视了大量卷积操作所带来的高昂参数和计算成本,这使得它们很难在资源有限的控制设备上部署。如图1(b)和图1(c)所示,SFIAN[30]、Crackmer[32]和CT-crackseg[31]等网络的计算量巨大,参数数量众多,这意味着它们难以在智能手机和无人机等资源有限的设备上实现,大大降低了其实用性。为了解决这一问题,最近的研究从多个互补方向探索高效的裂缝分割方法,包括移动骨干网络融合技术[36]、[37]、从复杂模型向小型模型进行知识蒸馏的技术[38]、可解释的图像处理流程[39],以及同时执行分割、宽度估计和传播建模的多任务框架[40]。
现有的轻量级方法通常只对骨干网络进行压缩[31]、[41]、[42],而保留成本较高的融合和注意力模块,因此它们很难同时实现真正的轻量化以及针对裂缝的精准建模。例如,Crackmer[32]和EfficientCrackNet[43]这类轻量级方法主要对卷积骨干网络进行压缩,但仍保留了成本较高的融合或注意力阶段,且缺乏针对裂缝稀疏、不规则形态的专门建模。而CrackSCF则将低秩原理同时应用于骨干网络、注意力线性层以及融合模块,并根据裂缝的特点对各个部分进行优化。
为解决这些问题,本文没有直接采用低秩近似、可变形注意力以及基于注意力的融合等现成模块,而是围绕裂缝的稀疏、细长且形状不规则的特性重新设计了这些组件,并将低秩原理一致地应用于每一个成本较高的模块,从而构建了一个阶梯式级联融合网络,该网络能够在降低计算成本的同时生成准确的分割结果,并有效抑制背景噪声。
具体而言,为了减少参数数量并降低计算负担,本文引入了一种名为LRDS的轻量级卷积块。该模块利用低秩近似原理,有效减少了卷积层所需的计算资源,同时通过深度卷积在低秩空间中高效捕捉空间结构,从而保持强大的特征感知能力。所提出的架构还包括一个轻量级长距离依赖提取器(LDE),它采用轻量级的可变形注意力机制,以极低的计算成本有效捕捉裂缝像素之间不规则的长距离依赖关系。此外,为了更好地利用特征图之间的互补性与关联性,同时确保不会遗漏关键细节信息,本文还加入了阶梯式级联融合模块(SCFM)。该模块逐层生成特征图,然后通过像素注意力机制以及通道拼接机制将它们有效地融合在一起,从而全面结合局部纹理信息与像素依赖关系。
为了全面评估该模型在各种复杂环境中的结构裂缝分割性能,本文还收集了一个名为TUT的数据集,其中包含1408张RGB格式的图像。现有的公共数据集如DeepCrack[41]和Crack500[44]仅包含1-2种类型的场景,且裂缝形状相对简单,不足以全面测试该网络的性能。TUT数据集涵盖了更广泛的真实结构裂缝图像场景,包括塑料跑道、砖块、瓷砖、水泥、沥青、发电机叶片、金属材料以及地下管道等。由于包含了如此多样化的图像场景,该数据集能够有效评估网络的泛化能力和鲁棒性。此外,这些图像还存在遮挡现象、极其复杂的背景以及不均匀的照明条件,进一步增加了数据集的多样性。

章节节选

网络架构

如图2所示,CrackSCF网络由三个主要组成部分构成:轻量级多尺度特征提取器(MFE)、轻量级长距离依赖提取器(LDE)以及阶梯式级联融合模块(SCFM)。该网络的整体架构呈阶梯状,不同尺度的特征图会逐步融合并上采样。在这个过程中,CNN和变换器在特征提取方面的优势相互互补。
具体来说,对于给定的数据集,

数据集描述

以往的研究所使用的数据集场景相对简单,仅包含水泥或沥青路面上的裂缝。这类数据集的背景清晰,干扰因素较少,无法全面评估模型的性能。为了解决这个问题,本文创建了TUT数据集,以便在不同场景下实现更好的裂缝分割效果。相关详细信息以及与其他数据集的对比结果见表1。
TUT数据集包含1270张通过

结论

本文提出了一种用于像素级裂缝检测的阶梯式级联融合裂缝分割网络(CrackSCF)。在CrackSCF中,我们引入了轻量级卷积块LRDS来构建MFE。与标准卷积相比,该模块可使计算量减少89.70%,参数数量减少73.19%,同时还能高效捕捉裂缝图像的局部细节。此外,我们还提出了LDE,用以更高效地感知不规则的长距离

CRediT作者贡献说明

刘辉:论文撰写——初稿编写、软件开发、方法设计、数据整理。贾晨:指导工作、软件提供、资源协调、形式化分析。施帆:指导工作、资源协调、形式化分析。徐成:形式化分析、数据整理、概念设计。王绵照:可视化处理、结果验证、形式化分析。陈胜勇:研究调查、资金筹集、形式化分析。吕阳:研究调查、形式化分析、概念设计。

利益冲突声明

作者声明不存在任何可能影响本文研究成果的已知财务利益或个人关系。

致谢

本研究得到了天津市自然科学基金的支持,项目编号为23JCJQJC00070;同时得到了国家自然科学基金委员会(NSFC)的支持,项目编号为62272342、T2422015和62306212;此外还获得了京津冀自然科学基金合作项目的资助,项目编号为25JJJJC0009。
Hui Liu|Chen Jia|Fan Shi|Xu Cheng|Mianzhao Wang|Shengyong Chen|Yang Lv
中国天津,300384,教育部学习型智能系统工程研究中心
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号