一种高精度深度学习混凝土细微裂缝分割网络

《Structures》：A high-precision deep learning concrete thin crack segmentation network

　　

摘要混凝土结构中细裂缝的检测具有挑战性，传统技术常导致漏检和误检。为解决这些问题，提出了一种高精度混凝土细裂缝特征提取网络，为混凝土细裂缝监测提供更精确和直观的检测结果。该网络包含三个阶段：超分辨率重建模型可丰富细裂缝的像素分辨率；裂缝分割模型可准确提取细裂缝；特征量化部分可量化主要裂缝特征。特别是，本研究提出了一种改进的 DeepLabv3+ 图像分割模型，通过一系列优化措施识别图像中的裂缝像素。与其他先进的分割模型相比，它提供了更优越的检测效果和速度。此外，所提出的网络实现了裂缝像素的超分辨率，最终实现了亚毫米级裂缝特征的获取。结果表明，所提出的网络可以高精度地提取细裂缝特征，为混凝土结构健康监测提供了一种新方法和理论支持。

引言混凝土结构是土木工程的基础，需要系统的维护。表面裂缝是混凝土结构常见的损坏形式，也是其安全性的重要指标 [[1], [2], [3]]。然而，传统的裂缝检测依赖人工视觉检查，具有主观性强、耗时和劳动强度大的缺点 [[4], [5], [6], [7], [8]]。为了解决上述问题，基于计算机视觉的裂缝检测方法因其简单、低成本和非接触式感知能力而在结构健康监测中日益普及 [[9], [10], [11]]。早期，图像中的裂缝特征通常通过图像处理技术获取，其中裂缝的像素灰度值通常比背景暗，且形状比其他纹理细 [12]。受这两种现象启发，可以从图像中提取裂缝特征，但处理大量图像时会使其变得繁琐。为了克服这一局限，过去十年中研究人员越来越多地转向深度学习技术，这已成为智能监测的强大工具 [13,14]。最初，裂缝通过卷积神经网络（CNN）识别。例如，Cha 等人 [15] 提出了一种结合 CNN 和滑动窗口技术的分类模型来提取裂缝。Dorafshan 等人 [16] 比较了深度学习和传统边缘检测器在裂缝检测中的有效性，发现 AlexNet 表现更好。Chen 等人 [17] 使用 CNN 和朴素贝叶斯数据融合策略来检测明显裂缝。Modarres [18] 提出了一种混凝土桥梁裂缝识别算法，该算法使用 CNN 对大小和性质不同的裂缝进行分类，同时保持图像比例和位置不变形。Guo 等人 [19] 创建了一种深度宽度网络架构，无需人工特征提取和超参数调整即可对裂缝进行分类，但该方法较为复杂。另一种经典策略是在图像中框出对象并通过边界框确定位置。这些方法主要依赖一些目标检测模型，如 Faster R-CNN [20]、You Only Look Once (YOLO) 系列 [[21], [22], [23], [24], [25], [26], [27], [28], [29], [30], [31]] 等。它们都具有快速识别的优点。Li 等人 [32] 设计了一种基于 Faster R-CNN 的自动隧道表面缺陷识别系统。Deng 等人 [33] 应用 YOLOv2 目标检测器实现了从真实图像中检测裂缝。Wu 等人 [34] 采用改进的 YOLOv4 网络检测混凝土裂缝，利用 EvoNorm-S0 和剪枝技术提高检测速度和精度。此外，通过与 SSD300、YOLOv3 和 YOLOX-L 比较，提出的改进模型在计算速度和精度方面表现出了优越性。Huang 等人 [35] 使用改进的 Faster R-CNN 定位不同类型的混凝土大坝损坏。Li 和 Bao [36] 利用改进的 YOLOv5 和知识蒸馏识别混凝土大坝损坏。Li 等人 [37] 基于 YOLOv8 和无人机检测大坝裂缝。尽管上述研究成功提供了裂缝位置信息，但它们仅在图像层面检测裂缝，而非像素层面，无法提供裂缝的精确轮廓形状 [2,38]。

最近，一些基于深度学习的语义分割技术被提出用于自动获取裂缝特征 [39]。这些方法首先对图像的每个像素进行分类，然后将相同的像素归为一类形成区域 [40]。流行的语义分割模型包括全卷积网络 (FCN) [41]、DeepLab 系列 [[42], [43], [44], [45]] 和 U-net [46]。Long 等人 [41] 设计了用于图像分割的 FCN，极大地推进了裂缝分割。然而，FCN 存在一些问题，如空间位置信息利用率低和边界容易不连续。为了弥补这些不足，Chen 等人 [42] 提出了 DeepLab 模型，该模型在 FCN 末端增加了全连接条件随机场以优化图形边界的分割。随后，创建了 DeepLabv2 [43]、DeepLabv3 [44] 和 DeepLabv3+ [45]，逐渐提高了分割精度。此外，Ronneberger 等人 [46] 提出了基于编码器和解码器的 U-net 模型。编码器主要通过下采样计算图像特征，而解码器利用上采样将图像特征调整到原始图像大小并预测每个像素的类别。

基于深度学习的语义分割技术在土木工程领域的裂缝检测和分割方面展现了令人前景的结果。Zou [47] 等人提出了一种端到端的深度 CNN，名为 DeepCrack，用于学习图像中的高特征以实现自动裂缝检测。Bang [48] 等人整理了一种基于深度 CNN 的编码器 - 解码器道路裂缝分割模型。当使用 ResNet152 配合迁移学习作为解码器的预训练模型时，裂缝分割结果最佳。Dung 和 Anh [49] 使用 FCN 成功检测了循环加载测试视频中的混凝土裂缝。Sun [50] 等人采用增强型 DeepLabv3+ 模型识别道路裂缝，在解码器上添加了注意力模块以生成注意力掩码，并在高层和低级特征图之间动态分配权重。在 ?elik [51] 等人中，给出了一种名为 sigmoid 优化的 CrackNet 的新网络来识别混凝土裂缝。Hu 等人 [52] 通过集成 ECA-Net 模块的 DeepLabv3+ 架构检测并分割高分辨率航拍图像中的裂缝。Gao 等人 [53] 开发了一种基于深度语义信息融合和边缘信息引导的 EU-Net 模型。它可以提高雾天条件下道路裂缝的分割精度。Zhu [54] 等人开发了一种用于自动识别裂缝的轻量级网络。该方法集成了残差块和混合注意力块，并在自建数据集以及其他公共数据集上表现良好。设计带有该网络的移动机器人实时检测路面裂缝。许多深度学习方法已被用于在像素级别分割裂缝，但仍有一些问题未得到解决。例如，大多数模型只能识别图像中的明显裂缝，检测细裂缝的精度仍然不足。在本研究中，细裂缝被定义为宽度小于 0.1 mm 的裂缝 [55]。这种宽度的裂缝通常处于或低于常规成像系统的分辨率极限，使用标准计算机视觉方法极难检测。此外，为了确保安全，采集设备通常必须与结构表面保持一定的工作距离，这可能导致像素分辨率不足而无法解析细裂缝特征。因此，使用分割网络高精度提取细裂缝仍然是一个挑战。

将深度学习技术引入图像超分辨率（SR）研究中，为解决采集过程中像素分辨率不足的限制提供了潜在解决方案。此外，图像 SR 还可以减少图像模糊对图像特征提取的影响。图像 SR 可以将低分辨率（LR）图像重建为高分辨率（HR）图像，更接近实际情况 [56]。典型的 SR 方法包括超分辨率卷积神经网络 [57]、非常深超分辨率 [58]、增强深度超分辨率 [59] 和超分辨率生成对抗网络 (SRGAN) [60] 等。其中，SRGAN 模型被广泛使用，因为重建图像的视觉效果类似于真实图像。因此，有必要在裂缝检测中应用 SR 技术以提高裂缝图像的分辨率。

在本研究中，提出了一种高精度混凝土细裂缝特征提取网络，结合了改进的图像分割模型和 SR 技术。设计了一种改进的 DeepLabv3+ 模型以获取更详细的裂缝信息。具体来说，替换原始骨干网络以降低计算复杂度，优化空洞空间金字塔池化 (ASPP) 模块以扩大感受野范围，融合多低级特征以获取更多信息，并改进损失函数以平衡图像像素。此外，使用 SRGAN 模型单像素可以表示细特征，克服了像素分辨率的限制。所提出的方法经证实可以通过裂缝量化测试自动准确地获取亚毫米级裂缝特征。本文其余部分组织如下。第 2 节概述了所提出的网络。第 3 节提供了验证实验，包括数据准备和网络训练、网络训练、改进的 DeepLabv3+ 模型的结果和分析。第 4 节讨论了所提出网络的量化结果。第 5 节总结了结论和未来工作的建议。

章节片段
方法论
本文提出了一种新颖的混凝土细裂缝检索方法，由改进的 DeepLabv3+ 图像分割模型和图像超分辨率重建技术组成。图 1 展示了所提出的高精度混凝土细裂缝特征提取网络。它基本上由三个阶段组成。第一阶段是超分辨率（SR）裂缝图像重建模型，根据图像生成高分辨率裂缝图像。

实验验证
为了验证所提出的高精度混凝土细裂缝特征提取方法的有效性，本节使用构建的裂缝图像数据集来训练和测试所提出的网络。实验结果可以实现裂缝特征的亚毫米量化。

裂缝图像的超重建和分割结果
在本文中，混凝土细裂缝特征提取网络以原始裂缝图像作为输入。并且经过所提出网络的 SR 阶段后生成了四倍高分辨率重建裂缝图像。基于 SRGAN 模型的 SR 阶段使用 PSNR 指标进行独立评估。它在测试集上达到了 38.4215 dB 的 PSNR，表明高质量的超分辨率重建。这证实了 SRGAN 有效增强了图像分辨率，同时...

结论与未来工作
混凝土结构健康监测一直是土木工程领域的研究热点。裂缝作为最常见的损坏，是主要的监测目标。本文提出了一种高精度混凝土细裂缝特征提取网络，专注于解决细裂缝分割中困难和效果差的问题。首先，改进了 DeepLabv3+ 模型，降低了模型复杂度，提高了边缘...

CRediT 作者贡献声明
Linlin Wang: 写作 – 初稿，验证，项目管理，方法论。Boya Bu: 写作 – 审阅与编辑，数据整理，概念化。Dezhi Zai: 写作 – 审阅与编辑。Liang Meng: 写作 – 审阅与编辑，可视化。Junjie Li: 项目管理，资金获取。

利益冲突声明
作者声明他们没有已知的竞争性财务利益或可能影响本文报告工作的个人关系。

致谢
本研究得到了国家重点研发计划 (2022YFB4703404)、辽宁省教育厅基础研究基金 (JYTQN2023392)、辽宁省自然科学基金 (2024-BSLH-267) 的支持。

Linlin Wang|Boya Bu|Dezhi Zai|Liang Meng|Junjie Li
沈阳建筑大学土木工程学院，沈阳，中国 110168