一种超轻量级框架，结合注意力机制用于裂纹分割。该框架采用OTSU预分割技术，并结合离线自蒸馏（offline self-distillation）方法进行模型优化

《ADVANCED ENGINEERING INFORMATICS》：Ultra lightweight framework with attention mechanism for crack segmentation using OTSU pre-segmentation and offline self-distillation

　　董一川|姜健|李胜远|陈伟|叶继红
中国矿业技术大学，徐州 221116，中国

**摘要**
裂纹分割对于道路和结构维护至关重要。然而，许多现有的分割算法在实际工程应用中需要部署优化（剪枝或量化），这通常会降低精度，并增加对背景纹理和噪声的敏感性。为了解决这些问题，提出了一种极其轻量级的架构EUCAN，并补充了几种轻量级辅助策略，包括基于OTSU的辅助输入、用于边界引导的固定Sobel核以及离线自蒸馏。设计并集成了一种双轴坐标注意力模块到下采样和特征融合模块中，以实现裂纹形态特征的精确提取。构建了一个高效的级联特征提取模块和一个边缘感知分类器，以增强多方向边缘信息的整合。所提出的模型仅包含0.82 M参数，在使用预计算OTSU图的GPU上进行推理时，可以达到2.29 GFLOPs和176.67 FPS的吞吐量，峰值内存为21.76 M。此外，在纯CPU笔记本电脑上，无需任何部署优化即可达到11.51 FPS的吞吐量，满足现场实时处理的要求，并在各种数据集中表现出与轻量级模型相当的精度。所提出方法的先进性已在四个公开可用的数据集上得到验证，在DeepCrack、Crack500、Crack3K和Concrete数据集上分别实现了86.30%、77.08%、82.12%和83.26%的平均交并比（IoU）。在真实世界图像和公开数据集上的结果表明，该方法具有出色的泛化能力和对抗不利因素（包括噪声、模糊和复杂纹理）的鲁棒性，表明其具有很强的工程应用潜力。该方法在分割精度、推理速度和计算成本之间实现了更好的平衡。

**引言**
裂纹是土木工程中常见的结构损伤形式，常见于桥梁、隧道、建筑墙壁、路面和工业设施中。它们的发展受到材料缺陷、持续载荷、环境侵蚀和热效应的影响，导致随机且隐蔽的威胁[1]。除了降低结构美观度外，裂纹还会使水分、氯化物和其他腐蚀性物质进入，加速钢筋腐蚀和混凝土剥落。这种恶化会损害结构完整性，增加灾难性故障的风险，威胁公共安全。因此，高效的裂纹检测对于确保基础设施安全和延长使用寿命至关重要。尽管其重要性不言而喻，但由于成本和可行性限制，实际中的裂纹检测主要依赖于人工视觉检查[2]。然而，这种方法效率低下、主观性强且不一致，不适合现代工程中的系统化和智能化维护。

为了解决这些挑战，需要自动裂纹识别算法来在各种条件下准确识别结构损伤。高精度分割尤为重要。语义分割是一种突出的计算机视觉技术，通过在每个像素上分配语义标签来对图像进行分类，从而增强场景理解。早期的语义分割方法利用了连通性域分析、形态学处理、灰度阈值处理和基于裂纹特征先验的断点连接算法[3]。尽管传统的图像处理技术在有限的环境中显示出潜力，但它们通常缺乏适应性和鲁棒性，限制了其实际应用。

基于深度学习的语义分割的最新进展显著提高了自动裂纹检测的能力。改进的卷积神经网络（CNN）架构，如全卷积网络（FCN）[4]和UNet [5]，在图像分割任务中取得了显著的成功，提高了检测精度和效率。裂纹检测研究通过数据增强、训练方法、网络设计和鲁棒性改进等方面取得了进展。然而，现有方法在复杂环境中往往表现不佳。大多数模型针对特定类型的裂纹（如路面或混凝土）进行了优化，其泛化能力尚未得到充分验证。例如，道路裂纹通常呈现网状图案和复杂的纹理，而混凝土裂纹则具有细长不规则的形状。这种形态多样性阻碍了模型的泛化和实际应用。此外，外部因素如阴影、光照变化和污渍会降低模型性能，导致漏检或误检。类别不平衡进一步加剧了模型偏差和检测错误。为了克服CNN模型的局限性，最近的研究探索了基于Transformer的裂纹分割架构[6]、[7]、[8]。像Vision-Transformer和SWIN-Transformer这样的模型展示了有希望的结果，但需要大量的计算资源和大规模数据集。结合CNN和Transformer的混合方法旨在平衡局部特征提取和全局上下文建模[9]、[10]，但仍存在训练不稳定和类别不平衡等挑战。

开发轻量级裂纹分割模型仍然是一个重大挑战。许多当前的方法通过增加模型深度和参数来提高精度，这需要大量的计算和存储资源，限制了在无人机和巡逻机器人等边缘设备上的部署，并限制了实时检测。虽然许多轻量级模型[11]、[12]在GPU上表现出高推理速度，但它们在CPU上的性能通常不足以满足实际实时处理的需求。它们通常需要进一步优化（如量化或剪枝）才能部署，这可能会影响精度或需要额外的训练工作[13]。现有的轻量级模型主要关注架构设计，而没有利用来自传统图像处理的领域特定知识，而这对于克服表示限制至关重要。因此，开发平衡效率、精度和泛化的轻量级架构对于降低检测成本和改进工程检测应用至关重要。

为了解决这些问题，提出了边缘引导的超轻量级坐标注意力网络（EUCAN），作为一种专门为GPU和纯CPU上的零部署实时推理设计的极其轻量级的裂纹分割模型，同时保持最小的峰值内存使用。在架构上，EUCAN通过改进的双轴坐标注意力（BCA）机制、高效的下采样和融合模块以及边缘感知分类器（EAC）来实现方向感知表示学习，以保持轻量级的边缘感知解码。在系统层面，引入了基于OTSU的二值图作为辅助的第四通道，在极端容量限制下提供廉价的几何线索，同时集成了固定的多方向Sobel边缘核作为边缘感知分类器的低成本边界先验。此外，采用了一种同构的离线自蒸馏方案，结合了冻结的教师网络和延迟蒸馏作为补充训练策略。这些策略并非作为独立的架构创新，而是为了在保持轻量级部署所需效率的同时提高分割性能。本研究的概述见图1，主要贡献总结如下：
- 一种超轻量级的裂纹分割架构（0.82 M参数），其中BCA被集成到下采样和特征融合阶段，而级联特征提取器和边缘感知分类器增强了方向感知的裂纹表示；
- 一种轻量级的系统级线索集成策略，结合了基于OTSU的第四通道和固定的多方向Sobel边缘线索，在极端容量限制下提供廉价的几何和边界先验；
- 一种同构的离线自蒸馏策略，其中冻结的教师网络和延迟蒸馏提高了分割性能，而不会引入额外的推理时间参数或计算成本。

**基于图像处理的裂纹分割方法**
早期的损伤识别语义分割方法主要依赖于形态学特征和先验知识，使用传统的数字图像处理技术。这些方法需要针对图像的独特特征定制特定算法。例如，基于阈值的方法可以有效地分割具有明显灰度边界的图像，包括全局阈值方法（OTSU）[14]、局部阈值方法（LBP）[15]和自适应方法。

**提出的方法**
FastSCNN架构因其计算效率和高性能而受到认可，这是通过集成多路径连接、长跳连接和编解码器结构实现的。受此概念的启发，提出了一种极其轻量级的网络架构，结合了多路径连接、长跳连接和编解码器结构。该架构包括五个核心模块：高效的双轴坐标注意力机制（BCA，图5）、BCA-分层下采样模块等。

**数据集**
为了评估所提出的轻量级模型和自蒸馏方法的泛化能力和实际应用性，在四个广泛采用的公共数据集上进行了裂纹分割实验：DeepCrack、Crack500、Crack3K（子集No. 7）和Concrete。这些数据集涵盖了各种真实世界场景，包括道路、混凝土和结构裂纹以及水泄漏损伤。由于DeepCrack和Crack500数据集没有预定义的验证集，因此使用了其他数据集进行测试。

**训练进展和模型效率**
根据第4.2节中概述的训练策略，该模型在四个目标数据集上进行了训练。图11展示了训练损失和mIoU值的变化。总训练损失包括硬标签损失（称为“训练损失”，公式（12）和软标签损失（称为“蒸馏损失”，公式（8））。训练曲线显示所有模型都实现了稳定的收敛，训练损失和验证损失持续下降。

**结论**
本研究提出了一种高效的裂纹分割框架EUCAN，适用于在严格资源预算下的实际实时推理。在架构方面，EUCAN侧重于基于BCA的注意力、高效特征提取和轻量级解码的方向感知超轻量级表示机制。此外，它还通过基于OTSU的辅助通道、基于固定Sobel的边界线索以及同构的输入级几何先验进行了补充。

**作者贡献声明**
董一川：撰写——审阅与编辑、撰写——原始草稿、可视化、验证、软件、方法论、调查、形式分析、数据整理、概念化。
姜健：监督、资源管理、项目管理、资金获取、概念化。
李胜远：监督、资源管理、项目管理、数据整理、概念化。
陈伟：监督、资源管理、项目管理、概念化。
叶继红：监督、资源管理、项目管理、概念化。

**利益冲突声明**
作者声明他们没有已知的竞争财务利益或个人关系可能影响本文所述的工作。

**致谢**
本文的工作主要得到了中国国家重点研发计划（项目编号2024YFC3016902和2024YFC3016901）、国家自然科学基金（项目编号52478571和52127814）以及国家消防救援管理局（项目编号2023XFCX18）的支持。