TSFANet：用于路面裂缝分割的两阶段特征聚合网络

《Construction and Building Materials》：TSFANet: Two-Stage Feature Aggregation Network for pavement crack segmentation

　　**摘要**准确且自动化的裂缝分割对于评估材料退化以及实现路面基础设施的结构健康监测至关重要。然而，由于低对比度条件、细薄且多尺度的裂缝形态以及结构不连续性，可靠检测在实践中仍然具有挑战性。为解决这些挑战，本文提出了TSFANet，一个采用并行双骨干架构的两阶段特征聚合网络，将局部细节提取与全局结构依赖建模分离开来。在第一阶段，我们提出了一个隐式-显式特征交互（IEFI）模块，用于融合骨干网络之间的互补信息，并引入了一个语义门控重校准（SGR）模块，利用高层语义线索引导低层裂缝特征学习。在第二阶段，我们设计了一个跨层级注意力交互（CAI）模块，通过共享的空间和频率引导注意力来细化多尺度特征，随后是一个分层细化（HR）模块，逐步恢复纤细且碎片化的裂缝结构。在多个基准数据集上的大量实验表明，TSFANet达到了最先进的分割精度，跨域评估确认了其在不同路面材料和条件下的鲁棒泛化能力，凸显了其在实际路面状况评估方面的巨大潜力。代码可在 https://github.com/hpguo1982/TSFANet 获取。**引言**路面裂缝是最常见的路面病害形式之一，直接影响道路通行能力、交通安全和基础设施的长期耐久性。传统上，裂缝检测依赖于人工现场调查，这种方式费时费力、主观性强且经济效益低下。近期智能维护方面的进展，如无人机辅助巡检和可迁移监测框架[1]，受到越来越多的关注以应对这些局限性。这一趋势迫切要求裂缝分割模型不仅能够及时且精确，还能在不同路面材料和复杂环境条件下保持鲁棒性[2]、[3]。深度学习，特别是卷积神经网络（CNNs），已显著推动了路面裂缝分割的发展[4]、[5]。此类架构，包括利用深度可分离卷积和空洞卷积[6]或选择性特征融合模块[7]的模型，擅长提取局部纹理并构建层次化特征。然而，其固有的局部感受野限制了对长程依赖关系的建模，而这对分割延伸且断裂的裂缝结构至关重要。基于Transformer的架构通过自注意力建模全局上下文来解决这一局限性。代表性设计包括提高计算效率的分层Transformer[8]以及结合局部细节与全局推理的CNN-Transformer混合框架[9]。然而，自注意力相对于输入分辨率的二次复杂度限制了其在高分辨率路面裂缝分割任务中的实用性。尽管有这些进展，在实际场景中精确勾划路面裂缝仍然具有挑战性。如图1所示，现有方法在三种具有代表性的挑战场景中仍面临困难。对于低对比度裂缝（第一行），RIND [10]产生微弱且不准确响应，而CTCrackSeg [11]遗漏了几个裂缝区域。Crackmer [12]也难以在不连续裂缝区域保持结构连续性。对于细薄且不连续的裂缝（第二行和第三行），RIND倾向于生成不均匀的裂缝宽度，而CTCrackSeg和Crackmer均无法有效恢复碎片化的裂缝结构。为解决这些问题，我们提出了TSFANet，一个用于路面裂缝分割的两阶段特征聚合网络。TSFANet采用并行双骨干架构，结合RWKV [13]进行长程依赖建模和ResNet [14]进行细粒度局部特征提取，提供了单一骨干网络难以实现的互补表示。在第一聚合阶段，我们引入了一个隐式-显式特征交互（IEFI）模块，通过双分支设计融合互补特征，以及一个语义门控重校准（SGR）模块，利用高层语义引导低层特征学习。在第二阶段，我们设计了一个跨层级注意力交互（CAI）模块，通过共享的空间和频率引导注意力细化多尺度特征，随后是一个分层细化（HR）模块，通过双向细化逐步恢复纤细且碎片化的裂缝结构。总之，本文的主要贡献如下：- 我们提出了TSFANet，一个具有并行双骨干架构的两阶段特征聚合网络，能够联合捕捉长程上下文依赖和细粒度结构细节用于裂缝分割。- 我们设计了第一聚合阶段，包含两个模块：IEFI通过双分支交互融合互补骨干特征，SGR通过细化高层语义来引导低层特征学习。- 我们开发了第二聚合阶段，其中CAI首先利用共享的空间和频率引导注意力来细化多尺度特征，随后HR通过双向细化逐步恢复纤细且碎片化的裂缝结构。- 在多个基准数据集上的大量实验和跨域评估表明，TSFANet优于最先进的方法，同时保持了强大的鲁棒性和跨域泛化能力。本文其余部分组织如下：第2节综述相关工作；第3节详细介绍我们的TSFANet，包括IEFI、SGR、CAI和HR；第4节展示实验结果；第5节总结全文。**分节摘要****路面裂缝分割**准确的裂缝检测是评估路面基础设施材料退化和结构完整性的基础。早期方法依赖于手工特征，如阈值处理、边缘检测和纹理分析。虽然计算效率较高，但这些方法对光照变化、表面磨损和背景噪声非常敏感，限制了其在定量材料状况评估中的可靠性。采用深度学习，特别是卷积……**整体架构**我们提出了TSFANet，一个用于路面裂缝分割的双骨干框架，如图2所示。裂缝分割本质上需要两种互补的特征表示类型：(i)局部空间精确性以勾划细薄边缘和细微纹理；(ii)全局上下文感知以连接碎片化裂缝并抑制路面纹理产生的噪声。虽然许多模型擅长提取局部特征（例如CNNs）或全局依赖（例如Transformer、状态空间……**数据集**为验证TSFANet的有效性，我们在三个公开可用的路面裂缝分割数据集上进行了实验：Crack500 [48]、CrackMap [49]和GAPS384 [50]，这些数据集共同涵盖了广泛的裂缝类型、路面表面和成像条件。Crack500包含500张沥青路面裂缝图像，拍摄于多种环境和表面条件下，具有复杂纹理和多样的裂缝形态。经过数据增强后，数据集扩展至3368张……**结论**在这项工作中，我们提出了TSFANet，一个具有并行双骨干架构的用于路面裂缝分割的两阶段特征聚合框架。在第一阶段，我们引入了IEFI，一个双分支交互模块，通过隐式和显式特征融合将局部裂缝细节与长程上下文表示相结合。我们进一步设计了SGR，通过隐式和显式通道注意力细化高层语义表示，引导低层裂缝……**CRediT作者贡献声明****孙杨阁：** 撰写——初稿，可视化，验证。**魏梦茹：** 软件，方法论，调查研究。**张莉：** 撰写——审阅与编辑。**郭华平：** 撰写——审阅与编辑，方法论，概念构思。**袁继东：** 撰写——审阅与编辑，监督指导。**张文生：** 监督指导，概念构思。**唐永强：** 撰写——审阅与编辑，监督指导。**生成式AI使用声明**在本工作准备期间，作者使用DeepSeek来改善论文的语言流畅性、语法和整体结构组织。使用该工具后，作者根据需要审阅和编辑了内容，并对已发表文章的内容承担全部责任。**利益冲突声明**作者声明不存在可能影响本文所述工作的已知竞争性经济利益或个人关系。孙杨阁|魏梦茹|张莉|郭华平|袁继东|张文生|唐永强信阳师范学院 计算机与信息技术学院，河南信阳 464000，中国