《ADVANCED ENGINEERING INFORMATICS》：Vehicular road crack detection with deep learning: An online benchmark for comprehensive evaluation of existing algorithms
编辑推荐：
摘要在城市数字孪生（UDT）这一新兴领域，配备自动道路裂缝检测系统的智能道路检测（IRI）车辆对于维护民用基础设施至关重要。过去十年中，基于深度学习的道路裂缝检测方法不断被开发，旨在更高效、准确、客观地检测裂缝，以取代人工目视检查。然而，针对该任务的最前沿（SoTA）深度学习
摘要 在城市数字孪生（UDT）这一新兴领域，配备自动道路裂缝检测系统的智能道路检测（IRI）车辆对于维护民用基础设施至关重要。过去十年中，基于深度学习的道路裂缝检测方法不断被开发，旨在更高效、准确、客观地检测裂缝，以取代人工目视检查。然而，针对该任务的最前沿（SoTA）深度学习技术的全面比较分析仍然有限，尤其是数据融合和标签高效算法方面。本文全面回顾了用于道路裂缝检测的最前沿基于深度学习的算法，包括（1）监督式、（2）无监督式、（3）半监督式和（4）弱监督式方法。此外，我们建立了UDTIRI-Crack，一个经过精心整理和标准化的基准测试套件，包含来自七个公开标注数据集的2500张图像，并开发了一个在线基准测试平台，以提供标准化、可复现且可扩展的算法评估。我们进行了全面实验，以比较公开的最前沿基于深度学习算法在道路裂缝检测方面的检测性能、计算效率和泛化能力。本文进一步探讨了基础模型和视觉-语言基础模型在道路裂缝检测中的可行性。最后，讨论了基于深度学习的道路裂缝检测算法面临的现有挑战和未来发展趋势。我们相信，本综述连同已发布的数据集和平台，可以为开发配备下一代道路状况评估系统的智能道路检测车辆提供实用指导。基准测试UDTIRI-Crack可在
https://udtiri.com/submission/ 获取。
引言 裂缝是出现在道路和桥梁等固体材料上的狭窄表面裂纹[1]。道路裂缝是由环境和交通荷载共同作用造成的[2]，例如土壤膨胀、地基沉降、交通拥堵以及材料的热胀冷缩。道路裂缝会削弱基础设施的可靠性，并对驾驶安全构成严重威胁[3]。例如，根据英国交通部[4]的数据，2020年英国12.6%的道路交通事故是由路面状况不佳造成的。频繁的道路检查对于防止结构退化和相关事故至关重要[5]、[6]。此外，随着自动驾驶的日益普及，确保路面健康对于自动驾驶车辆的安全运行至关重要。
目前，人工目视检查仍然占主导地位[7]，但其耗时、成本高昂且存在危险[8]。在中国和美国等国家，超过10万公里的公路需要定期检测和维护，导致高昂的劳动力成本。此外，检测结果具有主观性，取决于个人判断[9]。鉴于这些问题，开发配备自动路面状况监测算法的智能道路检测车辆的需求日益增长[10]。如图1所示，此类车辆有潜力以高精度和客观性处理道路数据并检测道路裂缝，有助于降低劳动力成本，并通过在线分析进一步提高道路维护效率。因此，需要一篇反映自动道路裂缝检测算法最新研究趋势的综述。
传统的基于计算机视觉的道路裂缝检测方法利用图像处理技术，如边缘检测[11]和阈值分割[12]。这些方法仅在简单场景中表现良好，但在光照变化或道路裂缝模式不规则的情况下则无法有效工作。
幸运的是，深度学习的最新进展使得卷积神经网络（CNNs）和基于Transformer的模型在自动道路裂缝检测中得到广泛应用。与传统方法中显式参数和手工特征不同，这些模型利用标注的道路数据通过反向传播学习隐式参数。它们可分为三类：（1）图像分类网络，用于区分有裂缝和无裂缝的图像[13]、[14]；（2）目标检测网络，用于在实例级别（位置和类别）识别裂缝[15]、[16]；以及（3）语义分割网络，用于执行逐像素的裂缝检测，已成为首选方法[17]、[18]、[19]、[20]、[21]、[22]、[23]。尽管语义分割算法在准确检测裂缝方面展现出巨大潜力，但训练此类算法需要大量人工标注数据集，且标注过程需要精细细致，耗费大量人力和时间成本。为降低标注成本，标签高效的基于深度学习的方法已被开发出来，可分为无监督[24]、半监督[25]和弱监督[26]方法。此外，近年来深度图也被用于[27]、[28]，可以提供互补图像数据的三维信息，通过数据融合增强检测性能。然而，获取此类数据需要昂贵的专用设备，且有效融合多模态信息仍是算法开发中的一个挑战。
本文旨在全面探讨现有的基于深度学习的道路裂缝检测算法，并为未来的研究提供趋势展望。除算法综述外，我们建立了UDTIRI-Crack，一个标准化的基准测试套件，在统一的预处理、标注协议、数据划分和评价指标下整合了七个公开数据集。该基准测试作为在线平台，用于对道路裂缝检测算法进行标准化和可复现的评估。我们使用公开的一般性和裂缝检测专用的监督方法在提出的UDTIRI-Crack、AigleRN[29]和CrackNJ156[30]数据集上开展实验，以比较它们的检测精度、泛化能力、模型参数和处理速度。本研究为道路裂缝检测的先进语义分割算法提供了全面的比较。此外，我们探讨了基础模型和视觉-语言基础模型在道路裂缝检测中的可行性，并使用Segment Anything Model（SAM）[31]系列和Grounded-SAM[32]进行了实验。结果表明，这些模型需要进一步努力才能专门适用于道路裂缝检测。
本文的结构如下。第2节监督式深度学习道路裂缝检测方法，第3节标签高效的深度学习道路裂缝检测方法，分别回顾了用于道路裂缝检测的先进监督式和标签高效的深度学习方法。第4节介绍了公开的道路裂缝数据集、提出的UDTIRI-Crack基准测试套件、评估平台以及对公开语义分割算法的比较分析。第5节介绍了现有挑战和未来趋势。第6节总结全文。所综述算法的整体框架如图2所示。为了更清晰的比较，代表性方法在表格中进行了总结，并从四个方面进行分析：网络架构、关键方法、学习范式和模态。
章节摘要 监督式深度学习道路裂缝检测方法 本节回顾了用于道路裂缝检测的先进监督式深度学习方法，总结了文献中报道的代表性架构。深度学习的最新进展使得深度卷积神经网络（DCNNs）和Transformer网络成为道路裂缝检测的主要工具。与传统方法需要显式参数设置不同，DCNNs和Transformer网络通常通过反
标签高效的深度学习道路裂缝检测方法 本节继续文献综述，总结了标签高效的深度学习算法，包括用于道路裂缝检测的无监督、半监督和无监督方法。尽管第2.3节讨论的语义分割算法在像素级准确检测道路裂缝方面展现出显著潜力，但其训练需要大量带有精细详细人工标注的数据集，导致较大的劳
基准测试分析 在上述综述的基础上，本节呈现了我们原创的贡献，包括提出的UDTIRI-Crack数据集、基准测试平台以及评估现有算法的比较实验。
数据集数量和标注质量不足 尽管存在一些用于道路裂缝检测方法的公开数据集，但与公开的自然场景数据集相比，如ImageNet数据集[149]中超过1400万样本数据，其数量和多样性远不足够。由于监督式深度学习道路裂缝检测模型需要大量标注数据来学习丰富的特征信息，建立大规模标注道路裂缝数据集是一个现有挑战。先进的图
结论 本文全面回顾了最前沿基于深度学习的道路裂缝检测算法，从单模态监督方法到新兴的数据融合监督方法和标签高效方法。我们提出了UDTIRI-Crack，一个标准化的在线基准测试，连同AigleRN和CrackNJ156数据集，用于评估公开的最前沿语义分割算法的检测性能、泛化能力和计算效率。我们还开发了一个在线基准测试
CRediT作者贡献声明 马纳川（Nachuan Ma）： 撰写——初稿，方法论，概念化。宋征飞（Zhengfei Song）： 撰写——初稿，可视化，数据整理。胡强（Qiang Hu）： 撰写——初稿，数据整理。刘创伟（Chuang-Wei Liu）： 可视化，数据整理。韩宇（Yu Han）： 可视化，软件。张艳婷（Yanting Zhang）： 撰写——审阅与编辑。凡锐（Rui Fan）： 撰写——审阅与编辑，撰写——初稿，监督，软件，资源，项目管理，资金获取，概念化。谢立华（Lihua Xie）： 撰写——
利益冲突声明 作者声明，他们没有已知的可能影响本文所报告工作的竞争性经济利益或个人关系。
致谢 本研究得到了国家自然科学基金 资助，项目编号62473288、62233013和62206046，中央高校基本科研业务费 ，NIO大学生计划（NIO UP） 以及小米青年人才计划 的资助。
马纳川|宋征飞|胡强|刘创伟|韩宇|张艳婷|凡锐|谢立华
