MGMR-Net：一种用于从三维激光数据中进行多类别路面病害与表面特征分割的二维引导多尺度图流形正则化网络

《ADVANCED ENGINEERING INFORMATICS》：MGMR-Net: 2D-Guided Multi-Scale Graph-Manifold regularization network for Multi-Class pavement distress and surface feature segmentation from 3D laser data

　　

摘要

路面病害与表面特征的自动化、精确分割对于智能道路检测和维护决策至关重要。然而，现有的基于深度学习的语义分割方法在复杂路面场景中仍面临若干挑战，主要原因在于局部特征表示不足、多尺度特征交互受限、全局上下文建模不充分以及异质路面数据的互补信息利用不足。为克服这些局限性，本研究提出了MGMR-Net，一种用于路面病害和表面特征多类别分割的新型编码器-解码器框架。具体而言，引入残差三卷积块（RTCB）以增强局部特征提取，设计自适应双分支采样模块（ADSM）以促进跨尺度特征变换，并集成门控令牌自注意力模块（GTSAM）以增强全局上下文建模。此外，开发了一种二维（2D）引导的多尺度图流形正则化（MGMR）策略，通过引入2D路面图像的结构指导来优化基于3D的分割，而无需在2D与3D数据之间进行显式的特征级融合。实验在专有3D路面数据集、对应的2D数据集以及公开的CRACK500基准上开展，以评估分割精度和跨数据泛化能力。在3D路面数据集上，MGMR-Net取得了89.02%的平均F1分数和81.13%的平均交并比（MIoU）。在对应的2D数据集和CRACK500基准上的额外验证进一步确认了其在多样化路面数据条件下的鲁棒性和可迁移性。

引言

在日益增长的交通需求和更复杂的服务条件下，路面基础设施正经历加速劣化[1], [2]。典型的路面病害，包括裂缝、灌缝、补洞和坑洞，不仅降低路面通行能力，还影响行车安全并增加维护管理负担。因此，及时、准确地获取路面状况信息对于保障安全运行和延长路面使用寿命至关重要。此外，伸缩缝、路面标线和井盖等表面特征为路面状况评估和道路场景理解提供了有价值的信息。因此，精确、同步地识别路面病害和表面特征是智能道路检测和精准维护中的基本任务。传统的目视人工检测正逐步被半自动化和自动化非接触式检测方法所取代，后者在检测效率、操作安全性和大规模路面数据获取的一致性方面具有更高优势[3], [4]。

基于车辆动力响应的方法已被广泛用于路面平整度评估，利用车载或基于智能手机的传感数据，如加速度计和陀螺仪测量值[5], [6], [7], [8]。然而，这些方法受限于采样精度低、对轻微病害敏感性不足、可扩展性差以及仅限于轮迹区域[2], [9], [10]。相比之下，基于图像的方法已成为路面病害和表面特征检测的主流方法。早期研究主要依赖图像增强技术[11], [12]、形态学处理方法[13], [14]和传统机器学习方法[15], [16], [17], [18]。近年来，深度学习模型越来越多地被用于检测特定的路面特征，包括裂缝[19], [20], [21]、灌缝[22]、补洞[23]、标线[24], [25], [26]、伸缩缝[27]和井盖[28]。为改善局部纹理表示与全局语义推理之间的平衡，多项研究进一步将视觉Transformer（ViT）整合到基于卷积神经网络（CNN）的架构中[29], [30], [31], [32]。然而，传统的二维视觉方法本质上仍对光照变化和视觉遮挡敏感，这可能会降低其在复杂路面检测场景中的可靠性[33], [34]。

为克服这些局限性，三维（3D）道路感知技术日益受到关注。其中，激光雷达因其能够提供大规模、地理参考和高精度的3D道路数据，在自动化道路检测方面显示出巨大潜力[4], [35]。现有研究已证明其在路面病害检测和道路表面特征提取方面的有效性[36], [37], [38], [39]，同时也展示了其在增强点云特征学习和实现低成本道路状况评估方面的价值[40], [41], [42]。尽管取得了这些进展，大多数基于激光雷达的方法仍然是任务特定的，并且在鲁棒性、计算效率和大规模部署方面仍面临挑战。特别是，激光雷达系统的高成本、颜色和纹理信息的有限可用性、经常需要额外的传感器融合[43]以及处理大规模非结构化点云数据的巨大计算负担[44]，共同限制了其在轻量级、实时和嵌入式检测平台上的适用性[45]。

与通用激光雷达系统相比，基于三角测量的3D激光系统[46], [47]能够获取更密集的路面轮廓和更可靠的深度信息，从而在识别细微裂缝和轻微病害方面具有更大潜力[2], [48], [49]。近期研究进一步探索了将2D视觉线索与3D几何特征相结合用于路面病害和表面特征分割的多模态学习策略，如PDSNet[50]、PDSNet II[51]和ShuttleNet系列[43], [52], [53]。这些方法通过编码器-解码器架构、注意力机制和可变形卷积改善了对复杂路面结构的表示。然而，直接的2D-3D特征融合可能会增加框架复杂度，加剧对跨模态对齐误差的敏感性，并引入冗余或不一致的多模态表示。更重要的是，现有的融合策略尚未充分探索2D路面图像作为结构指导在改进3D分割学习中的作用。因此，本研究采用3D主导的学习范式，其中3D路面数据作为主要分割模态，而2D观测数据作为辅助结构指导而非直接融合输入特征引入。

尽管近年来取得了一些进展，但仍有若干挑战阻碍像素级、多类别路面病害和表面特征分割。传统的采样和分辨率变换策略可能导致细粒度路面信息的丢失，这削弱了跨尺度特征交互并降低了精细边界和结构连续性的恢复能力，特别是对于裂缝等细长目标。此外，现有的基于自注意力的方法往往面临高计算复杂度或特征融合不稳定的问题，这限制了其在保持微妙结构细节的同时维持轻量级部署能力。虽然紧密耦合的2D-3D特征学习可以利用互补的纹理和几何信息，但其可靠性强烈依赖于精确的跨模态对齐和对退化噪声的有效抑制。在实际应用中，直接多模态融合期间的特征错位和噪声传播可能会损害分割结果的稳定性和可靠性。

为应对这些挑战，本研究提出了MGMR-Net，一种带有2D引导的多尺度图流形正则化（MGMR）的轻量级编码器-解码器框架，用于像素级、多类别路面病害和表面特征分割。在所提出的框架中，引入残差三卷积块（RTCB）以增强局部特征表示并改进细粒度路面细节的提取。自适应双分支采样模块（ADSM）旨在增强编码和解码过程中的跨尺度特征变换和重构。门控令牌自注意力模块（GTSAM）被纳入以在受控计算复杂度下捕获全局上下文依赖关系。此外，所提出的2D引导MGMR策略从灰度路面图像中构建局部相似关系，并利用它们作为辅助图流形约束来指导3D分割学习。这种设计在无需显式2D-3D特征级融合或增加推理计算负担的情况下，改进了语义连贯性和边界保持。本研究的主要贡献总结如下：

1) 轻量级、统一的多类别路面特征分割框架
开发了MGMR-Net，作为编码器-解码器框架用于多种路面病害类别和表面特征的像素级分割，为自动化路面检测提供了有效且实用的解决方案。

2) 增强的局部特征表示和自适应多尺度特征变换
引入RTCB，通过深度可分离卷积和可学习残差聚合来加强层次化特征提取。此外，设计ADSM以在池化过程中增强信息保留并在上采样过程中促进结构重构。

3) 基于门控令牌自注意力的高效全局上下文建模
纳入GTSAM以通过统计令牌建模捕获长程依赖关系，而无需显式构建令牌-令牌相似度矩阵。该设计在保持对精细路面结构细节敏感性的同时降低了计算复杂度。

4) 用于3D主导分割学习的2D引导图流形正则化策略
与其使用直接多模态特征融合，所提出的MGMR策略从灰度图像派生的局部相似性构建多尺度斑块级图，以正则化3D网络训练中的预测一致性。这种弱耦合设计改进了分割连续性和边界保持，同时展示了2D路面数据结构先验在指导3D路面数据学习方面的有效性和可迁移性。

5) 多个路面数据集上的全面验证
在专有2D和3D路面数据集以及公开的CRACK500基准上开展了大量实验。结果验证了所提出框架在不同路面数据条件下的分割性能、跨数据适应性和泛化潜力。

本文其余部分组织如下。第2节介绍MGMR-Net的整体架构并提供其关键组件的理论公式。第3节描述实验设置，包括用于网络优化的焦点损失和所提出的MGMR策略。详细消融研究首先用于评估MGMR-Net中每个组件的贡献，随后在3D数据集上与主流分割模型进行对比实验。在对应的2D数据集和公开CRACK500基准上的额外评估进一步验证了方法的有效性、鲁棒性和泛化能力。

第3节介绍MGMR-Net，一种用于路面病害和表面特征像素级分割的轻量级编码器-解码器框架，并介绍其三个核心架构创新。首先，残差三卷积块通过三阶段卷积结构和可学习残差聚合来增强局部特征表示。其次，自适应双分支采样模块通过动态地

(1) 自适应双分支池化模块
如图3所示，自适应双分支池化模块（ADDM）结合了两种互补路径，以在池化过程中保留结构信息并增强可学习特征。一个分支应用最大池化以保留主要拓扑结构并提高抗噪能力，而另一个分支使用步幅卷积来学习局部模式和空间变换。通过自适应门控，两个分支融合生成更全面的表示。

(2) 自适应双分支上采样模块
如图4所示的自适应双分支上采样模块（ADUM），集成了双线性插值和转置卷积以实现路面特征的鲁棒空间重构。双线性插值分支提供平滑连续的上采样，有利于保持路面目标（如裂缝、井盖和补洞）的拓扑连续性和边界平滑性。相比之下，转置卷积分支专注于恢复高频。

第4节介绍实验设置，包括用于网络优化的焦点损失和所提出的MGMR策略。详细消融研究首先用于评估MGMR-Net中每个组件的贡献，随后在3D数据集上与主流分割模型进行对比实验。在对应的2D数据集和公开CRACK500基准上的额外评估进一步验证了方法的有效性、鲁棒性和泛化能力。

MGMR超参数评估
进行了敏感性分析，以评估所提出的2D引导多尺度图流形正则化（MGMR）中关键超参数的影响，包括正则化权重α、多尺度分区设置S、尺度权重组合λs、边相关参数ωe以及top-k稀疏化策略。对应的搜索空间和最优配置列于表7。所有实验均在3D数据集上使用基线进行。

结论
为提高多类别路面病害和表面特征分割的精度、结构完整性和多模态学习能力，本研究提出了MGMR-Net，一种集成了残差三卷积块（RTCB）、自适应双分支采样模块（ADSM）和门控令牌自注意力模块（GTSAM），以及2D引导多尺度图流形正则化（MGMR）策略的编码器-解码器框架。具体而言，RTCB增强了局部层次化。

CRediT作者贡献声明
尤展：原稿撰写、资源、方法论、调查、资金获取、正式分析、概念化。徐初：审阅与编辑、指导、方法论、概念化。赵允多：审阅与编辑、数据管理。Allen A. Zhang：审阅与编辑、可视化、调查。金传宇：审阅与编辑、指导、资源。吴启明：审阅与编辑、软件。黄立雪：审阅与编辑。

利益冲突声明
作者声明不存在已知的竞争财务利益或个人关系可能影响本文所报告的工作。

致谢
本研究得到了国家自然科学基金（批准号52478471）、内蒙古自治区2025年重点研发及成果产业化项目（批准号2025YFHH0009）以及重庆市科技创新与应用发展项目：成渝科技创新合作计划（批准号CSTB2024TIAD-CYKJCXX0004）的资助。

尤展 | 徐初 | 赵允多 | Allen A. Zhang | 金传宇 | 吴启明 | 黄立雪