面向实时可靠路面检测的自动化神经网络架构搜索与双模型协同分割

《ADVANCED ENGINEERING INFORMATICS》：Automated neural architecture discovery and Dual-Model collaborative segmentation for Real-Time and reliable pavement inspection

　　

• 物理信息驱动的多源感知以实现鲁棒的特征表示。• 基于HPNAS实现实时、任务自适应的分割架构发现。• 具有渐进式误差校正的双模型协作分割范式。引言 图像分割为精细化道路基础设施检测的定量评估提供了关键技术基础。近年来，深度学习的发展迅速推动了语义分割领域的显著进展。手动设计的模型，如UNet[1]、DeepLab系列[2][3]、HRNet[4]、基于Transformer的模型[5][6][7]以及SCTNet[8]，在通用图像分割任务中取得了卓越的性能。这些进展迅速激发了道路检测领域的应用研究兴趣[9][10][11]。基于这些通用语义分割模型，大量研究围绕路面相关目标的自动分割展开。代表性应用包括路面裂缝分割[12][13][14][15][16][17][18][19][20]、封闭裂缝[21]、标线[22]、补丁[23]、坑槽[24]以及多目标路面病害[25][26][27][28]。 尽管基于深度学习的路面检测方法取得了显著进展，但在复杂路面环境中仍面临诸多挑战。路面目标可能在尺度、形态和纹理方面存在较大差异，典型示例包括细长线性裂缝和大面积不规则补丁。相反，一些目标则具有高度相似的特征，例如细长线性裂缝与表面划痕。此外，不同路面目标往往相邻出现或相互重叠，引入上下文干扰和模糊的决策边界。路面场景的这种复杂性使得多目标路面目标的精确像素级分割极具挑战性。此外，裂缝和坑槽等路面病害的持续恶化，如果不及时采取维护措施，容易导致路基沉降和局部塌陷，从而增加交通安全风险[17]。因此，对像素级多目标路面分割算法的实时性能提出了更高的要求。 从数据表示的角度来看，由于大多数现有路面分割模型依赖单一源感知模态，仍存在表示鸿沟。代表性示例包括路权范围（ROW）图像[29]、二维路面数据[21][22][24]和三维路面数据[12][13][14]。然而，每种模态仅提供路面状况的部分描述。二维纹理数据主要描述视觉外观，而三维数据则表征表面几何形态和高程变化。单独使用时，任一模态均无法完整表征多目标路面病害的异质性形态、弱边界和细微结构变化。一些研究表明，结合二维和三维数据可以减少误报并提高检测可靠性[25][26]，这表明多源数据感知可能为路面理解提供更丰富的表示。然而，如何在传感模态的直接组合之外纳入具有物理意义的几何信息，仍缺乏深入研究。 第二个挑战在于网络架构设计。大多数路面检测研究通过对现有模型进行适度微调或修改来开展[30]。代表性示例包括卷积神经网络（CNN）架构[1][2][3][4][31]、基于Transformer的架构[5][6][7]以及混合CNN-Transformer架构[8]。然而，这种手动设计范式存在两个关键局限：首先，为自然场景优化的架构归纳偏置可能无法充分捕捉路面病害特有的不规则形态、弱边界和异质性空间分布；其次，架构设计很大程度上依赖经验积累和大量试错实验，耗时且难以保证在特定领域数据上的最优性能。 神经架构搜索（NAS）通过自动发现高性能网络架构提供了一种有前景的替代方案。早期NAS方法采用强化学习控制器[32][33]或进化算法[34][35]来探索网络架构。为了自动设计轻量级道路裂缝检测网络，Zhu等人[36]采用离散粒子群优化（DPSO）在编码器-解码器架构空间中进行神经架构搜索，产生了先进的AutoCrackNet。尽管这些方法能取得优于手动设计模型的性能，但通常会在搜索过程中产生极高的计算成本。其他研究探索了随机搜索和局部搜索策略用于架构探索[37][38]，但这类方法容易陷入局部最优。梯度式NAS方法被提出以解决这些问题[39][40][41]，这些方法允许通过梯度下降优化网络架构，显著提高了搜索效率。为了将梯度式NAS扩展到语义分割等密集预测任务，研究人员借鉴了手动设计架构的灵感，包括DeepLab[3]、HRNet[4]、ResNet[31]和MobileNet[42]。通过精心设计搜索空间和搜索策略，开发了若干代表性架构，如Auto-DeepLab[43]及其改进变体[44][45]，以及HR-NAS[46]。 综上所述，这些研究表明了架构设计鸿沟：现有面向分割的拓扑搜索方法通常存在两个关键局限。首先，架构搜索过程中的内存限制通常需要降低输入分辨率，例如在Auto-DeepLab及其变体中使用四分之一或八分之一分辨率图像。这种策略使得难以捕捉细粒度特征，尤其是对于裂缝等细长路面目标。其次，许多权重共享NAS方法在训练和部署之间存在不匹配。虽然共享权重能够实现高效的架构排序，但发现的架构通常需要经过额外的重新训练或微调才能达到最优性能，从而增加了计算成本和系统复杂度。因此，在保持高分辨率结构信息的同时维持训练-部署一致性的端到端NAS方法，在分割任务中仍有待探索。 除了数据表示和架构设计之外，依赖单一模型的固有局限性产生了一个独特的决策可靠性鸿沟。目前，大多数现有基于深度学习的路面检测方法训练单一强大模型来处理多样化场景[12][13][14][15][16][17][18][21][22][23][24][25][26][27][28][47]。然而，在实践中，即使最先进的模型也不可避免地表现出系统性预测偏差[48]。因此，它们的决策过程在一定程度上代表着某种折衷。为了克服单一模型的局限性，一些研究结合多个异构模型进行路面裂缝分割，代表了集成学习的典型应用[49][50]。虽然这类方法可以提高精度，但以牺牲计算效率为代价。这主要是因为推理期间需要同时执行多个模型。此外，传统集成方法主要利用模型之间的互补优势，而非显式地建模和校正系统性预测误差。因此，一种利用预测不确定性和误差模式作为可学习信息来渐进式精化分割结果的机制仍然缺失。 近期关于可迁移性和部署的研究进一步强调了这些鸿沟的实际意义。例如，一种跨域裂缝分割的可迁移深度学习框架[51]和基于无人机的现场检测研究表明，在不断变化的采集平台、环境条件和区域路面特征下维持分割可靠性仍是实际部署中的关键挑战。这些发现表明，智能路面检测系统不仅要追求高分割精度，还应重视鲁棒性、可迁移性和部署效率。 除了路面分割之外，智能路面评估领域的近期研究日益关注可靠性、鲁棒性和模型透明度。面向复杂环境应力条件下的路面状况和平整度预测，开发了可解释机器学习框架[52]，凸显了对可信、可解释的工程导向人工智能系统日益增长的需求。这些研究表明，未来智能路面评估应同时考虑预测性能、可靠性和在实际基础设施管理场景中的适用性。 上述识别出的三个研究鸿沟在类别上截然不同，但在方法论上互补，因为它们源于路面感知过程中不同的知识和不确定性来源。从认识论角度来看，表示鸿沟产生于使用单一传感模态时对路面状况的不完整观测，它关注的是哪些具有物理意义的信息可以被提供给模型。架构设计鸿沟产生于通用架构归纳偏置与构建任务相关表示的特定领域过程之间的不匹配，它关注的是应该如何设计或发现一个适当的路面分割模型。决策可靠性鸿沟产生于模型输出中的不确定性和系统性误差，以及缺乏显式的错误预测修正机制，它关注的是如何评估和渐进式纠正模型决策。 据此，表示鸿沟引导了研究问题1（RQ1），架构设计鸿沟引导了研究问题2（RQ2），决策可靠性鸿沟引导了研究问题3（RQ3）。这些问题共同建立了从应感知何种信息，到如何构建任务自适应模型，再到如何精化其预测的渐进式研究轨迹： 研究问题1（RQ1）：物理信息驱动的多源感知如何以及在多大程度上能够改进与常规输入配置相比的路面目标表示和分割？ 研究问题2（RQ2）：面向任务的层次化神经架构搜索方法是否能够发现优于手动设计和通用NAS模型的分割架构，同时保持架构搜索与部署之间的一致性？ 研究问题3（RQ3）：预测条件协作推理是否能够显式学习并校正不同基础架构中的系统性分割误差？ 为回答这些研究问题，本研究提出了一种面向像素级多目标路面分割的集成框架，结合了物理信息驱动的多源数据感知、自动化架构发现以及协作推理机制。 为解决RQ1，建立了一种物理信息驱动的多源数据感知方案以增强表示鲁棒性和结构完整性。本研究使用的数据通过高精度三维线激光成像系统采集，该系统同时获取高分辨率路面二维纹理数据和三维数据。除直接利用这些传感模态外，还使用物理光照模型从三维数据渲染三维光强数据。由此产生的二维数据、三维数据和渲染的三维光强数据共同提供了对路面表面状况的互补多维描述。 为解决RQ2，提出了一种高效的分层路面神经架构搜索方法（HPNAS），用于路面分割模型的自动化设计。为了克服现有基于NAS的分割方法中低分辨率主导的搜索空间和过于通用的架构先验所存在的局限，构建了一种保持高分辨率特征通路的面向任务的分层权重共享搜索空间。此外，引入了结合可微松弛和历史性能引导优化的稳定性导向搜索策略，使架构和权重参数的联合优化成为可能，同时保持搜索与部署之间的一致性。 为解决RQ3，开发了一种双模型协作分割范式以实现渐进式预测精化。该方法不依赖计算开销昂贵的集成策略，而是通过HPNAS自动发现一对协作优化的模型，包括基础分割网络（BSN）和校正精化网络（CRN）。CRN被显式建模为结构化误差建模模块，学习BSN的系统性预测偏差，包括类别歧义性和边界不确定性。在推理期间，由BSN生成的初步概率图连同原始多源输入被CRN用于执行细粒度校正，形成顺序协作决策过程。 需要强调的是，所提出的框架并非现有感知、神经架构搜索和分割技术的简单集成。相反，其方法论上的新颖性来自于三个专为路面分割设计的协调创新：物理信息驱动的感知方案以增强结构表示、面向任务的分层NAS方法以实现自动化架构发现，以及预测条件协作分割范式以校正系统性误差。这些组件解决了互补性挑战，共同构成了一个可靠的路面病害分割统一框架。 对三个研究问题的回答通过以下方法论贡献得以具体化： （1）提出了一种物理信息驱动的多源数据感知方案，通过联合整合二维数据、三维数据和渲染的三维光强数据来构建互补的路面表示。该设计将物理可解释的几何先验引入分割过程，增强了细微路面表面变化的表示能力。 （2）开发了一种高效的分层路面神经架构搜索方法（HPNAS），用于专门化分割架构的自动化设计。所提出的HPNAS将分层权重共享搜索空间与可微松弛和历史性能引导的搜索策略相结合，实现了微观级算子和宏观级精化拓扑的联合优化，同时保持与部署对齐的架构发现。 （3）提出了一种双模型协作分割范式，包括基础分割网络（BSN）和校正精化网络（CRN），两者均通过HPNAS自动发现。通过在概率空间中显式建模系统性预测误差，CRN学习到具有不确定性感知能力的校正行为，从而在超越传统单模型方法的分割可靠性方面实现改进。 章节摘要 方法论 图1展示了整体框架。为解决与研究问题1（RQ1）相关的表示鸿沟，通过联合利用二维数据、三维数据和渲染的三维光强数据，构建了一种物理信息驱动的多源数据感知方案。

这种融合为后续的特征学习提供了互补的上下文线索。基于这一感知方案，提出了一种分层路面神经架构搜索方法（HPNAS），以解决架构设计问题。

**训练**

所有实验均在配备18核Intel i9-10980XE CPU、NVIDIA GeForce RTX 5090 GPU以及32 GB系统内存的Windows 11平台上进行。模型训练和推理使用Python 3.10实现，基于PyTorch 2.7.0深度学习框架，支持CUDA 12.8。

在该实验配置下，基础分割网络（BSN）和校正精炼网络（CRN）均由所提出的分层路面神经架构搜索方法自动设计。

**评估**

第3.2.2节中的验证实验评估了与研究问题1（RQ1）相关的表示差距，并确定了所选的物理信息多源输入配置。在此配置基础上，第4节在独立测试数据集上评估了所提出的框架。第4.1节检验了与研究问题2（RQ2）相关的架构设计差距，第4.2节检验了与研究问题3（RQ3）相关的决策可靠性差距，

**讨论**

像素级多目标路面分割是一项具有挑战性的密集预测任务，其特征是目标形态的异质性以及在基础设施检测中严格要求的可靠性。本讨论根据第1节中提出的三个研究问题对研究结果进行阐释。研究问题1（RQ1）涉及表示差距，研究问题2（RQ2）涉及架构设计差距，研究问题3（RQ3）涉及

**结论**

针对像素级多目标路面分割中的三个相互关联的挑战，本研究建立了一个集成分割框架。这三个挑战被归类为表示差距、架构设计差距和决策可靠性差距。该框架结合了物理信息多源数据感知、自动神经架构搜索和双模型协同分割，提供了一条从多维路面

**CRediT作者贡献声明**

董子硕：撰写——初稿、软件、方法论。Allen A. Zhang：监督、资金获取、概念构思。艾昌发：撰写——审稿与编辑、资源、项目管理。尚晶：撰写——审稿与编辑、可视化、形式化分析。张文金：验证、软件、调查研究。甘国安：验证、数据整理。王思琪：可视化、软件。

**利益冲突声明**

作者声明不存在已知的竞争财务利益或个人关系，这些可能影响本文所报告的工作。

**致谢**

作者衷心感谢国家自然科学基金重大项目（项目编号：2023YFB2603500）和四川省重点研发计划（项目编号：2025YFHZ0009）提供的资金支持。

董子硕 | Allen A. Zhang | 艾昌发 | 尚晶 | 张文金 | 甘国安 | 王思琪