高效可靠的路面缺陷检测是维护交通基础设施和安全的基础。及早识别表面退化可以防止小裂缝和坑洞发展成严重的结构故障,从而降低长期维护成本并提高交通安全[1]。在智能交通系统(ITS)的背景下,安装在道路维护或自动驾驶车辆上的基于视觉的检测平台已成为持续路面监测和资产管理的有前景的工具。然而,现有的基于视觉的系统仍然容易受到环境干扰的影响,如光照变化、表面反射率和运动模糊[2]。这些因素通常会导致在现实世界场景中的性能严重下降,尤其是在夜间或恶劣天气条件下。深度感知提供了对光照和背景变化具有内在鲁棒性的补充几何线索,使其成为增强视觉感知的宝贵模态[3]。因此,整合深度和强度信息可以提供更全面的路面结构和缺陷表示,从而在复杂的户外环境中实现稳健的分割。
尽管具有潜在的优势,但大多数现有的多模态融合方法并未针对路面图像进行优化。传统的早期融合方法只是在单一流编码器之前简单连接多模态输入[5],而中级融合策略则通过注意力机制[6]、求和[7]、[8]或连接[9](见图1(I–IV))来组合特定模态的特征。虽然这些方法在自然和医学图像分割中有效,但它们难以处理对比度低、缺陷规模小且背景噪声强的路面[见图2(a)]。直接转移这些模型会导致判别能力下降和预测不稳定。
最近,SAM[10]通过基于提示的泛化展示了显著的零样本分割能力,在包括医学成像[11]和工业检测[12]在内的各种视觉领域取得了强劲的性能。然而,当应用于跨模态路面分割时,SAM由于两个内在挑战而表现出明显的性能下降:(1)模态不平衡[13],即大多数路面缺陷仅占据图像的一小部分,导致对主导背景纹理的过拟合(见图2(a));(2)潜在退化,即低质量的图像污染了编码器表示,导致边界模糊和缺陷语义丢失[14](见图2(b))。这种退化在移动检测平台在不受控制的照明和运动条件下捕获的现实世界道路图像中很常见[15]。即使是最强大的SAM变体[16]也无法完全缓解这些问题,因为损坏的潜在特征会通过解码器传播噪声。
为了解决这些限制,本研究基于两个关键观察结果进行设计。首先,有效的跨模态路面感知需要以缺陷为中心和具有类别意识的条件化,使模型能够选择性地强调几何上一致的缺陷区域,而不是整个场景(见图3)。其次,生成式扩散模型[17]、[18],特别是潜在扩散模型(LDMs),通过大规模预训练显示出了强大的表示先验和去噪能力。潜在空间中的扩散在保持效率的同时,从退化的输入中恢复高级结构和语义,为修复损坏的特征表示提供了有希望的方向。这些见解激发了将预训练的生成式扩散先验纳入SAM的潜在空间中,以重建判别特征并在低质量条件下增强分割稳健性的想法。
受这些动机的驱动,我们提出了一个跨模态路面缺陷分割框架(见图1(V)),该框架在SAM架构内结合了以缺陷为中心的深度提示和生成式潜在特征增强。具体来说,深度分支生成具有类别意识的几何原型和引导掩码,用于(i)在编码前通过抑制不相关的背景区域来预调节强度流,以及(ii)调节中间特征以突出细粒度的缺陷边界。同时,一个与SAM特征空间对齐的潜在扩散模块执行高效的一步去噪,以重建清晰、具有判别力的潜在特征,而不修改SAM的核心参数。这种轻量级设计确保了与现有基础模型的兼容性,并满足了实际工程约束,使其适用于实际的路面检测场景,包括近实时或离线处理流程。本工作的主要贡献总结如下:
(1) 以缺陷为中心的调节。我们制定了一个两阶段调节机制(预调节和特征调节),将深度先验转化为明确的几何指导,有效抑制背景主导并细化缺陷边界。
(2) 潜在特征增强(LFE)。我们引入了一个基于扩散的LFE模块,该模块与SAM的潜在空间对齐,能够一步生成去噪,从而在噪声和模糊条件下恢复高质量的表示。
(3) 实际稳健性和部署价值。在多模态路面数据集上的全面实验表明,与最近的融合基线相比,我们的方法在多种成像条件下实现了稳定的性能。这些结果突显了所提出框架在智能路面检测和数据驱动维护决策方面的潜力。
除了提高分割性能外,本研究还通过将多模态路面感知形式化为表示和增强工程知识的计算过程,为工程信息学做出了贡献。所提出的框架将强度和深度数据转换为具有几何意识的语义信息,支持自动化的状况评估和决策制定。基于深度的提示机制将几何先验嵌入为感知的明确线索,而基于扩散的增强则恢复了退化的潜在特征,以保持语义一致性。这些设计共同推进了工程知识的形式化和可靠性,为智能和数据驱动的基础设施管理提供了有效的信息学框架。