基于深度引导的跨模态融合与扩散增强技术,用于实现鲁棒的路面缺陷分割

《ADVANCED ENGINEERING INFORMATICS》:Depth-guided cross-modal fusion and diffusion-based enhancement for robust pavement defect segmentation

【字体: 大 中 小 】 时间:2026年01月15日 来源:ADVANCED ENGINEERING INFORMATICS 9.9

编辑推荐:

  路面多模态缺陷检测方法融合深度引导与潜在扩散增强,有效抑制背景干扰并优化边界,实验验证其在CMPV等数据集上显著优于现有方法

  
山一辉|李伟|史佳琪|王彦松|邢珍珍|丁江刚|裴莉莉
中国陕西省长安大学信息工程学院,邮编710018

摘要

准确高效地感知路面状况对于维护交通基础设施和确保驾驶安全至关重要。在现实世界的道路环境中,通过检测或自动驾驶车辆收集的视觉和深度数据常常受到模态不平衡、传感器噪声和图像退化的影響,这些因素会降低缺陷分割的可靠性。为了解决这些问题,本研究提出了一个跨模态分割框架,该框架结合了深度引导的融合和生成式潜在特征增强技术,以在多种条件下实现稳健的路面缺陷感知。我们开发了一种以缺陷为中心、具有类别意识的深度提示策略,将几何先验转化为对强度流的明确指导,从而在编码前实现背景抑制,并在中间层细化边界。同时,潜在特征增强模块将Segment Anything Model (SAM)的特征空间与预训练的扩散潜在空间对齐,并执行高效的一步去噪操作,在避免迭代扩散采样的沉重开销的同时恢复结构一致性。整体设计在保持SAM效率和泛化能力的同时,引入了轻量级的可训练适配器和低秩扩散更新。在多模态路面数据集上的实验评估表明,与现有的融合方法相比,所提出的方法具有更高的分割准确性和稳健性。这些结果突显了所提出框架在支持智能路面检测、状况评估和维护决策方面的潜力。

引言

高效可靠的路面缺陷检测是维护交通基础设施和安全的基础。及早识别表面退化可以防止小裂缝和坑洞发展成严重的结构故障,从而降低长期维护成本并提高交通安全[1]。在智能交通系统(ITS)的背景下,安装在道路维护或自动驾驶车辆上的基于视觉的检测平台已成为持续路面监测和资产管理的有前景的工具。然而,现有的基于视觉的系统仍然容易受到环境干扰的影响,如光照变化、表面反射率和运动模糊[2]。这些因素通常会导致在现实世界场景中的性能严重下降,尤其是在夜间或恶劣天气条件下。深度感知提供了对光照和背景变化具有内在鲁棒性的补充几何线索,使其成为增强视觉感知的宝贵模态[3]。因此,整合深度和强度信息可以提供更全面的路面结构和缺陷表示,从而在复杂的户外环境中实现稳健的分割。
尽管具有潜在的优势,但大多数现有的多模态融合方法并未针对路面图像进行优化。传统的早期融合方法只是在单一流编码器之前简单连接多模态输入[5],而中级融合策略则通过注意力机制[6]、求和[7]、[8]或连接[9](见图1(I–IV))来组合特定模态的特征。虽然这些方法在自然和医学图像分割中有效,但它们难以处理对比度低、缺陷规模小且背景噪声强的路面[见图2(a)]。直接转移这些模型会导致判别能力下降和预测不稳定。
最近,SAM[10]通过基于提示的泛化展示了显著的零样本分割能力,在包括医学成像[11]和工业检测[12]在内的各种视觉领域取得了强劲的性能。然而,当应用于跨模态路面分割时,SAM由于两个内在挑战而表现出明显的性能下降:(1)模态不平衡[13],即大多数路面缺陷仅占据图像的一小部分,导致对主导背景纹理的过拟合(见图2(a));(2)潜在退化,即低质量的图像污染了编码器表示,导致边界模糊和缺陷语义丢失[14](见图2(b))。这种退化在移动检测平台在不受控制的照明和运动条件下捕获的现实世界道路图像中很常见[15]。即使是最强大的SAM变体[16]也无法完全缓解这些问题,因为损坏的潜在特征会通过解码器传播噪声。
为了解决这些限制,本研究基于两个关键观察结果进行设计。首先,有效的跨模态路面感知需要以缺陷为中心和具有类别意识的条件化,使模型能够选择性地强调几何上一致的缺陷区域,而不是整个场景(见图3)。其次,生成式扩散模型[17]、[18],特别是潜在扩散模型(LDMs),通过大规模预训练显示出了强大的表示先验和去噪能力。潜在空间中的扩散在保持效率的同时,从退化的输入中恢复高级结构和语义,为修复损坏的特征表示提供了有希望的方向。这些见解激发了将预训练的生成式扩散先验纳入SAM的潜在空间中,以重建判别特征并在低质量条件下增强分割稳健性的想法。
受这些动机的驱动,我们提出了一个跨模态路面缺陷分割框架(见图1(V)),该框架在SAM架构内结合了以缺陷为中心的深度提示和生成式潜在特征增强。具体来说,深度分支生成具有类别意识的几何原型和引导掩码,用于(i)在编码前通过抑制不相关的背景区域来预调节强度流,以及(ii)调节中间特征以突出细粒度的缺陷边界。同时,一个与SAM特征空间对齐的潜在扩散模块执行高效的一步去噪,以重建清晰、具有判别力的潜在特征,而不修改SAM的核心参数。这种轻量级设计确保了与现有基础模型的兼容性,并满足了实际工程约束,使其适用于实际的路面检测场景,包括近实时或离线处理流程。本工作的主要贡献总结如下:
(1) 以缺陷为中心的调节。我们制定了一个两阶段调节机制(预调节和特征调节),将深度先验转化为明确的几何指导,有效抑制背景主导并细化缺陷边界。
(2) 潜在特征增强(LFE)。我们引入了一个基于扩散的LFE模块,该模块与SAM的潜在空间对齐,能够一步生成去噪,从而在噪声和模糊条件下恢复高质量的表示。
(3) 实际稳健性和部署价值。在多模态路面数据集上的全面实验表明,与最近的融合基线相比,我们的方法在多种成像条件下实现了稳定的性能。这些结果突显了所提出框架在智能路面检测和数据驱动维护决策方面的潜力。
除了提高分割性能外,本研究还通过将多模态路面感知形式化为表示和增强工程知识的计算过程,为工程信息学做出了贡献。所提出的框架将强度和深度数据转换为具有几何意识的语义信息,支持自动化的状况评估和决策制定。基于深度的提示机制将几何先验嵌入为感知的明确线索,而基于扩散的增强则恢复了退化的潜在特征,以保持语义一致性。这些设计共同推进了工程知识的形式化和可靠性,为智能和数据驱动的基础设施管理提供了有效的信息学框架。

部分摘录

通用跨模态分割

在跨模态分割框架中,模态融合的有效性在很大程度上决定了整个系统的性能,因为分割头操作的是融合后的表示。现有方法通常可以分为基于交换和基于交互的方法。基于交换的方法通过特征对齐或替换明确地在不同模态之间传输信息。例如,CEN[19]用另一种模态的特征替换了弱特征通道

方法论

本研究提出的整体网络架构如图4所示。第3.1节详细介绍了深度分支,包括深度编码器和具有类别意识的动态提示生成器(CDPG)。第3.2节描述了强度分支,包括缺陷预调节(DP)模块、图像编码器、缺陷特征调节(DFM)、潜在特征增强(LFE)和解码器。最后,第3.3节概述了用于网络优化的损失公式。

数据集

目前,很少有路面数据集同时包含深度和强度图像[34]。最近,数据集BMPD[13]发布了一个双模态路面图像集合;然而,这些数据过于理想化,无法充分代表现实世界路面条件的多样性。为了填补这一空白并促进跨模态路面视觉任务的进一步研究,我们引入了CMPV数据集[52]。CMPV是使用跨模态3D相机收集的,详细采集过程如下

结论

本研究提出了一个跨模态路面缺陷分割框架,该框架结合了以缺陷为中心的深度提示和生成式潜在特征增强,以在现实世界条件下实现准确可靠的感知。通过利用原型提示和缺陷感知的调节来利用几何先验,该框架有效抑制了背景干扰并细化了细粒度的缺陷边界。同时,一个轻量级的潜在扩散模块改进了特征

CRediT作者贡献声明

山一辉:撰写——原始草稿、可视化、验证、软件、方法论、调查、数据策划、概念化。李伟:撰写——审阅与编辑、监督、资源获取、形式分析。史佳琪:撰写——审阅与编辑。王彦松:撰写——审阅与编辑。邢珍珍:撰写——审阅与编辑。丁江刚:撰写——审阅与编辑、监督、项目管理、方法论、形式分析、概念化。裴莉莉:

利益冲突声明

作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。

致谢

本工作部分得到了中国陕西省科学技术厅(编号:2025JC-YBQN-871)的支持;部分得到了长安大学(编号:300102405101)的基本研究基金的支持;部分得到了中国陕西省科学技术协会青年人才促进计划(编号:20250463)的支持;以及部分得到了中国陕西省自然科学基础研究计划——青年项目(编号:2025JC-YBQN-584)的支持。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号