基于多模态信息协同表示和递归反馈机制的道路损伤检测方法研究

《ADVANCED ENGINEERING INFORMATICS》：Research on road damage detection method based on multi-modal information collaborative representation and recursive reflux mechanism

路面多模态智能检测框架研究：提出基于VMG-Transformer的跨模态协作检测方法，通过环境感知特征聚合、互信息对齐和门控循环聚合解决单模态感知局限与分类-回归逻辑冲突问题，实现98.32%精度和0.944确定系数，验证了跨模态融合在复杂光照与异质数据下的工程适用性。

　　

李慧霞|陈若涵|尼兰达亚西萨贝·里塔|王健

福建工业大学土木工程学院，中国福州市350118

摘要

对路面损坏的准确识别和定量评估是交通基础设施智能运维的关键组成部分。鉴于传统单一视觉模式在复杂光照条件下的感知局限性，以及现有并行多任务学习范式中分类与回归之间的逻辑脱节，本研究提出了一种基于无人机图像、轮胎-路面噪声音频和环境参数的多阶段路面损坏检测框架：VMG-Transformer（视觉-多模态门控Transformer）。该框架采用环境感知的跨层视觉表示聚合器（ECVRA），通过跨注意力机制动态聚合多尺度特征，并注入环境先验，有效解决了细裂缝与大面积坑洞之间的尺度不平衡问题。随后，利用互信息跨模态对齐（MICA）架构和InfoNCE对比损失来最大化视觉和声学表示之间的互信息，实现特征流形的精确对齐和模态噪声的有效抑制。最后，引入了门控循环聚合（GRA）解码器，通过迭代门控反馈在分类和回归任务之间建立双向协商机制，从而确保最终预测的物理一致性。实验结果表明，VMG-Transformer在多类型损坏识别任务中表现出优越的性能，准确率和F1分数分别提高到98.32%和98.34%。跨领域验证进一步证实了该框架在多样化的路面纹理和变化光照条件下的鲁棒泛化能力。此外，定量评估的决定系数R2增加到0.944，均方根误差（RMSE）降低到0.1132，相比基线模型减少了53.7%，这证明了所提出方法的有效性和工程应用潜力。

引言

对道路表面损坏的智能识别和精细的定量评估是确保交通基础设施服务安全、延长道路全生命周期以及实现预防性维护决策的关键基础[1]、[2]。随着城市化的加速和道路网络规模的指数级扩张，传统的人工检测方法由于其固有的缺陷（如高度主观性、低检测效率和较高的操作安全风险），已无法满足现代智能交通系统对大规模、实时健康监测的迫切需求[3]、[4]。近年来，计算机视觉技术的快速发展推动了向自动化检测的范式转变，基于卷积神经网络和Transformer的视觉检测模型在理想光照条件下展示了出色的特征提取能力[5]、[6]。然而，在实际的复杂现场工程环境中，单一视觉模式的感知鲁棒性面临严峻挑战：动态光照变化、非结构化的物理遮挡和复杂的路面背景纹理容易导致视觉特征退化和语义模糊，从而导致漏检或错误判断[7]、[8]。此外，路面损坏存在显著的尺度差异，单一尺度的视觉特征往往难以同时满足细裂缝的高频纹理要求和大面积坑洞的深层语义依赖性，从而在多尺度损坏共存的场景中导致检测性能不平衡[9]、[10]、[11]。

为了克服单一视觉感知的物理限制，引入异构传感器数据（如探地雷达、热成像、声学信号或结构化参数）进行多模态融合已成为该领域的研究前沿[12]、[13]、[14]、[15]。其中，车载轮胎-路面噪声音频信号包含丰富的关于路面纹理和刚度变化的物理信息，同时对光照干扰具有天然的免疫力，被认为是极具前景的补充感知源[16]、[17]。最近在工业诊断中的研究进一步验证了此类声学源的有效性；例如，Peng等人[18]证明，在轻量级Transformer中将连续声学信号离散化为帧嵌入单元可以显著提高在复杂环境干扰下的非平稳瞬态的区分能力。然而，现有的多模态路面检测方法在架构设计中仍面临严重的“语义差距”和“融合效率”问题。主流方法主要采用简单的串联或加权求和策略来处理特征向量，忽略了视觉（空间域）和声学（时频域）数据之间的高度异质性[19]、[20]。这种未经对齐的直接融合不仅无法有效利用模态间的互补性，还可能引入模态特定噪声，引发模态竞争现象，即主导模态垄断训练过程而抑制较弱模态的表达[21]、[22]。此外，当前的路面损坏检测通常被建模为包含分类和回归的并行多任务学习问题，但却忽略了任务之间的内在逻辑依赖性。这种逻辑脱节经常导致模型产生违反物理常识的预测（例如，将“小裂缝”预测为“大面积损坏”），严重限制了检测系统的工程实用性和可解释性[23]、[24]。

为了解决上述挑战，本研究提出了一种面向无人机航拍图像、轮胎-路面噪声和环境结构参数的跨模态多阶段路面状况检测框架：视觉-多模态门控Transformer（VMG-Transformer）。该框架不是简单堆叠模块，而是构建了一个从多源异构输入到逻辑自洽输出的端到端智能感知闭环。具体而言，系统首先通过环境感知的跨层视觉表示聚合器（ECVRA）建立稳健的视觉基础，该聚合器通过跨注意力机制动态聚合多尺度特征，并结合环境先验来规避物理干扰。在此基础上，设计了互信息跨模态对齐架构（MICA），通过InfoNCE损失明确对齐异构特征流形并过滤噪声，生成高效的协作表示。最后，将这些深度融合的信息输入门控循环聚合（GRA）解码器，该解码器打破传统并行预测的独立性假设，通过迭代任务协商机制消除分类和回归之间的逻辑悖论。实验结果表明，这种深度耦合的架构设计使VMG-Transformer在复杂操作条件下的检测准确性和工程鲁棒性显著优于现有方法。

图1展示了VMG-Transformer框架的技术流程图，直观地说明了该架构的整体工作流程和核心组件。如图所示，多源异构数据流来自航拍图像、轮胎-路面噪声音频和环境参数的同步输入，首先通过ECVRA模块完成多尺度视觉特征和环境校准的动态聚合。随后，这些特征进入MICA模块，在那里通过基于互信息最大化的深度融合机制实现精确的音视频语义对齐。最终，融合后的表示被输入GRA解码器，通过迭代推理过程输出定性分类和定量回归结果。该图系统地揭示了模块之间的协作工作机制，为理解本研究的方法提供了宏观视角。

单模态检测和环境限制

关于单模态路面检测的研究已经从传统的图像处理发展到深度学习方法。Koch等人[25]和Oliveira等人[26]提供了基于阈值分割和边缘检测算子的早期系统综述，指出这些方法严重依赖于手工设计的特征，并且在复杂背景噪声下泛化能力较差。随着深度学习的兴起，基于CNN的对象检测器已成为

数据收集范围

本研究使用的所有原始数据均来自中国福建省福州市的主要城区及其周边地区，具体包括闽侯县的上街区、仓山区金山大道至普祥大道的走廊以及第三环高速公路的部分匝道，总长度为15.8公里，涵盖了城市主干道、集散路和地方街道。根据“公路性能评估标准”（JTG 5210–2018）

VMG-Transformer的整体架构

传统的路面损坏检测方法通常遵循两阶段范式，这种解耦的流程阻碍了端到端的梯度传播。为了解决这一限制，本研究提出了一种面向无人机航拍图像、轮胎-路面噪声和环境结构参数的跨模态多阶段路面状况检测框架：VMG-Transformer。其核心概念是整合跨模态特征提取、多源信息融合和多任务

实验平台和评估指标

本实验构建的平台环境如表4所示：

本文采用两类任务评估指标——分类和回归——来评估整体模型性能。分类任务的评估指标包括准确率（Accuracy）、精确度（Precision）、召回率（Recall）和F1分数（F1-Score），其计算公式分别表示为方程（9）、（10）、（11）、（12）：

$P\text{精确度}=\mathrm{TP}\mathrm{TP}+FP$