通过异构红外-可见光融合与多尺度特征优化实现沥青路面裂缝的稳健无损检测

《Engineering Applications of Artificial Intelligence》:Robust non-destructive detection of asphalt pavement cracks via heterogeneous infrared-visible fusion and scale-diverse feature refinement

【字体: 大 中 小 】 时间:2026年07月26日 来源:Engineering Applications of Artificial Intelligence 9.0

编辑推荐:

  摘要准确的路面裂缝识别对于主动进行基础设施维护至关重要;然而,传统的单模态检测系统往往会受到环境因素的影响,比如不均匀的照明和表面瑕疵。为了解决这个问题,本研究提出了一种强大的无损检测框架,该框架将红外热成像与可见光成像相结合。该模型基于优化的YOLOv8架构,整合了四种针对特定

  

摘要

准确的路面裂缝识别对于主动进行基础设施维护至关重要;然而,传统的单模态检测系统往往会受到环境因素的影响,比如不均匀的照明和表面瑕疵。为了解决这个问题,本研究提出了一种强大的无损检测框架,该框架将红外热成像与可见光成像相结合。该模型基于优化的YOLOv8架构,整合了四种针对特定任务的设计:(1)多尺度特征提取,利用尺度多样性来捕捉局部纹理和整体热结构;(2)并行混合注意力机制,用于有效分离和优化不同类型的特征;(3)在融合之前进行有针对性的模态特定校准,以解决物理属性冲突和残余的空间不一致性问题;(4)基于顶点距离的损失优化策略,以提高细长目标的角部几何对齐精度。通过在实际的红外-可见光裂缝数据集上的对比实验和消融研究,所提出的模型性能优于其他对比的检测方法,其mAP@50值为0.953,mAP@50-95值为0.740。该模型拥有406万个参数,在测试硬件环境下,推理速度可达每秒102帧,因此在检测精度和推理效率之间取得了良好的平衡,显示出其在复杂环境中高效检测路面裂缝的潜力。

引言

沥青路面是交通基础设施的重要组成部分,其结构完整性不断受到交通负荷和环境因素的挑战。及时检测路面缺陷,尤其是裂缝,对于防止水分渗透和后续的结构损坏至关重要(Qiu等人,2022年)。虽然传统的视觉检测——无论是人工检测还是使用可见光相机的自动检测——仍然是标准方法,但它受到环境条件的严重限制。不均匀的照明、植被的阴影以及表面污渍(如油渍或轮胎痕迹)常常导致漏检或误报,使得难以准确评估路面材料的真实状况(Shi等人,2024年)。
为了克服这些限制,红外热成像技术作为一种很有前景的无损检测技术应运而生。红外热成像的原理是,裂缝会破坏路面材料内的热量传递,由于裂缝处的空气或水分与周围沥青的热辐射率和导热率不同,从而产生热异常现象(Xing等人,2024年)。因此,将红外热数据与可见光纹理信息结合起来,可以提供一种有效的解决方案:可见光能够提供高分辨率的表面细节,而红外成像则能揭示地下结构的不连续性,并且在低光照条件下依然有效(Jiang等人,2024年)。
尽管红外-可见光融合技术具有很大的潜力,但将深度学习技术应用于这种多模态无损检测任务却面临着独特的工程和计算难题。首先,热图像和光学图像之间的差异会导致特征不对齐。红外图像中的“热点”(表示热异常)并不总是与可见图像中的“边缘”(表示几何裂缝)在空间上完全对齐,这在特征融合过程中会造成冲突(Gao等人,2024年)。其次,路面裂缝通常具有极端的纵横比和不规则的拓扑形状,通用的物体检测器往往难以使用标准的边界框回归方法准确定位这些细长的目标(Liang等人,2023年)。第三,实际检测场景要求高效的推理速度,然而现有的双分支融合网络往往存在较高的计算冗余和大量的参数,这可能限制了它们在资源有限的检测环境中的应用(Liu等人,2024年;Yang等人,2024年)。
为了解决这些挑战,尤其是在实际检测场景中的计算限制问题,YOLO系列模型因其速度与精度之间的良好平衡而被广泛采用(Terven等人,2023年)。尽管基于Transformer的检测器也表现出了强大的性能,但由于其基于CNN的架构,YOLO系列模型在道路检测等工业应用中具有独特的优势,比如更高的推理速度、更低的计算开销以及更易于部署(Hussain,2023年)。YOLOv8由于其广泛的应用范围和完善的维护生态系统,也已成为一种实用且强大的基准模型(Wang等人,2023年)。
基于以上考虑,本研究首先构建了yolov8n_f4_scaff2_adf作为初始的红外-可见光融合基准模型,如图1所示。该基准模型采用了对称的双分支YOLOv8n架构,可见光图像和红外图像分别由两个独立的骨干网络分支进行处理,以保留各模态的特定特征。多尺度特征通过特征金字塔网络和路径聚合网络进行聚合(Lin等人,2017年;Liu等人,2018年),然后在不同的金字塔层级上融合跨模态特征图。该融合设计还包含了scaff2和ADF操作。具体而言,scaff2是基于CSPNet的分裂特征和梯度多样性理念、红外-可见光特征交互策略以及引导式多尺度特征聚合概念发展而来的(Wang等人,2020年;Bao等人,2023年;Wang等人,2022年)。通过这种基准设计,该模型的精确度为0.885,召回率为0.876,mAP@50-95值为0.711。
在图1中,CBS代表由卷积、批量归一化和SiLU激活函数组成的卷积单元。SPPF用于最深层的骨干网络阶段,用于聚合多尺度上下文信息。ADF表示AddFusion操作,即通过逐元素相加的方式融合两种模态的对齐特征图。scaff2节点对应的是SCAFF2特征融合模块,该模块负责在不同金字塔层级上重新校准并整合红外-可见光特征。在模型名称yolov8n_f4_scaff2_adf中,f4表示深度整合的融合结构,scaff2表示SCAFF2特征融合模块,adf表示AddFusion操作。
然而,尽管取得了这些成果,该基准架构在实时现场部署方面的计算效率仍然有限。更重要的是,它缺乏专门用于处理多模态数据物理异质性的机制,尤其无法解决热异常与表面纹理之间的空间匹配问题,也无法准确捕捉不规则裂缝的细微拓扑结构。
为了解决这些限制,本研究提出了一种新颖且高效的红外-可见光融合框架,命名为yolov8n_f4s2c_m4cac4_CDIoU。该框架的主要任务导向设计可分为四个方面:
首先,为了捕捉长裂缝的连续拓扑结构,设计了一个多尺度特征提取模块C2fv1k9,该模块采用多分支扩张卷积技术。这种方法可以有效扩大感知范围,以便捕捉整体的裂缝几何形态,同时还能显著降低计算复杂度,适合轻量级部署。
其次,为了解决关键特征相关性不足的问题,设计了MA4CBCA混合注意力模块。该模块能够协同增强可见光图像中的纹理细节以及红外图像中的整体热分布特征,从而提高模型对细微裂缝的敏感度。
第三,为了解决传感器差异导致的特征冲突问题,引入了CorAF4融合模块。该模块采用“先注意力分配,再融合”的策略,在整合之前分别校准每种模态的特征权重,以减少噪声干扰。
最后,为了提高对不规则路面缺陷的定位精度,提出了CDIoU损失函数。该损失函数通过引入基于顶点距离的惩罚项,使得对于具有极端纵横比的裂缝,能够实现更精确的边界框回归。

章节片段

用于基础设施检测的多模态物体检测

红外图像与可见光图像的融合已成为基础设施检测中的关键技术,尤其是在路面裂缝检测领域。可见光能够提供高分辨率的纹理细节,而红外热成像则可以捕捉到肉眼无法看到的地下缺陷或细微裂缝的温度差异。融合策略通常分为早期(像素级)、晚期(决策级)和特征级融合。特征级融合被广泛应用于

C2fv1k9:一种高效的多尺度特征提取模块

YOLOv8中的C2f模块是其核心的特征提取单元,它是早期YOLO版本中C3模块的改进版本。如图2(a)所示,C2f模块的宏观结构包括一个初始的CBS层、特征分割操作以及一系列瓶颈模块。其核心思想是将骨干网络的特征流与所有瓶颈模块的输出相连接,从而汇聚更丰富的梯度流信息。
在标准的C2f模块中,如图所示

数据集

本研究使用的所有数据均通过实地采集获得,图像来源于真实的沥青路面,旨在创建一个高质量、贴近实际应用场景的多模态裂缝检测数据集。

结论与建议

本研究解决了红外-可见光路面裂缝检测中检测精度和推理效率方面的关键问题,尤其是传统单模态视觉检测所面临的环境限制。通过逐步改进最初的基于YOLOv8n的红外-可见光融合基准模型yolov8n_f4_scaff2_adf,本研究开发出一种新型且轻量级的红外-可见光融合框架,名为yolov8n_f4s2c_m4cac4_CDIoU。该框架整合了四个针对特定应用领域的组件

CRediT作者贡献声明

李翔:概念构思、形式分析、方法设计、初稿撰写。徐文渊:项目管理、资源协调、监督指导、修订编辑。季永成:数据整理、调研分析、结果验证。

利益冲突声明

作者声明,他们不存在任何可能影响本文研究结果的已知财务利益或个人关系。

致谢

本研究得到了黑龙江省自然科学基金【项目编号PL2024E011】、黑龙江省重点研发计划【项目编号GZ2024009】以及黑龙江省交通运输厅科技项目【项目编号HJK2023B009】的支持。
Xiang Li|Wenyuan Xu|Yongcheng Ji
中国哈尔滨,东北林业大学土木与交通学院
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号