沥青路面是交通基础设施的重要组成部分,其结构完整性不断受到交通负荷和环境因素的挑战。及时检测路面缺陷,尤其是裂缝,对于防止水分渗透和后续的结构损坏至关重要(Qiu等人,2022年)。虽然传统的视觉检测——无论是人工检测还是使用可见光相机的自动检测——仍然是标准方法,但它受到环境条件的严重限制。不均匀的照明、植被的阴影以及表面污渍(如油渍或轮胎痕迹)常常导致漏检或误报,使得难以准确评估路面材料的真实状况(Shi等人,2024年)。
为了克服这些限制,红外热成像技术作为一种很有前景的无损检测技术应运而生。红外热成像的原理是,裂缝会破坏路面材料内的热量传递,由于裂缝处的空气或水分与周围沥青的热辐射率和导热率不同,从而产生热异常现象(Xing等人,2024年)。因此,将红外热数据与可见光纹理信息结合起来,可以提供一种有效的解决方案:可见光能够提供高分辨率的表面细节,而红外成像则能揭示地下结构的不连续性,并且在低光照条件下依然有效(Jiang等人,2024年)。
尽管红外-可见光融合技术具有很大的潜力,但将深度学习技术应用于这种多模态无损检测任务却面临着独特的工程和计算难题。首先,热图像和光学图像之间的差异会导致特征不对齐。红外图像中的“热点”(表示热异常)并不总是与可见图像中的“边缘”(表示几何裂缝)在空间上完全对齐,这在特征融合过程中会造成冲突(Gao等人,2024年)。其次,路面裂缝通常具有极端的纵横比和不规则的拓扑形状,通用的物体检测器往往难以使用标准的边界框回归方法准确定位这些细长的目标(Liang等人,2023年)。第三,实际检测场景要求高效的推理速度,然而现有的双分支融合网络往往存在较高的计算冗余和大量的参数,这可能限制了它们在资源有限的检测环境中的应用(Liu等人,2024年;Yang等人,2024年)。
为了解决这些挑战,尤其是在实际检测场景中的计算限制问题,YOLO系列模型因其速度与精度之间的良好平衡而被广泛采用(Terven等人,2023年)。尽管基于Transformer的检测器也表现出了强大的性能,但由于其基于CNN的架构,YOLO系列模型在道路检测等工业应用中具有独特的优势,比如更高的推理速度、更低的计算开销以及更易于部署(Hussain,2023年)。YOLOv8由于其广泛的应用范围和完善的维护生态系统,也已成为一种实用且强大的基准模型(Wang等人,2023年)。
基于以上考虑,本研究首先构建了yolov8n_f4_scaff2_adf作为初始的红外-可见光融合基准模型,如图1所示。该基准模型采用了对称的双分支YOLOv8n架构,可见光图像和红外图像分别由两个独立的骨干网络分支进行处理,以保留各模态的特定特征。多尺度特征通过特征金字塔网络和路径聚合网络进行聚合(Lin等人,2017年;Liu等人,2018年),然后在不同的金字塔层级上融合跨模态特征图。该融合设计还包含了scaff2和ADF操作。具体而言,scaff2是基于CSPNet的分裂特征和梯度多样性理念、红外-可见光特征交互策略以及引导式多尺度特征聚合概念发展而来的(Wang等人,2020年;Bao等人,2023年;Wang等人,2022年)。通过这种基准设计,该模型的精确度为0.885,召回率为0.876,mAP@50-95值为0.711。
在图1中,CBS代表由卷积、批量归一化和SiLU激活函数组成的卷积单元。SPPF用于最深层的骨干网络阶段,用于聚合多尺度上下文信息。ADF表示AddFusion操作,即通过逐元素相加的方式融合两种模态的对齐特征图。scaff2节点对应的是SCAFF2特征融合模块,该模块负责在不同金字塔层级上重新校准并整合红外-可见光特征。在模型名称yolov8n_f4_scaff2_adf中,f4表示深度整合的融合结构,scaff2表示SCAFF2特征融合模块,adf表示AddFusion操作。
然而,尽管取得了这些成果,该基准架构在实时现场部署方面的计算效率仍然有限。更重要的是,它缺乏专门用于处理多模态数据物理异质性的机制,尤其无法解决热异常与表面纹理之间的空间匹配问题,也无法准确捕捉不规则裂缝的细微拓扑结构。
为了解决这些限制,本研究提出了一种新颖且高效的红外-可见光融合框架,命名为yolov8n_f4s2c_m4cac4_CDIoU。该框架的主要任务导向设计可分为四个方面:
首先,为了捕捉长裂缝的连续拓扑结构,设计了一个多尺度特征提取模块C2fv1k9,该模块采用多分支扩张卷积技术。这种方法可以有效扩大感知范围,以便捕捉整体的裂缝几何形态,同时还能显著降低计算复杂度,适合轻量级部署。
其次,为了解决关键特征相关性不足的问题,设计了MA4CBCA混合注意力模块。该模块能够协同增强可见光图像中的纹理细节以及红外图像中的整体热分布特征,从而提高模型对细微裂缝的敏感度。
第三,为了解决传感器差异导致的特征冲突问题,引入了CorAF4融合模块。该模块采用“先注意力分配,再融合”的策略,在整合之前分别校准每种模态的特征权重,以减少噪声干扰。
最后,为了提高对不规则路面缺陷的定位精度,提出了CDIoU损失函数。该损失函数通过引入基于顶点距离的惩罚项,使得对于具有极端纵横比的裂缝,能够实现更精确的边界框回归。