面向边缘部署的轻量化RGB-T路面裂缝检测网络WTC-Net：基于小波跨模态融合

《Results in Engineering》：WTC-Net: A Lightweight RGB-T Road Crack Detection Network with Wavelet Cross-Modal Fusion for Edge Deployment

　　

本研究针对复杂道路场景下RGB-T裂缝检测所面临的参数规模大、计算复杂度高以及边缘设备部署受限等问题，提出了一种面向边缘部署的轻量化双模态路面裂缝检测网络WTC-Net。该方法基于YOLOv11-RGBT框架，将轻量化主干重构、频域跨模态融合与基于蒸馏的补偿训练集成于统一框架中。为缓解轻量化约束下双模态裂缝特征退化以及细长连续结构表征不稳定的问题，研究人员构建了基于MobileNetV4-Small的轻量化双流主干，并设计了基于小波的跨模态频率融合模块WTCFusion。前者重构主干特征提取路径并保留P3、P4与P5多尺度输出以减少冗余计算；后者从频域角度执行低频互补与高频增强，提升可见光与热红外信息的协同利用能力，并增强细裂缝、弱纹理裂缝及复杂光照条件下裂缝的表征能力。训练阶段引入特征级知识蒸馏，以在不增加推理成本的前提下补偿轻量化导致的表征损失。在公开数据集与自建RGB-T裂缝数据集上的实验表明，WTC-Net在保持裂缝识别能力的同时实现了有效轻量化，最终蒸馏模型在公开数据集上取得0.6012的mAP@0.5与0.3626的mAP@0.5:0.95，参数量由14.22 M降至9.05 M，GFLOPs由33.3降至16.9，推理速度达152.54 FPS。在NVIDIA Jetson Orin平台上经TensorRT FP16优化后，平均推理延迟为31.81 ms（约31.43 FPS），完整端到端流程为12.60 FPS。结果表明该方法在精度、复杂度与实时推理之间取得了均衡，具备路面巡检边缘设备部署的潜力。

研究背景方面，随着道路服役年限延长与车辆荷载反复作用，路面逐渐出现裂缝等病害，裂缝作为早期劣化形式若未及时检测处置，可能引发雨水入渗、材料松散与病害扩展，缩短路面结构使用寿命。实际巡检中传统人工方法效率低、主观性强且存在操作风险，难以满足大规模常态化道路检测需求，因此基于移动或图像传感数据的自动路面病害检测受到关注。现有路面裂缝检测方法多以可见光图像为主要输入，可见光成像可提供丰富纹理与边缘细节，但在光照变化下敏感，阴影遮挡、局部过曝、低照度及路面背景噪声会削弱裂缝特征，导致漏检与误检。热红外成像不依赖外部光照，可通过温度场变化反映裂缝区域与完好路面的热响应差异，在阴影、低光乃至夜间环境下成像更稳定，但其空间分辨率与轮廓细节表征弱于可见光图像，单独使用难以完整描述裂缝几何形态。可见光与热红外图像在信息表征上具有明显互补性，RGB-T联合建模为复杂道路场景裂缝检测提供了有前景的技术路线。然而现有RGB-T融合方法在模态交互与工程部署方面仍存在局限：面向通用缺陷检测设计的融合策略未针对裂缝细窄、连续、低对比度及局部形态变化显著的结构特点进行专门设计，跨模态互补信息尚未被有效挖掘；同时在车载巡检平台、移动终端与边缘设备等资源受限场景下，模型参数、计算成本与实时推理能力之间的矛盾日益突出。尽管近期可见光-红外裂缝检测方法在复杂光照下展现出实用价值，但在裂缝结构表征与边缘设备实时部署之间取得良好平衡仍具挑战。因此，开发兼顾双模态互补性、裂缝结构表征与模型轻量化的检测方法具有明确的研究意义与工程价值。本研究目标是开发面向边缘部署的RGB-T路面裂缝检测器，在所研究的道路场景中平衡检测性能与计算效率，具体包括三个支撑性技术目标：通过轻量化双流主干降低计算成本，通过小波子带融合提升双模态特征利用，通过训练阶段特征蒸馏缓解表征损失；并从检测性能、模型复杂度与边缘执行性能三方面进行评价，将模型推理速度与完整流程吞吐量加以区分。研究得出，WTC-Net在保持裂缝识别能力的同时实现了有效轻量化，在精度、复杂度与实时推理之间取得均衡，表明其具备道路巡检边缘设备部署潜力。其重要意义在于表明轻量化不应被视为简单的网络压缩，而应与任务特定的跨模态特征表征相结合。

在关键技术方法方面，研究人员采用基于MobileNetV4-Small的轻量化双流主干重构YOLOv11-RGBT主干特征提取路径，保留P3、P4、P5多尺度输出；设计基于二维Haar小波分解的跨模态频率融合模块WTCFusion，对低频分支采用热红外引导加权融合、对高频分支优先保留裂缝相关响应并进行跨模态交互，经小波逆变换重构空间域特征，并提供Minimal、Lite、Full三种复杂度配置；训练阶段采用特征级通道蒸馏（CWD），以预训练YOLOv11x-RGBT为教师、WTC-Net为学生，在P3、P4、P5特征层以Softmax归一化空间响应并用KL散度对齐通道分布，教师参数冻结、仅更新学生；数据方面使用Liu等发布的公开RGB-T裂缝数据集（FLUKE TiX580采集，保留3027对有效图像）以及自建RGB-T数据集（海康HM-TP23-10VF/W与UNI-T UTi320E采集，保留1786对有效图像），均按7:2:1划分训练、验证与测试集，并对可见光图像施加CLAHE、对热红外图像进行灰度归一化与轻度高斯平滑；边缘部署中将模型转换为ONNX并经TensorRT FP16在NVIDIA Jetson Orin上优化验证。

研究结果方面，基线模型选择与对比分析表明，YOLOv7-RGBT虽取得最高mAP@0.5（0.6325），但需70.83 M参数与248.0 GFLOPs，推理仅31.94 FPS；YOLOv9-RGBT取得最高Precision与F1-score但推理速度低于YOLOv11-RGBT；YOLOv10-RGBT与YOLOv12-RGBT计算成本较低但精度明显下降。YOLOv11-RGBT以14.22 M参数、33.3 GFLOPs实现130.39 FPS与0.5785的mAP@0.5，最契合边缘部署需求，故被选为基线框架。公开数据集结果表明，RGB+T输入整体优于单一模态，CSP主干下RGB+T的mAP@0.5较纯RGB高2.57个百分点、较纯热红外高20.64个百分点，mAP@0.5:0.95由纯RGB的0.3305升至0.3566，证实可见光纹理与热红外响应在复杂光照下具有互补性；将CSP替换为MobileNetV4后参数量由14.22 M降至7.97 M、GFLOPs由33.3降至15.9、FPS由130.39升至173.64，但mAP@0.5由0.5785降至0.5487，说明仅压缩主干会削弱裂缝特征表征；不同WTCFusion配置对比中Full配置最优，mAP@0.5达0.5815、mAP@0.5:0.95达0.3513，较Lite与Minimal分别提升5.12与6.11个百分点，计算成本为16.9 GFLOPs、推理速度152.54 FPS；CSP-Full与MobileNetV4-Full对比显示后者参数量由19.06 M降至9.05 M、GFLOPs由40.5降至16.9、FPS由95.7升至152.54，mAP@0.5仅由0.6028降至0.5815；知识蒸馏后WTC-Net的mAP@0.5由0.5815升至0.6012、mAP@0.5:0.95由0.3513升至0.3626，Precision与F1-score分别由0.6427、0.5978升至0.6661、0.6042，Recall仅轻微下降，较原始YOLOv11-RGBT基线mAP@0.5提升2.27个百分点而参数与计算量均降低。自建数据集结果表明，RGB+T输入同样优于单一模态，CSP主干下mAP@0.5为0.5567、mAP@0.5:0.95为0.3266，但RGB-T增益小于公开数据集，可能归因于更强的背景干扰与更多样的裂缝外观；替换为MobileNetV4后参数量降至7.97 M、GFLOPs降至15.9、FPS升至173.64，mAP@0.5由0.5567降至0.5263，趋势与公开数据集一致；WTCFusion-Full在MobileNetV4主干下mAP@0.5达0.5482，较Lite与Minimal分别高1.65与2.84个百分点；蒸馏后mAP@0.5由0.5482升至0.5815并超过原始YOLOv11-RGBT基线，Precision由0.5187升至0.6278、F1-score由0.5599升至0.5798，而Params、GFLOPs与FPS保持不变；相较未蒸馏的WTCFusion-Full，蒸馏使Precision提升10.91个百分点但Recall下降6.97个百分点，mAP@0.5提升3.33个百分点而mAP@0.5:0.95下降2.84个百分点。消融实验与轻量化分析表明，MobileNetV4使参数量与GFLOPs大幅下降但精度下降（公开数据集mAP@0.5由0.5785降至0.5487，自建数据集由0.5567降至0.5263）；引入WTCFusion后两个数据集精度均恢复（公开数据集mAP@0.5升至0.5815、mAP@0.5:0.95升至0.3513；自建数据集分别升至0.5482与0.3462），而Params与GFLOPs仅小幅增至9.05 M与16.9；知识蒸馏在不改变Params、GFLOPs与FPS的前提下进一步提升精度（公开数据集mAP@0.5升至0.6012，自建数据集升至0.5815、Precision升至0.6278），说明提升来自更好的特征学习而非模型容量增加；RGB:T输入比例分析显示热红外主导的1:9设置mAP@0.5为0.5217、RGB主导的9:1设置为0.5239，均低于均衡5:5设置的0.5815与0.5978的F1-score，表明过度依赖单一模态会削弱检测性能。边缘设备部署与TensorRT实时验证表明，将训练好的PyTorch模型转换为ONNX并经TensorRT FP16在NVIDIA Jetson Orin上优化，输入为1×6×640×640的六通道张量，纯推理平均延迟31.81 ms、对应31.43 FPS，相较PyTorch FP32的961.59 ms实现30.23倍加速；完整端到端流程在304对RGB-T图像上平均耗时79.35 ms、对应12.60 FPS，其中图像加载与预处理占47.25 ms（59.54%）、TensorRT推理占31.81 ms（40.09%）、后处理占0.29 ms（0.37%），表明当前瓶颈主要在于数据加载、预处理与六通道张量构建而非网络推理。

讨论部分总结如下：消融结果进一步证实各组件贡献，MobileNetV4-Small有效降低双模态主干参数规模与计算成本，WTCFusion通过改善频域互补信息利用在轻量化约束下恢复并增强裂缝结构表征，知识蒸馏在不引入额外推理负担的前提下提升轻量化学生模型的判别能力，三者协同改善了RGB-T裂缝检测的精度-效率权衡，表明轻量化不应被视为简单网络压缩而应与任务特定跨模态特征表征相结合。边缘部署实验表明模型已实现模型级实时推理，可支撑低延迟边缘侧裂缝检测，进一步系统级优化数据流水线有望提升端到端实时性。本研究亦存在若干局限：两个数据集覆盖区域、道路条件与采集时段有限，未开展跨设备、跨季节与跨区域迁移评估；RGB-T配准误差与热成像设备差异可能影响融合性能，但其影响未经受控扰动实验量化；结果基于单次训练，未提供重复运行的统计区间，小波基选择与蒸馏超参数未经系统敏感性分析；自建数据集上的蒸馏呈现Precision与Recall之间以及较宽松与较严格定位指标之间的权衡而非各指标一致提升；部署仅在单一边缘平台评估，完整流程为12.60 FPS，且缺少同等条件下的跨模型对比。研究结论部分翻译如下：本研究提出了WTC-Net，一种面向复杂道路巡检场景与边缘部署的轻量化RGB-T路面裂缝检测网络。该方法基于YOLOv11-RGBT框架开发，针对双模态裂缝检测中计算成本高、细裂缝结构表征不足与边缘设备部署效率受限三个关键问题。为此，引入MobileNetV4-Small重构双流主干，降低RGB与热红外特征提取中的冗余计算；设计基于小波的跨模态融合模块WTCFusion，在可见光与热红外特征间执行频域交互，其中低频分量用于增强模态互补性并抑制背景干扰，高频分量用于强化裂缝边缘、分叉与连续结构；此外在训练阶段引入特征级知识蒸馏，以在不增加推理成本的前提下补偿轻量化导致的表征损失。实验在公开RGB-T裂缝数据集与自建的真实道路场景RGB-T数据集上开展，结果表明WTC-Net在检测精度与模型效率之间取得良好平衡。公开数据集上，最终蒸馏后的WTC-Net取得0.6012的mAP@0.5与0.3626的mAP@0.5:0.95，较YOLOv11-RGBT基线分别提升2.27与0.60个百分点；自建数据集上WTC-Net取得0.5815的mAP@0.5，较双模态基线高2.48个百分点；同时参数量由14.22 M降至9.05 M，GFLOPs由33.3降至16.9，推理速度达152.54 FPS。结果表明所提方法在降低模型复杂度的同时提升了检测性能，而非依赖更大网络获得更高精度。消融结果进一步证实各组件贡献：MobileNetV4-Small有效降低双模态主干参数规模与计算成本；WTCFusion通过改善频域互补信息利用在轻量化约束下恢复并增强裂缝结构表征；知识蒸馏在不引入额外推理负担的前提下提升轻量化学生模型的判别能力。这些组件协同改善了RGB-T裂缝检测的精度-效率权衡，表明轻量化不应被视为简单网络压缩，而应与任务特定的跨模态特征表征相结合。边缘部署实验在NVIDIA Jetson Orin平台上采用TensorRT FP16加速开展，在640×640六通道RGB-T输入下，WTC-Net平均TensorRT推理延迟为31.81 ms，对应约31.43 FPS；完整端到端流程达12.60 FPS，表明模型已实现模型级实时推理，可支撑低延迟边缘侧裂缝检测。耗时分析显示当前瓶颈主要在于RGB-T图像加载、预处理与六通道张量构建而非神经网络推理，因此进一步的数据流水线系统级优化可提升端到端实时性能。本研究存在若干局限：两个数据集覆盖区域、道路条件与采集时段有限，未开展独立的跨设备、跨季节与跨区域迁移评估；RGB-T配准误差与热成像设备差异可能影响融合性能，但其影响未经受控扰动实验量化；所报结果基于单次训练，未提供重复运行的统计区间，小波选择与蒸馏超参数未经系统敏感性分析；自建数据集上的蒸馏呈现Precision与Recall之间以及较宽松与较严格定位指标之间的权衡，而非各指标一致提升；部署仅在单一边缘平台评估，完整流程为12.60 FPS，且缺少同等条件下的跨模型对比。这些局限界定了当前结论的范围，后续研究应评估分布偏移、配准误差、训练稳定性与系统效率。