《Water》:YOLO-Defender: A Lightweight CNN–Transformer Detector for Dike Crack Detection
编辑推荐:
摘要:表面裂缝是防洪基础设施劣化的关键指标,然而,由于背景复杂、几何形态细长以及表观尺度变化,从检测图像中自动检测裂缝仍具挑战性。本研究旨在开发一种轻量级检测器,在保持计算效率的同时实现准确的堤防裂缝检测。研究人员基于YOLOv8n构建了一种混合CNN–Tra
摘要:表面裂缝是防洪基础设施劣化的关键指标,然而,由于背景复杂、几何形态细长以及表观尺度变化,从检测图像中自动检测裂缝仍具挑战性。本研究旨在开发一种轻量级检测器,在保持计算效率的同时实现准确的堤防裂缝检测。研究人员基于YOLOv8n构建了一种混合CNN–Transformer检测器,称为YOLO-Defender。该框架在骨干网络中引入C2F-FTB模块以进行局部–全局特征表示,采用BiFF-PAN颈部增强多尺度特征融合,并利用坐标注意力改善空间特征定位。模型在包含1217幅图像的内部堤防裂缝数据集上进行了评估,这些图像采集自防洪结构及相关裂缝成像场景,并采用统一的训练与测试协议。YOLO-Defender实现了89.6%的mAP@0.5和69.2%的mAP@0.5:0.95,分别比YOLOv8n提高了3.0和5.1个百分点。与YOLOv8n相比,所提模型的参数量和GFLOPs分别降低了41.2%和18.5%,同时在桌面GPU上实现了153 FPS的推理速度。结果表明,面向任务的架构设计可以在保持轻量特性的同时提高裂缝检测精度和定位性能。这些发现支持对水利基础设施检测图像进行高效筛查。
**论文解读:YOLO-Defender:面向堤防裂缝检测的轻量级CNN–Transformer检测器**
**1. 研究背景与问题**
堤防是防洪系统的关键组成部分,其表面裂缝是结构劣化的重要可见标志。裂缝通常源于内部应力重分布、材料退化或差异沉降,其扩展可能为水分渗入和渗流提供通道,进而导致局部失稳,增加汛期管涌和溃堤风险。因此,早期识别表面缺陷对于水利工程的状态维修和风险缓解至关重要。传统的人工目视检查依赖检查人员经验,劳动强度大、标准化困难,难以满足现代水利基础设施运维中大规模、高频次监测的需求,尤其是汛前巡查等密集检查阶段。随着无人机和自动化检测平台的发展,基于图像的结构健康监测逐渐采用自动化检测方式。然而,将大量检测图像转化为可靠的裂缝信息,需要鲁棒的自动检测算法。现有检测方法可分为传统图像处理方法和基于深度学习的方法。传统方法依赖手工特征和预处理策略,在光照变化、植被干扰、土壤纹理背景和阴影污染等复杂现场条件下鲁棒性有限。深度学习方法可自动学习分层表示,已在土木基础设施视觉检查中取得较好性能。在深度学习检测器中,YOLO系列因其单阶段架构可实现目标定位与分类的高效联合优化而备受关注。尽管两阶段检测器如Faster R-CNN性能较强,但其计算复杂度限制了在资源受限场景下的部署。YOLOv8已成为轻量检测应用广泛采用的基线。针对水利基础设施检测,已有研究探索了视觉Transformer和注意力增强的YOLO架构,但不同研究的任务形式、图像采集条件和评估协议差异较大,定量比较困难,且许多研究仅报告mAP@0.5,较少考虑更严格的mAP@0.5:0.95定位标准。堤防裂缝检测仍面临三大技术挑战:一是传统CNN骨干依赖局部感受野,难以建模全局连续的裂缝轨迹,易导致预测碎片化;二是裂缝实例在表观尺度和形状上差异大,传统特征金字塔网络和路径聚合网络基于固定多尺度融合策略,可能无法在特征聚合中充分保留细粒度空间细节或语义一致性;三是无人机和机器人巡检的实际部署要求模型轻量化,同时在高IoU阈值下保持对高长宽比裂缝的准确定位。为此,研究人员提出YOLO-Defender,一种基于YOLOv8n的轻量级检测器,对骨干、颈部和注意力模块进行联合调整以适应细长裂缝形态和严格定位要求。
**2. 研究内容与结论**
研究人员构建了YOLO-Defender检测器,其架构包含三个主要改进:在骨干网络的最后C2f模块替换为C2F-FTB混合模块,通过并行CNN–Transformer特征建模捕获局部纹理和长程裂缝连续性;设计BiFF-PAN双向特征融合颈部,引入选择性特征融合增强跨尺度表示;在SPPF模块后插入坐标注意力,提升细长裂缝结构的空间位置感知。模型在包含1217幅图像的内部多源堤防裂缝数据集上评估,其中917幅为裂缝正样本,300幅为无裂缝负样本。数据来源包括公开裂缝图像和在中国福建省福州市部分堤防及水库相关水工结构采集的现场照片。所有裂缝实例均使用LabelImg标注为单一“裂缝”类别。数据集按60:20:20比例划分训练、验证和测试集,训练集经离线增强扩大至5840幅。实验采用统一的训练协议(640×640输入,SGD优化,150轮)。结果显示,YOLO-Defender达到89.6% mAP@0.5和69.2% mAP@0.5:0.95,比YOLOv8n基线提高3.0和5.1个百分点,同时参数量减少41.2%,GFLOPs减少18.5%,在桌面GPU上推理速度达153 FPS。在分层评估中,堤防现场子集和非现场子集在严格指标下分别获得+5.2和+5.0百分点的提升,表明改进具有一致性。该研究证明了面向任务导向的架构设计可在保持轻量特性的同时提高裂缝检测精度和定位性能,支持高效筛查水利基础设施检测图像。
**3. 主要关键技术方法**
(1)C2F-FTB混合模块:并行CNN分支(堆叠Bottleneck)与Transformer分支(多头自注意力MHSA+卷积门控线性单元CGLU),融合局部纹理与长程依赖,替换YOLOv8n骨干最深层C2f。(2)BiFF-PAN颈部:双向特征传播路径与选择性特征融合节点,实现跨尺度自适应聚合。(3)坐标注意力:沿水平和垂直轴分解通道注意力,保留位置信息。(4)评估协议:采用COCO风格指标mAP@0.5和mAP@0.5:0.95,GFLOPs和FPS衡量复杂度与效率,Grad-CAM进行可视化解释。(5)数据集:自建多源数据集,包含福建省福州市现场堤防图像和公开裂缝图像,以及基于形态相似性的混凝土代理样本。
**4. 研究结果**
**消融研究**:以YOLOv8n为基线,逐模块加入C2F-FTB、BiFF-PAN和CA。单独替换C2F-FTB使mAP@0.5升至88.3%,参数量降至2.69 M;单独引入BiFF-PAN使mAP@0.5达88.0%,参数量降至2.08 M;单独加入CA保持mAP@0.5不变,但mAP@0.5:0.95从64.1%提升至65.7%。组合C2F-FTB和BiFF-PAN后mAP@0.5达89.1%,参数仅1.77 M;最终完整模型YOLO-Defender达到89.6% mAP@0.5和69.2% mAP@0.5:0.95。注意力机制对比表明,CA在严格IoU阈值下优于SE、SimAM和CBAM。
**与轻量检测器对比**:与YOLOv8n、YOLOv10n、YOLOv11n及重训练的YOLOv8n-Ghost对比,YOLO-Defender取得最高mAP@0.5(89.6%)和mAP@0.5:0.95(69.2%),召回率最高(85.8%),在准确率-效率平衡上优于其他模型。
**定性分析**:Grad-CAM可视化显示,YOLO-Defender对裂缝区域的激活更集中,对相似背景纹理响应更弱;检测框更紧密贴合裂缝目标,与定量结果一致。
**分层评估**:将测试集裂缝正样本分为堤防现场子集(n=103)和非现场子集(n=81),YOLO-Defender在两个子集上的mAP@0.5:0.95分别提升5.2和5.0个百分点,表明改进具有跨子集一致性。60幅无裂缝负样本中,两模型各仅对1幅产生虚假检测。
**5. 讨论与结论**
讨论部分指出,mAP@0.5:0.95的提升对于堤防表面细长裂缝识别尤为重要,因为更严格的IoU阈值强调定位精度。YOLO-Defender在更严格指标下的较强性能和最高召回率,加上153 FPS的推理速度,可能支持汛前筛查工作流。自动化检测作为决策支持工具,辅助人工核验潜在缺陷。尽管YOLOv8n-Ghost更轻更快,但YOLO-Defender在mAP@0.5和mAP@0.5:0.95上更高,表明在当前裂缝检测任务中具有更优的精度-复杂度权衡。研究结论:本研究提出YOLO-Defender,一种用于水利基础设施监测场景中自动化堤防裂缝检查的轻量级检测器。其集成了骨干中的局部-全局特征模块(C2F-FTB)、选择性多尺度特征融合(BiFF-PAN)和坐标注意力,在减少参数量和GFLOPs的同时改善了对细长和尺度变化裂缝的检测。在内部多源裂缝数据集上的评估显示,YOLO-Defender在对比的轻量级YOLO基线中取得了最高的mAP指标,同时保持了紧凑的架构和高推理速度。这些结果提示在现有实验设置下,该模型可用于在桌面GPU上批量筛查水利基础设施检测图像。研究局限性包括:评估限于多源内部数据集,对未见领域的泛化有待验证;当前框架仅提供边界框级裂缝定位,无法提供像素级几何量化(如裂缝宽度和长度)。未来工作将探索集成轻量级掩码或分割头,以便生成裂缝掩码支持形态测量和长期状态监测;并计划在独立公共基准上进行更广泛的外部验证,以及在嵌入式边缘平台上评估资源效率。