基于智能无人机的深度学习系统,用于多类别混凝土大坝损伤检测

《AUTOMATION IN CONSTRUCTION》:Intelligent UAV-based deep learning system for multi-class concrete dam damage detection

【字体: 时间:2025年12月31日 来源:AUTOMATION IN CONSTRUCTION 11.5

编辑推荐:

  智能检测系统通过改进YOLOX模型与无人机集成,实现混凝土大坝多类型损伤实时高精度识别。摘要:针对传统大坝检测效率低、成本高的问题,提出基于YOLOXs-MDD框架的智能检测系统,集成ECA注意力机制与α-GIoU损失函数,在8.94M参数量下达到mAP50 0.821和F1-score 0.781,支持UAV实时图像/视频分析。

  
本·黄|费·康|刘·曦
河海大学苏州高等研究院,中国苏州215004

摘要

准确的损伤检测对于确保大坝的安全和长期稳定性至关重要。然而,传统的检测方法通常自动化程度低、劳动强度高且成本高昂。为了解决这些问题,本文提出了一种基于改进的YOLOX框架的智能检测系统,该系统利用无人机(UAV)实时识别混凝土大坝中的多种损伤类型。改进后的模型非常轻量级,仅包含894万个参数,但仍实现了0.821的mAP50和0.781的F1分数。基于该模型,使用PyQt5框架实现了检测软件,并构建了一个集成的基于UAV的系统,以支持图像和视频数据的高精度实时分析。这种方法为混凝土大坝损伤的视觉检测提供了一种自动化和智能化的解决方案,具有重要的实际工程应用和未来智能监控系统的潜力。

引言

大坝是重要的蓄水基础设施,其特点是规模庞大且投资巨大。由自然灾害引发的大坝溃坝洪水可能导致重大经济损失,威胁下游社区的安全,并造成严重的国家级损害。目前,中国拥有全球最多的水库大坝[[1], [2], [3]]。确保这些结构的安全运行不仅对经济发展至关重要,而且对于保护公共财产和维护社会稳定也必不可少[[4], [5], [6]]。混凝土大坝容易受到多种表面引发的损伤,包括裂缝、剥落、裸露的钢筋和沉淀物。在各种因素的影响下,这些损伤可能从表面发展到结构内部,甚至在极端情况下可能导致穿透性损伤和灾难性事故[7,8]。因此,定期监测和检测对于早期发现和减轻潜在危害至关重要。这些努力确保了结构的安全,最大化了工程效益,并支持了工业和农业的生产力[[9], [10], [11]]。然而,大坝体积庞大,检测区域广泛,且损伤位置随机。传统的人工检测方法存在相当大的局限性。大坝的规模、广阔且往往复杂的检测区域以及损伤位置的随机分布使得人工检测劳动强度高、耗时且效率低下。此外,这些方法严重依赖主观的人类判断,这影响了准确性和实时响应能力。恶劣的工作环境进一步增加了人员和操作安全的风险[[12], [13], [14], [15]]。这些挑战凸显了迫切需要智能损伤检测系统,以帮助工程师提高检测效率并降低成本。
计算机视觉领域的最新进展为非接触式的基于视觉的结构健康监测技术铺平了道路,这些技术为传统检测方法提供了有希望的替代方案[[16], [17], [18]]。这些技术利用视觉传感器捕捉图像,然后分析图像以识别损伤。传统的图像处理技术(IPTs)在检测特定类型的损伤(如裂缝[19])方面表现出有效性,但在复杂背景下难以识别多种损伤。此外,IPTs通常需要手动特征提取,并且处理速度慢,导致处理大量数据时效率低下[20,21]。
水上的混凝土大坝容易受到各种类型的损伤,这些损伤往往发生在视觉复杂的环境中,其中许多因素会干扰准确识别。例如,水渍、植被和其他障碍物可能会掩盖损伤,使损伤检测过程变得复杂[12,22]。当前的基于深度学习的损伤识别方法通常专注于每张图像检测一种类型的损伤。然而,在现实世界中,单个帧内经常同时存在多种类型的损伤,降低了这些方法的有效性和实用性。由此导致的低检测准确性限制了它们在实际工程中的应用。为了解决这些挑战,开发一种能够减轻背景干扰并准确识别单张图像中多种损伤类型的智能检测模型至关重要[23]。深度学习彻底改变了民用基础设施的无损评估,特别是在损伤检测方面。它提供了强大的特征学习能力,特别适合复杂的图像识别任务[24]。例如,Wang等人[25]利用深度学习实现了历史建筑的自动损伤识别。Xu等人[26]提出了一种改进的Faster R-CNN(基于区域的卷积神经网络)方法,用于检测和定位钢筋混凝土柱中的各种类型的地震损伤。Guzmán-Torres等人[27]应用迁移学习和超参数微调来校准CNN,用于分类沥青表面损伤。对于水下隧道检测,Li等人[28]开发了一个结合深度学习和计算机视觉技术的强大检测框架。Kang等人[29]将YOLOv8n-DCW与水下机器人结合,构建了一个用于水下大坝检测的智能检测平台,显著提高了检测准确性和效率。Hou等人[30]提出了一种基于深度学习和三维点云的水下桥梁缺陷识别方法。
无人机(UAV)已在多个领域得到广泛应用,包括航空摄影、农业、应急救援和电力检测。UAV因其高效、低成本和操作灵活性而受到青睐。它们还可以获取全面的数据,使其在各种应用中具有价值。在结构健康监测领域,UAV在桥梁损伤检测和识别[31,32]、自动建筑检测[33]和道路损伤评估[34]等任务中显示出巨大潜力。Akbar等人[35]研究了一种基于UAV的结构监测系统,该系统将捕获的图像拼接在一起,生成完整的结构概览。Qiu等人[36]使用结合YOLO框架的UAV图像实现了铺砌人行道中的实时裂缝检测。Mayya等人[37]提出了一种基于YOLO集成模型的三阶段裂缝检测框架,展示了YOLO在识别复杂土木工程结构表面缺陷方面的潜力。尽管取得了这些进展,但目前大多数基于UAV的损伤检测研究都集中在提高检测过程中收集的图像和视频数据的处理效率和准确性上。然而,在实际工程应用中仍存在挑战。一个重要的限制是UAV系统在飞行过程中无法进行实时损伤检测,导致识别结构问题的延迟。为了填补这一空白,应将智能检测模型直接集成到UAV平台中。这种集成使得能够实时准确地识别混凝土大坝的损伤,并进一步促进了完全自动化和高效的智能检测系统的发展。
为了解决上述挑战,本研究介绍了一种改进版的YOLOX(You Only Look Once X)深度学习目标检测模型[38],专门用于检测水面上的混凝土大坝损伤。首先,将高效通道注意力(ECA)机制[39]集成到网络架构中,以增强模型关注关键损伤特征的能力,从而提高检测性能。其次,采用α-GIoU(Alpha-Generalized Intersection over Union)[40,41]作为目标定位损失函数,以提高边界框回归的准确性。改进后的模型被嵌入到使用PyQt5(一个用于构建图形用户界面的Python库)开发的定制智能检测软件中,实现了从图像、视频和实时摄像头流中实时检测损伤。通过将此软件与UAV平台集成,构建了一个用于检测混凝土大坝表面损伤的智能检测系统。本研究的主要贡献如下:1.
本研究开发了一种改进的YOLOX模型,命名为YOLOXs-MDD(YOLOXs-Multiple Damage Detection)。该模型将ECA注意力机制集成到增强特征提取网络的输出特征图中。此外,原始的IoU损失函数被α-GIoU取代。这些改进专门优化了模型,以检测混凝土大坝的表面损伤。
  • 2.
    在自建的混凝土大坝损伤数据集上进行了消融实验和比较实验。结果表明,所提出的修改显著提高了模型的检测能力,而注意力机制进一步增强了其专注度和可靠性,特别是在识别大坝损伤方面。
  • 3.
    YOLOXs-MDD模型在测试集准确性上超过了五种著名的目标检测算法。其轻量级架构(8.94 MB)和低计算负担使其非常适合实时损伤检测任务。
  • 4.
    使用PyQt5开发了检测软件,实现了与UAV系统的无缝集成。该软件支持本地图像/视频文件检测以及来自UAV的实时视频流分析,同时还显示和保存结果,以便实际工程应用。
  • 本文的其余部分组织如下。第2节回顾了现有的混凝土大坝损伤检测研究。第3节介绍了所提出的智能检测系统,包括改进的检测算法和硬件集成。第4节描述了数据集构建过程和用于评估模型性能的评估指标。第5节展示了实验结果,包括模型训练、消融研究、比较分析以及在实际场景中的系统验证。最后,第6节总结了本文的主要发现。

    相关工作

    相关工作

    大坝损伤检测方法一直在不断发展和改进。本节将介绍检测大坝损伤的方法以及使用UAV的检测方法。

    大坝损伤检测系统

    大坝损伤检测系统主要由UAV和用于处理数据的智能检测软件组成。本节详细介绍了系统的组成和实现过程。

    实验设置

    为了便于复制本文中呈现的实验结果,本节详细介绍了用于训练模型的数据集准备过程,以及训练所需的设备、环境和超参数设置。它还介绍了模型性能的评估指标。

    结果与讨论

    为了评估YOLOXs-MDD和所提出的智能大坝损伤检测系统的可行性、鲁棒性和优势,该模型在构建的数据集上进行了优化。所有模型都训练到收敛并达到最佳性能。
    首先在测试集上评估了不同规模的YOLOX模型的检测性能,并选择了在准确性和速度之间提供最佳平衡的模型作为基线。然后进行了比较实验

    结论

    本文提出了一种用于混凝土大坝损伤图像的智能检测系统,该系统结合了深度学习和UAV技术,克服了传统方法(如自动化程度低、检测时间长和成本高)的挑战。开发了一种改进的YOLOX模型,以提高UAV和其他视觉传感器收集的损伤图像的检测准确性。基于这一改进模型,使用PyQt5框架开发了智能检测软件,实现了实时

    CRediT作者贡献声明

    本·黄:撰写 – 审稿与编辑、撰写 – 原稿、可视化、验证、监督、软件、资源、项目管理、方法论、调查、正式分析、数据管理、概念化。费·康:撰写 – 原稿、验证、监督、资源、项目管理、方法论、调查、资金获取、正式分析、数据管理、概念化。刘·曦:撰写 – 原稿、监督、软件、项目

    利益冲突声明

    本手稿的提交不存在利益冲突,所有作者均同意发表。我想声明所描述的工作是原创研究,尚未在其他地方发表,也没有被考虑发表。我们声明与可能不恰当地影响我们工作的其他人或组织没有财务和个人关系,也没有任何专业或其他个人利益

    致谢

    本工作得到了中国国家重点研发计划(2022YFB4703404)、国家自然科学基金(52079022, 51979027)、广西关键技术研发计划(Gui Ke AB24010003)和中央高校基本科研业务费(DUT21TD106)的支持。
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普
    • 急聘职位
    • 高薪职位

    知名企业招聘

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号