《Journal of Water Process Engineering》:Automatic detection of multiple defects in deteriorated concrete sewer pipelines: A method based on StyleGAN and MCFN-YOLO
编辑推荐:
混凝土下水管道多缺陷自动检测方法提出基于StyleGAN3数据增强与MCFN-YOLO框架,通过生成高保真缺陷图像解决数据不足问题,并创新性地整合多尺度特征融合、全连接路径聚合网络、高效多尺度注意力机制和自适应检测头,实现96% mAP和60 FPS实时处理能力。
Jinghui Zhang|Jing Yang|Xirong Niu|Erbo Song|Hailong Cao|Yongfeng Wang|Fulong Gao
山西大学电力、土木工程与建筑学院,太原,030031,中国
摘要
混凝土污水管道是城市水和废水管理系统中的关键组成部分,但在长期使用过程中会遭受破裂、沉积、变形和错位等问题,从而对其结构完整性和使用寿命构成威胁。传统的基于闭路电视(CCTV)的人工检测方法效率低下且容易受到操作者主观偏见的影响。本研究旨在解决在复杂内部管道环境及光照条件不足的情况下,自动管道缺陷检测中存在的检测精度低和数据源不足的问题。本文提出了一种基于生成对抗网络数据增强的方法,用于检测劣化混凝土管道中的多重缺陷。该方法结合了基于StyleGAN3的数据增强技术和多尺度上下文融合网络(MCFN)-YOLO检测框架:StyleGAN3用于生成包含多种缺陷类型的高保真合成图像,从而扩大数据集的规模和多样性;MCFN-YOLO框架包括多尺度上下文融合网络(MCFN)用于分层特征提取、全连接PAN(FC-PAN)用于密集的跨层融合、高效多尺度注意力(EMA)机制用于特征细化,以及自适应尺度感知检测头(ASA-Head)以提高尺度适应性。实验结果表明,在复杂成像条件下,该模型的mAP达到96%,F1分数达到92%,优于基线模型(YOLOv8、YOLOv7、YOLOv9、YOLOv12、YOLOv13、SSD和Faster R-CNN),并且其推理速度支持60 FPS的CCTV视频流实时处理。StyleGAN3生成的合成图像具有较高的视觉真实性(FID = 22),显著提升了模型的泛化能力。基于该方法还开发了一个实用检测平台,能够自动分析图像、视频和实时数据流,为城市污水基础设施的智能维护提供了有效解决方案。
引言
污水管道是城市水和废水管理系统的基础组成部分,其结构完整性直接影响水力性能、处理效率和环境安全。排水管道的长期使用不可避免地会导致裂缝、沉积物堵塞、结构变形和接头错位等典型内部缺陷[1]。这些缺陷主要是由于地下水渗透和外部载荷条件变化共同作用的结果[2]。当道路上方的交通载荷通过土壤传递到管道时,所产生的压力会加剧管道的结构损坏[3]。因此,对混凝土管道进行定期检测和及时修复至关重要[4]。未能及时发现和修复这些缺陷可能导致水力能力下降、局部泄漏,最终引发结构失效[5],进而引发地面沉降和环境污染等次生危害[6]。例如,结构变形、坍塌和接头错位不仅严重削弱了管道的承载能力,还会导致局部应力集中,加速周围土壤的流失,从而对排水基础设施的运行安全和服务寿命构成严重威胁[7]。
传统的排水管道缺陷检测主要依赖于闭路电视(CCTV)系统,操作者通过分析视频片段来识别和记录缺陷位置[8]。然而,这种方法受操作效率低和主观判断的影响较大,容易导致诊断不准确[9]。尽管已经开发了自动图像处理技术,但由于管道内部的噪声和光照条件限制,其实际应用仍受到限制[10]。因此,开发高效准确的智能管道缺陷检测方法至关重要[11]。
近年来,深度学习技术在城市水基础设施领域得到了广泛应用,特别是在污水管道缺陷检测方面,已成为自动化检测任务的有力替代方案。早期的深度学习技术利用卷积神经网络(CNN)处理污水管道的闭路电视(CCTV)图像。先驱性工作展示了两阶段算法(CNN和Faster R-CNN)在自动缺陷检测和分类中的应用[12][13],奠定了基础框架。随后,Kumar等人[14]评估了SSD、Faster R-CNN和YOLO,并分析了后来出现的单阶段算法(SSD和YOLO)的优势。Dang等人[15]开发了一种基于深度学习的分类方法来解决数据不平衡问题。随后,研究人员致力于提高模型性能并解决实际挑战,采用了改进的架构(如DefectTR)进行端到端缺陷检测,取得了有希望的结果[16]。最近,引入了“一次看清楚”(YOLO)算法用于检测和分类[17]。高级研究结合了成像几何特征和改进的YOLOv5以提高缺陷定位的准确性[18]。Wang等人[19]采用YOLOv8作为基线模型,并提出了YOLOv8_XMAE以更好地适应污水管道的缺陷检测。基于深度学习的混凝土排水管道内部缺陷检测面临多重挑战,包括多尺度缺陷、充满碎屑的复杂环境以及由于照明不足导致的次优成像条件等,这些因素共同影响了识别的准确性。为了解决这些问题,Siu等人[20]提出了一种生成和增强合成图像的框架,以提高污水管道缺陷检测效果。Li等人[21]通过开发融合局部和全局特征的深度学习模型提高了检测性能。Yin等人[22]建立了基于深度学习的污水管道自动缺陷检测系统,进一步推动了管道检测的自动化。
这些挑战可以归纳为三个主要技术问题:(1)数据集规模和缺陷多样性有限,限制了深度学习模型对复杂缺陷特征的特征描述和有效泛化能力;(2)光照不均匀、壁附着物和沉积物积累的复杂管道环境产生噪声较大、对比度低的图像,阻碍了特征的准确提取;(3)现有方法的计算效率不足,无法满足大规模管道网络检测的需求。
本文提出了一种用于检测劣化混凝土污水管道中多重缺陷的自动检测方法。该方法包括一种StyleGAN数据增强方法,可以自动生成代表多种管道缺陷类型(如破裂、坍塌和障碍物)的图像。这种方法能够构建具有丰富特征表示的全面多类缺陷数据集,并提出了一个包含四个关键技术创新的增强检测框架:(1)利用并行多分支卷积块进行分层特征提取的多尺度上下文融合网络(MCFN);(2)建立密集跨尺度连接的全连接PAN(路径聚合网络)特征金字塔(FC-PAN);(3)在颈部连接处集成的高效多尺度注意力(EMA)机制;(4)具有尺度适应性和动态卷积模块的自适应尺度感知检测头。
本研究的主要贡献如下:
(1)在现场收集了污水管道的内部缺陷图像,并通过StyleGAN3的数据增强建立了全面的多类别缺陷数据集。(2)通过四种架构和模块改进,提出的MCFN-YOLO模型有效提取了不同尺度下的缺陷边缘和细节特征,显著提高了管道缺陷的检测精度。(3)开发了一个集成的管道缺陷检测平台,通过训练模型实现自动化检测。该系统能够批量处理大规模数据,显著提高检测速度和操作效率,实现管道内部缺陷的自动识别,为实际基础设施维护提供了支持。
数据集收集
本研究开发的数据集来源于一个城市排水管道修复项目,其中的混凝土管道段出现了结构劣化,需要立即修复。在长时间使用后,管道系统出现了裂缝、坍塌和堵塞等典型缺陷。为了制定精确的修复计划,准确确定这些缺陷的空间分布、分类和严重程度至关重要
实验
为了验证基于数据增强和MCFN-YOLO的自动管道多重缺陷检测方法的有效性,本研究进行了消融实验和对比检测实验。
数据增强效果
在原始数据集和增强数据集上训练的模型之间进行了对比实验,以评估基于StyleGAN3的数据增强的效果。图5展示了MCFN-YOLO、YOLOv7、YOLOv8、YOLOv9、YOLOv12、YOLOv13、SSD和Faster R-CNN的对比结果。使用StyleGAN3增强数据训练的模型表现出整体性能的显著提升。其中,YOLOv8的mAP提升最为显著混凝土污水管道缺陷快速检测平台
基于本研究提出的MCFN-YOLO检测算法,我们开发了一个多缺陷管道检测平台,能够高效自动检测管道缺陷。为了在平台部署前评估该模型的泛化能力,使用了大规模公共管道缺陷数据集SewerML[34]进行跨数据集训练和测试。由于六种缺陷的命名规范和分类粒度存在差异研究局限性和未来工作
尽管所提出的方法展示了出色的检测性能,但仍存在某些局限性。由于工程收集的管道段材料限制,本研究检测到的管道缺陷仅限于混凝土管道;研究数据集不包括PVC管道。此外,缺陷严重程度的评估也受到限制。目前,检测平台仅根据检测到的边界框的面积来评估缺陷级别。结论
本研究提出了一种用于劣化混凝土污水管道的自动多重缺陷检测方法,结合了基于StyleGAN3的数据增强和改进的MCFN-YOLO检测模型。主要成就和发现总结如下:
- (1)
采用基于StyleGAN3的数据增强策略克服了缺陷数据集不足的局限性。生成的合成图像具有较高的视觉真实性和多样的缺陷表示,有效
CRediT作者贡献声明
Jinghui Zhang:撰写 – 审稿与编辑,撰写 – 原稿,监督,方法论,正式分析。Jing Yang:撰写 – 原稿,验证,调查,数据管理。Xirong Niu:撰写 – 审稿与编辑,监督,资金获取。Erbo Song:软件,数据管理。Hailong Cao:可视化,正式分析。Yongfeng Wang:资源,项目管理。Fulong Gao:资金获取,概念化。
利益冲突声明
作者声明他们没有已知的可能会影响本文工作的财务利益或个人关系。
致谢
本研究得到了中国山西省自然科学基金(编号:202403021221016)和山西建投集团有限公司研究项目(合同编号:2022140105000388)的支持。