基于生成对抗网络和多尺度特征融合的轨道缺陷检测增强方法

《Signal Processing: Image Communication》：Enhanced Rail Defect Detection via Generative Adversarial Networks and Multiscale Feature Fusion

　　

•本文提出的YOLOv8-GLCA算法主要针对铁路裂纹识别任务。
•为增强模型的泛化性和鲁棒性，该算法首先利用StyleGAN3对图像数据集进行扩充。然后引入LAWDS模型，通过双路径注意力和动态特征选择策略提高铁路缺陷检测的准确性。接着构建C2f_MLCA模块以增强特征提取的交互融合能力。最后采用DetectAux模块为检测优化提供额外的监督信息。与YOLOv8n相比，该算法的mAP0.5和mAP@0.5-0.95分别提升了5.9%和1.2%，Type1和Type2缺陷检测准确率分别提高了7.7%和4.2%。Type1的精确率和召回率分别提升了8.5%和5.6%，而Type2分别提高了7.3%和1.4%。这充分证明了该算法在铁路表面缺陷检测中的准确性。
•本文提出的算法对Type1缺陷的精确率和召回率分别为68.6%和91.4%，对Type2缺陷的精确率和召回率分别为96.2%和72.1%，mAP@0.5达到91.9%。与YOLOv5s、YOLOv8n、YOLOv9s、YOLOv11、GD-YOLOv8等相比，各项指标均优于其他算法。同时，在实际现场检测铁路缺陷时，本文算法的置信度达到约90%。结果充分证明了本文提出的算法在铁路缺陷检测领域的优越性和实用性。
•该算法成功解决了铁路裂纹图像数据稀缺的问题，在铁路缺陷检测精度上取得突破，大幅提升了检测速度和准确性，检测效果达到实际应用标准，有效保障了铁路的安全运营和维护。然而，当前算法也存在局限性，在资源受限的嵌入式设备或高帧率实时场景下推理速度下降，影响部署灵活性。未来将在保证精度的前提下推动模型轻量化优化。

引言
作为国家战略性交通基础设施，轨道交通的安全运行对经济社会发展起着关键作用。截至2025年底，中国城市轨道交通总里程已达到约11,000公里，铁路营业里程达到165,000公里（其中高速铁路50,000公里）。随着运营频率的提高和重载程度的增加，铁路表面缺陷问题日益突出。传统人工巡检成本低但效率低；激光超声、涡流检测等方法在检测效率或环境适应性方面存在局限，难以满足现代铁路数万公里日常检测需求[1,2,3,4]。

基于机器视觉的检测技术因非接触、高效率等优势成为研究热点，但在实际应用中面临多重挑战：铁路表面反射效应削弱缺陷特征、不规则几何边界的缺陷特征、小目标区域（常见阻断性损伤、磨损和微裂纹等）以及样本稀缺性限制了检测精度。重载铁路由于轴重大、运量高等特点，更易出现断面磨损，加之港口、矿区等恶劣环境导致的铁路锈蚀和污渍污染，显著增加了图像背景的复杂性[5,6,7,8]。

近年来，国内外学者在铁路表面缺陷检测领域取得了显著进展。通过整合深度学习、生成式数据增强和多尺度特征学习等技术，提出了各种解决方案以应对缺陷样本不足、目标尺寸小、背景干扰严重和模型部署成本高等挑战[9,10,11,12,13]。现有研究主要集中在三个方面：缺陷样本增强与弱监督学习、多尺度特征提取以及YOLO模型的轻量化改进。在缺陷样本增强与弱监督学习方面，相关研究主要采用半监督学习、自监督学习和生成对抗网络（GANs）以减少模型对大规模人工标注数据的依赖。为解决全监督方法的高标注成本问题，王杰等[14]提出了深度辅助半监督铁路表面缺陷检测网络（DSSNet）。该网络结合半监督一致性训练与深度辅助多尺度跨模态融合模块（DMCFM），仅使用20%的标注数据即可实现精确的缺陷定位。针对铁路缺陷样本有限、目标尺寸小和形状变化大的问题，王燕等[15]提出了一种基于自监督表征学习的铁路表面缺陷检测框架（R-SSRL）。该方法利用定制化缺陷模拟和自监督学习从大量无缺陷铁路样本中挖掘潜在特征，增强模型在少量标注数据下的缺陷识别能力。然而，其性能在一定程度上取决于模拟缺陷与真实缺陷分布之间的一致性。GANs为缓解样本稀缺和类别不平衡提供了另一种方法。针对列车振动可能造成的第三轨损伤，Chung MingAn等[16]提出了一种基于YOLO和相机传感的缺陷检测方法，利用GANs增强训练数据。实验结果表明，生成式数据增强可以提高YOLOv8、YOLOv9和YOLOv10等模型的检测性能，其中YOLOv9系列表现尤为突出。然而，生成图像仍可能存在纹理失真和局部伪影，生成缺陷与真实缺陷之间的分布差异会影响模型的泛化能力。在多尺度特征提取方面，研究主要旨在增强模型对小型、低对比度和不规则形状缺陷的表征能力。铁路缺陷具有显著尺度变化、模糊边缘和弱局部纹理等特点，单尺度特征难以同时捕捉整体结构和局部细节。因此，白苏莉等[17]将卷积神经网络与Transformer架构相结合，设计了双流特征提取网络，分别提取局部纹理信息和长程上下文信息，以提高模型在复杂背景和弱纹理条件下的适应性。为解决复杂背景下小目标易被遮挡、特征模糊和漏检率高的问题，洪涛等[18]提出了EFE-YOLO算法，通过增强有效特征表示来提高工业场景中小型、模糊和遮挡目标的检测能力。上述研究表明，多尺度融合和上下文建模可以增强小目标特征表示。然而，浅层特征易受光照和背景噪声干扰，而深层特征可能在连续下采样过程中丢失细微裂纹信息。简单的特征拼接或加权融合仍不足以充分协调全局语义与局部细节之间的关系。在YOLO模型改进方面，现有研究主要通过轻量卷积、重参数化、注意力机制、多尺度融合和边界框损失优化来平衡检测精度、推理速度和模型复杂度。王耀东等[19]引入深度可分离卷积和重参数化方法来改进YOLOv5，开发了实时铁路表面缺陷检测系统，降低了计算负担并提高了推理效率。为解决现有方法在检测精度、实时性能和模型复杂度方面的局限性，马赛威[20]提出了一种基于YOLOv10n的轻量模型CSSI-YOLO。该模型通过注意力机制、轻量卷积、多尺度特征融合和改进的边界框回归损失，增强了对细长、低对比度缺陷的特征提取和定位能力，在跨数据集测试和嵌入式平台部署中展现出良好的泛化能力和实时性能。

总之，现有方法通过数据增强、弱监督学习、多尺度建模和网络轻量化推动了铁路表面缺陷检测技术的发展。半监督学习和自监督学习可以降低标注成本，但易受伪标签质量和预训练任务影响；GANs可以增强缺陷样本，但可能引入生成场景与真实场景之间的分布偏差；多尺度融合和注意力机制可以增强小目标特征，但在全局语义与局部细节协同建模方面不足；部分改进的YOLO模型侧重于单模块优化，难以同时平衡检测精度、模型复杂度和实时部署需求。此外，不同数据集在采集设备、光照条件、缺陷类别和背景纹理方面的差异导致现有模型在跨场景应用时性能波动。特别是在缺陷样本稀缺、目标像素占比低和特征响应弱的情况下，细微裂纹在连续下采样和特征融合过程中容易被背景信息掩盖，导致漏检。因此，在控制模型计算复杂度的同时加强全局上下文、局部细节和多尺度特征的协同建模，仍是铁路表面缺陷检测的关键挑战。

为解决铁路表面缺陷样本不足、细微裂纹特征易丢失和复杂背景下检测性能不稳定的问题，本文提出了一种用于铁路图像增强和缺陷检测的YOLOv8-GLCA模型。首先，采用StyleGAN3[21]对采集的铁路缺陷图像进行生成式增强，将数据集扩充至1,500张图像，增加缺陷样本的数量和多样性，缓解样本稀缺和类别不平衡问题，为模型训练提供更全面的数据支持。其次，将混合局部通道注意力（MLCA）机制[22]嵌入C2f模块，构建C2f_MLCA特征提取模块。该模块综合利用局部细节、全局上下文和通道响应信息，加强不同特征层次之间的交互，使模型能够更全面地表征铁路缺陷的纹理、边缘和空间位置特征。随后，在颈部网络引入轻量自适应加权下采样（LAWDS）模块，通过自适应选择和保留有效特征减少传统下采样过程中的细粒度信息丢失，增强复杂背景下的缺陷特征融合，提高模型的鲁棒性和泛化性能。此外，在检测端引入DetectAux辅助检测头，利用主检测和辅助检测分支提供多尺度监督信息，从而加强模型对浅层细节特征和小型目标的 learning 能力，提高细微裂纹等弱特征缺陷的识别和定位精度。总之，本文从数据增强、特征增强、信息保持下采样和辅助监督四个方面协同优化YOLOv8。提出的YOLOv8-GLCA模型能够实现铁路表面缺陷的自动识别和精确定位，同步输出缺陷类别、边界框和置信度，为铁路检修维护决策提供直观可靠的技术支持。

章节摘录
铁路断裂检测方法
本文提出的铁路缺陷检测方法流程如图1所示。首先，将采集的铁路缺陷图像输入StyleGAN3框架进行训练，以实现数据增强并丰富缺陷样本的多样性。然后，使用增强后的数据集训练算法，以提高算法的鲁棒性和泛化能力。训练完成后，使用本文提出的YOLOv8-GLCA算法进行缺陷检测。

实验平台
本实验在pytorch环境中进行，软件和硬件配置如下表1所示。Python 3.12.0和CUDA 12.1均被使用。实验所需的软件和硬件配置详情见imTable 1。实验中，总迭代次数为100次，输入图像像素尺寸为640×640，学习率设为0.001，训练时间约为2.3小时。其他超参数设置如所示。

不同C2f模块对比
为准确评估在YOLOv8目标检测框架内所选模块对铁路表面缺陷检测的性能提升，本研究进行了对比实验。在整个实验过程中，严格遵循控制变量原则，确保所选模块与当前主流模块在网络架构中的具体位置及模型配置方面保持高度一致性。

结论
本文提出的YOLOv8-GLCA算法主要针对铁路裂纹识别任务。
(1)为增强模型的泛化性和鲁棒性，该算法首先利用StyleGAN3扩充图像数据集。

然后，通过采用双路注意力机制和动态特征选择策略，引入LAWDS模型以提高钢轨缺陷检测的准确性。接着，构建了C2f_MLCA模块以增强特征提取的交互融合能力；最后，

**披露声明**：作者未报告任何潜在的利益冲突。

**数据可用性**：数据可根据请求提供。

**资金支持**：本研究部分由国家自然科学基金资助（项目编号：62066024）。

**作者贡献**：
- 孟宁宁：概念化、方法论、调查研究、形式分析、数据整理、软件、可视化、初稿撰写、项目管理、资金获取、验证。
- 民永之：概念化、方法论、调查研究、验证、监督、审阅与编辑、项目管理、资源。
- 王果：方法论、调查研究、形式分析。

**未引用参考文献**

**[36] CRediT作者贡献声明**
- 孟宁宁：初稿撰写、验证、方法论、概念化。
- 民永之：审阅与编辑、软件、资金获取。
- 王果：项目管理、形式分析、数据整理。

**利益冲突声明**：我们提交题为《基于生成对抗网络和多尺度特征融合的增强钢轨缺陷检测》的稿件，希望其能在《信号处理：图像通信》期刊上发表。本稿件不存在利益冲突，所有作者均批准发表。我谨代表所有合作作者声明，所述工作为原创研究，未曾发表。

**致谢**：本研究部分由国家自然科学基金资助（项目编号：62066024）。

孟宁宁 | 民永之 | 王果