在极有限的样本条件下，通过样本生成和风格迁移技术进行铁路表面缺陷检测

《AUTOMATION IN CONSTRUCTION》：Rail surface defect detection via sample generation and style transfer under extremely limited sample conditions

　　泽华健|刘少林|刘建华|胡佳|黄家春|梁媛|方月
北京工业大学机械工程学院数字制造实验室，北京100081，中国

**摘要**
表面缺陷是铁路故障的主要原因，存在严重的安全风险，因此准确的缺陷检测至关重要。然而，由于缺陷样本的稀缺和操作环境的复杂性，现有方法的性能往往有限。为了解决这些挑战，本文提出了一种基于样本自生成的框架，用于在数据极度匮乏的情况下检测铁路表面缺陷。该框架引入了一种多模式缺陷生成模型，仅使用一个或两个真实样本即可实现有效的数据增强和风格迁移。通过将生成过程分解为具有子鉴别器架构的特征学习网络（FLN）和样本生成网络（SGN），所提出的方法在计算成本较低的情况下实现了高样本多样性和高质量。生成的样本用于训练基于YOLO的检测器。实验表明，与使用两倍真实数据量的模型相比，所提出的方法将mAP@0.5提高了8个百分点以上。

**引言**
铁路损坏和缺陷是铁路事故的主要原因[1] [2]。根据[3]的数据，大约90%的脱轨事故是由铁路表面缺陷引起的。在早期阶段，铁路表面缺陷可能不会立即导致事故，但如果未被发现，它们可能会演变成更严重的问题，如铁轨断裂甚至脱轨。因此，确保及时有效地检测铁路表面缺陷对铁路运营的安全至关重要。

为了解决这些安全问题，传统的铁路表面缺陷检测方法依赖于检测车辆（图1）来收集强度图、灰度图像和点云。图1所示的检测系统包括检测车辆、用于获取三维铁路信息的结构光投影仪以及用于捕获二维铁路图像的图像采集设备，然后检测人员根据经验分析这些数据。然而，这种手动方法不仅效率低下且成本高昂，而且误检率也较高，这凸显了需要更自动化和可靠的检测技术。

为了解决手动检测的局限性，已经研究了一种基于计算机视觉的缺陷检测方法。代表性的基于计算机视觉的方法通过利用手工制作的视觉线索（包括色调和轮廓信息[4]、分割的边缘特征[5]以及空间一致性和连续性约束[6]来检测铁路表面缺陷。然而，这些方法受到稳定且易于提取的缺陷特征的要求限制。此外，外部因素如不良照明、振动和噪声往往会降低检测性能。

深度学习方法作为一种有前景的解决方案，能够克服传统方法的局限性。这些方法利用强大的特征提取能力，并且本质上更能抵抗噪声、振动和不良照明等外部因素的干扰，使其在铁路表面缺陷检测方面更加稳健。然而，基于深度学习的方法严重依赖于高质量训练数据的可用性。这些模型的性能直接取决于训练过程中使用的数据量和多样性。尽管检测车辆收集了大量铁路表面数据，但缺陷样本与正常样本之间的极端不平衡为缺陷数据采集带来了新的挑战。由于检测设备无法在收集的数据中区分正常样本和缺陷样本，且由于铁路安全要求，缺陷样本的数量远少于正常样本，因此从大规模检测中获取缺陷数据既困难又耗时。在大多数情况下，只能从收集的数据中缓慢选择缺陷样本或通过手动编辑创建铁路表面缺陷样本。与大多数工业缺陷检测任务（其中数据集通常包含数千张标记图像[8]）不同，本研究解决的是一个数据极度匮乏的问题[7]。在本研究中，仅使用了20个缺陷样本进行训练。这一限制突显了问题的数据稀缺性，以及需要设计出在此类受限环境中表现良好的模型。

数据稀缺性体现在两个方面：缺陷样本的总数有限，以及不同采集场景（风格）中缺陷样本分布不均。缺陷样本总数的限制限制了检测模型的性能。同时，不同风格中缺陷样本分布不均导致模型在某些场景中减少甚至忽略缺陷特征的学习，从而在不同场景中的检测性能不稳定。

数据稀缺性显著影响了基于深度学习的缺陷检测模型的性能[9]。图2用于说明这一点。如图2所示，绿色点代表训练数据中的正常样本，红色点代表缺陷样本，蓝色点表示未包含在训练集中的缺陷样本。橙色线代表检测超平面，即用于分类缺陷样本和正常样本的高维空间中的边界。检测模型学习这个超平面来进行缺陷检测。黑色虚线代表检测模型基于训练样本构建的检测超平面。检测误差区域表示样本检测错误发生的位置。图2(a)显示，当样本数量有限时，由于无法构建准确的检测超平面，检测误差区域较大，导致在遇到训练集中没有出现的样本（蓝色点）时发生误检。随着样本数量的增加（图2(b)），模型构建了更准确的检测超平面，从而减少了检测误差区域并提高了模型的性能。

由于铁路系统的规模庞大和操作环境的复杂性，以及检测设备的差异，收集到的样本在风格上往往存在差异，例如腐蚀程度、磨损情况和照明条件等。这可能导致训练数据和测试数据之间的特征分布相似性较低，从而引发域偏移问题。图2(c)和图2(d)用作示例来说明这个问题。图中的红线代表风格A下的理想检测超平面，绿色线代表风格B下的理想检测超平面。如图2(c)所示，当使用样本构建风格A下的理想检测超平面时，风格A样本的检测任务完成得很好。然而，风格B的检测任务中存在较大的检测误差区域。因此，通过风格迁移（图2(d)），将风格A的训练样本转移到风格B，模型可以更好地构建基于风格B的检测超平面。

已经有很多研究致力于解决上述问题。为了解决缺陷样本有限的挑战，引入了图像到图像的生成方法[10] [11] [12] [13] [14]，这些方法训练模型生成合成样本以扩充现有数据集，从而缓解数据稀缺问题。此外，还开发了无监督域适应（UDA）技术[15] [16]，通过在不同风格之间映射样本来减少不同场景下的性能不一致性，从而减轻域偏移并提高模型的泛化能力。然而，这些方法在铁路表面缺陷检测中的应用仍受到限制。对于图像生成模型，生成样本的质量和多样性取决于训练样本的数量。缺陷样本生成模型通常需要数百到数千张训练图像。对于某些罕见的缺陷类型，收集足够的数据既耗时又经济负担沉重。同样，基于UDA技术的风格迁移模型也面临同样的问题，因为它们需要相同风格的一定数量的样本作为训练数据。即使进行了优化以减少训练样本需求，风格迁移模型仍然需要数千个样本[17] [18]。此外，当前的风格迁移模型通常只转移图像风格，而保留了尺寸、位置和形状等缺陷特征，这限制了它们丰富缺陷多样性的能力。

为了解决这些问题，提出了一种基于样本生成和风格迁移的铁路表面缺陷检测方法。该框架包括一个样本生成模型，该模型只需单个样本即可完成训练，以及一个缺陷检测模型。通过生成具有不同缺陷和风格的样本，它扩大了数据量和风格覆盖范围。这种策略减少了对收集样本的依赖，在数据有限的情况下支持稳定的检测性能，并避免了繁琐且耗时的样本收集。

具体来说，引入了一个由特征学习网络（FLN）和样本生成网络（SGN）组成的样本生成模型。FLN通过多尺度渐进式学习结构从单个图像中捕获特征。SGN结合了三种生成模式以满足不同的生成需求。该设计的动机如下：与大多数图像生成任务不同，缺陷图像生成需要平衡缺陷特征和样本风格的多样性。与其他基于GAN的图像生成模型相比，这项任务需要更灵活的图像生成能力。因此，图像生成过程被分为两个任务：特征学习和图像生成，分别由FLN和SGN处理。

如图3所示，通过三种生成模式实现了不同的生成需求。当给定随机噪声（图3(a)）时，样本生成网络生成新样本以扩展有限的缺陷数据，并改善从图2(a)到图2(b)的过渡。当输入是不同风格的缺陷样本（图3(b)）时，模型在保持输入样本的缺陷特征的同时转移风格，从而实现从图2(c)到图2(d)的过渡。与传统的风格迁移模型不同，所提出的框架可以使用首先从随机噪声生成的多样化样本进行风格迁移，从而解决现有方法中缺陷多样性有限的问题。当输入是手动粗编辑的缺陷样本（图3(c)）时，网络在FLN学习到的风格下合理化编辑的缺陷区域，生成真实的缺陷样本。这种策略增强了缺陷特征生成的可控性，并减少了创建手动编辑的缺陷数据集的工作量。然后使用生成的样本来训练缺陷检测模型。

此外，FLN中集成了一种简单但有效的“子鉴别器”结构。它通过鉴别器和子鉴别器之间的协作解决了传统卷积网络接受域有限的问题，使网络能够在最低的计算成本下处理长距离特征依赖性。这种设计提高了生成样本的真实性和质量；第三节和第四节提供了详细描述和支持实验。

为了评估所提出方法在代表性的基于YOLO的检测器上的性能，采用了三种最新的YOLO变体作为基准：YOLOv9[19]，它通过可编程的梯度信息改进了特征学习；YOLOv10[20]，它提供了实时的端到端检测框架；以及YOLOv11[21]，它引入了用于高效对象检测的最新架构改进。在每个基准上构建了一个缺陷检测模型，以评估所提出方法带来的性能提升。

**主要贡献如下：**
1. 提出了一种基于样本生成的铁路表面缺陷检测方法。为了解决数据限制，引入了一个数据需求低的样本生成模型；具体来说，生成过程可以仅用一个样本启动。样本生成模型增加了训练样本的数量和多样性，提高了缺陷检测性能，并减少了对真实收集样本的依赖。
2. 引入了一种“子鉴别器”架构，以增强卷积图像生成模型中长距离特征相关性的学习。实验表明，与其他建模长距离特征相关性的方法相比，所提出的方法在较低的计算成本下提高了生成样本的质量，并产生了更真实的样本。
3. 开发了一种仅使用两个样本运行的风格迁移模型。与现有的风格迁移模型相比，所提出的方法消除了对大型训练集的需求，并且可以在转移的风格下生成多样化的缺陷，从而解决了现有风格迁移方法的高数据需求和低多样性问题。
4. 提出了一种用于手动编辑缺陷的两步样本生成方法。它将粗略编辑的缺陷图像转换为视觉上合理的铁路表面缺陷样本。将1000个经过粗略编辑的样本转换为所需时间少于6秒，这提高了手动缺陷样本准备的效率。从数据增强的角度来看，与现有的样本生成方法相比，所提出的方法适用于铁路表面缺陷数据极其有限的场景。只需要一个真实的缺陷样本就可以启动生成过程，这大大减轻了实际铁路检查任务中数据收集的难度。为了解决铁路表面数据集中常见的类别不平衡问题，所提出的框架允许灵活选择目标缺陷类型，避免了现有方法主要生成多数类别而忽略罕见缺陷的偏见。此外，基于手动编辑样本的生成模式提高了缺陷样本生产的效率。与依赖细致且劳动密集型手动编辑的现有方法相比，所提出的方法只需要粗略的编辑来指导生成过程，从而能够在减少人工干预的情况下快速合成缺陷样本。另外，所提出的风格转移策略是为样本数量有限的情况设计的。使用少至两个样本就可以实现有效的风格转移，这特别适合铁路场景。通过采用FLN + SGN分布式生成结构和“先生成，再转移”的策略，所提出的方法克服了现有方法仅关注风格变化的局限性，并实现了缺陷外观和风格多样性的同时丰富。

在实际应用中，所提出的方法能够在GTX 1060 GPU上生成400×400的样本，并提高了所有评估检测模型的性能。这些结果表明，该框架并不依赖于单一的检测器配置，具有在不同硬件平台上部署的潜力。在实验中，在仅使用20个真实缺陷样本的极端条件下，所提出的方法的表现优于使用超过100个真实样本训练的模型。所提出的方法将YOLOv9的mAP@0.5提高了31.3个百分点，将YOLOv10/11分别提高了17.6/29.3个百分点。生成的样本在比较方法中获得了最低的SIFID分数（0.054），并且在感知研究中产生了最高的混淆率，表明它们与真实样本相比较难区分。

本文的结构如下：第二节介绍相关工作，第三节详细解释了该方法，第四节展示了实验结果，第五节分析了失败案例以明确所提方法的局限性，第六节总结了本文。

**相关工作**
本节回顾了基于深度学习的铁路表面缺陷检测以及与样本增强和风格转移相关的图像生成方法在数据有限条件下的研究。

**方法**
本节介绍了所提出框架的总体方法论，包括分布式缺陷样本生成模型、子鉴别器设计、损失函数以及用于评估的基于YOLO的缺陷检测模型。

**实验**
实验分为两个主要阶段：一个阶段关注缺陷样本生成模型，另一个阶段关注缺陷检测模型。对于缺陷样本生成模型，通过生成图像的定性和定量评估、特征可视化以及消融研究来评估其有效性。对于缺陷检测模型，评估了样本增强和风格转移对检测性能的影响。

**失败分析**
当转移样本与风格样本之间的风格差异过大时，风格转移的质量可能会下降，导致图像不真实，从而导致失败，如图20所示。这很可能是因为在转移过程中，过大的风格差异使得模型难以将目标图像的内容与风格图像的特征匹配。模型可能会过度合并风格和内容，产生与实际情况不符的生成图像。

**结论**
为了解决铁路表面缺陷检测中的挑战，包括数据获取的难度、缺陷样本数量有限、类别内部不平衡以及显著的风格多样性，本文提出了一种低样本数据增强模型。所提出的方法支持单样本增强和基于两个样本的风格转移。与现有方法相比，所提出的方法针对铁路表面缺陷检测的特点进行了优化。

**CRediT作者贡献声明**
建华哲：撰写——审阅与编辑、撰写——原始草稿、可视化、验证、软件、资源、方法论、概念化。刘少林：监督、项目管理、方法论、调查、资金获取。刘建华：监督、调查。胡佳：软件、方法论。黄家春：软件、方法论。梁远：验证。方月：数据整理。

**利益冲突声明**
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

**致谢**
本工作部分得到了河北省科技计划（项目编号253A7613D）的支持。本文的通讯作者是刘少林。