多类型铁路缺陷识别中的物体块表示联合学习

《AUTOMATION IN CONSTRUCTION》：Joint learning of object-patch representations for multi-type railway defect recognition

　　•本文提出了一种对象-补丁联合学习（OPJL）框架，用于多种类型的铁路缺陷识别。该框架结合了金字塔跳过网络和注意力机制，以实现强大的多级特征学习。跨模态与自模态注意力模块能够促进对象级与补丁级表示之间的相互增强。所提出的自动化方法为基础设施检测提供了可扩展、准确且具有通用性的解决方案。

引言
铁路是国家经济中的基础性战略产业，其基本组成部分包括铁轨、扣件和枕木等。由于长期承受轮轨振动以及各种环境因素的影响，铁路会出现诸如铁轨表面剥落和裂纹、扣件断裂或缺失、枕木断裂和碎裂等典型缺陷。如图1中的红色框所示，这些缺陷在大小和规模上差异很大，且常常出现在复杂的背景中。尽管表现形式多样，但它们都会影响铁路关键部件的功能可靠性，从而对列车运行安全构成严重威胁[1]。因此，开发先进的无损检测技术并探索快速准确的铁路缺陷检测新方法，已成为确保铁路运营安全的迫切任务[2]。

在过去几十年中，已经提出了许多基于视觉的方法（包括传统的图像处理方法[3][4]以及基于深度学习的方法[5][6]），用于实现铁路缺陷检测。这些方法主要利用传统的图像处理技术和深度学习技术，通过分类、检测或分割等方式来识别铁路缺陷。尽管这些方法取得了不错的性能，但仍存在以下缺点：
1) 这些方法仅专注于检测单一类型的缺陷（即扣件缺陷、铁轨缺陷或枕木缺陷），因此不适用于需要检测多种类型缺陷的场景。
2) 这些方法具有专用性，每种方法都是为检测特定缺陷而设计的。一旦目标缺陷类型发生变化，这些方法要么完全失效，要么性能大幅下降。

鉴于上述针对单一类型缺陷检测方法的固有局限性，近年来有一些基于深度学习的方法[7][8]被提出用于多种类型缺陷的检测。尤其是，这些方法主要采用对象检测或分割的方式。对于检测方式，需要在铁路图像中的各种缺陷上标注边界框；而对于分割方式，则需要对所有缺陷进行像素级标注。与单一类型缺陷检测方法相比，多种类型缺陷检测方法在铁路应用场景中具有明显优势，因为它们突破了只能检测单一类型缺陷的限制，具备了更强的检测能力。然而，以下缺陷仍然限制了它们的应用：
1) 这些方法需要大量的真实标注样本。同时，其性能还容易受到缺陷标注质量的影响，给实际应用带来挑战。此外，在真实的铁路场景中，缺陷图像仅占收集数据的一小部分。如果将检测或分割方法直接应用于所有铁路图像，将会大大增加标注成本和计算负担。
2) 这些方法主要关注铁轨和扣件缺陷的检测，往往忽视了枕木缺陷。实际上，枕木缺陷通常表现为裂纹，这与铁轨和扣件缺陷有显著不同（如图1所示）。因此，上述多种类型缺陷检测方法在试图同时处理扣件、铁轨和枕木缺陷时仍存在局限。

根据以上分析，现有的铁路缺陷检测方法仍存在不足，多种类型缺陷的识别还需要进一步改进。实际上，铁路缺陷识别本质上可以视为一个多标签（缺陷）分类问题，即同时识别铁路图像中是否存在缺陷。这样的建模方式避免了依赖边界框或像素级标注，为缺陷候选图像中的多种类型缺陷识别提供了高效解决方案。因此，它为多种类型铁路缺陷分析在标注成本与识别能力之间提供了平衡。在多标签图像分类领域，当前的研究方法[9][10]主要集中在自然图像和医学图像上，并且一直展现出良好的性能。然而，对于复杂的铁路场景，它们在实现准确的多标签（缺陷）识别方面仍面临巨大挑战：
1) 铁路图像具有复杂的背景（如外来物体、油污和光照变化等），同时还存在噪声，而且不同缺陷在大小、形状和规模上存在显著差异。因此，从充满噪声和复杂背景的铁路图像中提取多级多尺度的核心特征是首要挑战。
2) 铁路图像中的不同缺陷分布较为稀疏。为了实现准确识别，除了依赖包含全局上下文的对象级表示外，具有局部特征的补丁级表示也至关重要，它们能够提供强有力的支持。因此，建立对象-补丁特征之间的跨表示依赖关系，以显着增强补丁级表示，是另一个挑战。

为克服上述挑战并实现多种类型缺陷的准确识别，我们提出了一种对象-补丁表示联合学习（OPJL）框架，该框架包括核心特征提取和跨表示联合学习两部分。前者利用设计好的金字塔跳过网络提取视觉特征，同时借助预训练的语言模型获取标签嵌入；后者则首先在标签嵌入的引导下，通过设计的跨模态特征注意力模块为每种缺陷生成对象级表示。然后，将这些对象级表示输入到设计的自模态特征注意力模块中，计算其与补丁级表示的相关性，从而生成能够增强原始补丁级表示的对象级上下文表示。最后，我们提出了联合学习机制，使得对象级表示与经过增强的补丁级表示相互学习，进而实现多种类型缺陷识别的强大性能。需要指出的是，OPJL并非多个模块的简单组合，而是一个统一的框架，它利用视觉特征和标签嵌入进行联合学习。

本文的贡献如下：
1) 我们提出了一种对象-补丁表示联合学习框架，该框架体现了补丁级局部特征与对象级语义表示在多种类型铁路缺陷识别中的互补作用。
2) 设计了金字塔跳过网络（PSNet），用于从铁路图像中提取多级多尺度的核心视觉特征，从而确保在复杂铁路场景下特征的稳定性。
3) 联合设计了跨模态特征注意力模块和自模态特征注意力模块，用于将标签嵌入与视觉特征对齐，并用对象级上下文信息增强补丁级表示，从而有助于训练出强大的缺陷识别模型。
4) 进一步提出了跨表示联合学习机制，用于结合补丁级与对象级的监督信号，确保分层表示的互补学习，进而实现强大的多种类型缺陷识别能力。

本文的其余结构如下：第2节讨论相关研究工作，第3节介绍图像采集与数据集构建，第4节详细阐述联合学习框架，第5节给出实验结果与分析，最后第6节给出结论。

相关研究
在本节中，我们从单一类型缺陷检测、多种类型缺陷检测以及多标签图像分类三个角度，回顾和探讨了铁路缺陷检测领域的相关工作。

图像采集与数据集构建
在本节中，我们首先介绍铁路轨道图像采集平台，然后描述如何利用所采集的图像构建用于多种类型铁路轨道缺陷识别的数据集。

方法
在本节中，我们首先详细介绍对象-补丁表示联合学习（OPJL）框架，包括整体架构及各组成模块。随后，阐述联合学习的优化过程。

实验结果与分析
本节首先介绍实验数据集，接着说明评估指标和实现细节。之后，通过一系列实验来展示OPJL在多种类型铁路缺陷识别方面的性能。

结论
本文提出了一种用于多种类型铁路缺陷识别的对象-补丁表示联合学习框架。该框架由核心特征提取和跨表示联合学习两部分组成。前者利用金字塔跳过网络和预训练的语言模型BERT分别提取铁路图像的视觉特征和标签嵌入；后者则通过跨模态特征注意力模块为每个标签生成对象级表示。

CRediT作者贡献声明
刘建伟：撰写——初稿、验证、方法论、概念设计。邱远：撰写——审阅与编辑、形式分析、概念设计。刘洪利：项目管理、资金筹集。

利益冲突声明
作者声明不存在任何可能影响本文工作的已知财务利益或个人关系。

致谢
本研究部分得到了国家自然科学基金委员会项目62403078的支持，以及湖南省教育厅重点科研项目24A0628和22A0599的资助。作者还要感谢编辑和匿名审稿人付出的时间以及提出的宝贵建议，这些都有助于大幅提升本文的质量。

刘建伟|邱远|刘洪利