基于深度学习的自动缺陷检测已经取得了显著的成功,并成为智能制造和基础设施维护的基石。例如,先进的目标检测算法已成功应用于识别气体绝缘开关设备中的内部缺陷[1],而像ESMNet这样的增强框架显著提高了精密金属工件的表面缺陷检测能力[2]。此外,在大规模基础设施检测中,基于无人机的深度学习系统彻底改变了风力涡轮叶片的缺陷检测方式[3]。受到这些在通用工业无损检测领域巨大进展的启发,研究人员越来越关注将深度学习技术应用于铁路系统检测。轨道是铁路系统中最为关键的基础设施,及时检测轨道缺陷可以有效降低对列车运行的潜在威胁[4],[5]。轨道缺陷包括有缺陷的关键轨道部件以及随机掉落的静态物体,如检测工具和自然外来物。这些缺陷可能影响列车运行并导致轨道维护的经济损失。目前,大多数智能轨道缺陷检测方法都基于深度学习进行目标检测和分割[6],[7],[8],[9]。它们使用标注文件对神经网络进行监督学习,从而实现对已知类别物体的精确检测。然而,在铁路场景中存在一些因素可能会影响监督检测方法的效果。
(1) 缺陷数据远少于正常数据,这极大地限制了监督检测方法的性能。而且数据标注是一项成本高昂且劳动密集型的任务。
(2) 缺陷类别无法完全涵盖所有可能性。轨道是一个开放的环境,自然界中的各种静态物体都可能侵入轨道。监督检测方法无法检测到未被分类的物体。
随着计算机视觉技术的不断突破,不依赖于缺陷样本的无监督学习方法在工业产品缺陷检测领域迅速兴起[10],[11],[12],[13],[14],[15],[16],[17]。这些方法仅通过学习正常样本的特征分布即可检测产品缺陷,从而很好地解决了上述两个问题。因此,一些学者将这一理念应用于轨道检测并取得了一定的成功[18],[19],[20]。目前,大多数无监督轨道缺陷检测方法依赖于单一的RGB图像,这些方法的特征提取能力相对较弱。在自然光条件下,相似的背景和前景可能导致缺陷无法被检测到,从而导致漏检和误检。
深度信息为提高检测效果提供了思路,因为轨道缺陷与背景在空间深度分布上存在明显差异[21],[22]。基于RGBD的一些无监督检测方法正在工业领域逐渐得到应用[23],[24],[25],[26],[27]。现有的大多数多模态方法通常采用后期融合范式,即将RGB和深度输入分别送入完全独立的框架进行特征提取,最终仅通过简单的连接或距离计算进行融合。这种范式存在两个根本性限制:首先,它忽略了不同模态之间的内在物理约束;在现实世界中,特定的表面纹理与其几何拓扑结构密切相关,缺乏早期的跨模态交互使得模型无法识别隐性的逻辑冲突缺陷;其次,独立处理会导致严重的特征冗余和模态主导现象,复杂的轨道背景噪声往往会在某一模态中引发过度激活,从而掩盖其他模态中的微弱缺陷信号。此外,额外模态带来的线性参数扩展严重限制了这些方法在铁路边缘计算设备上的实时应用。
为了解决这些问题,本文提出了一种轻量级的无监督多模态特征融合方法(MMLight)用于轨道缺陷检测。与以往的方法不同,MMLight是一种深度整合RGB和深度信息的无监督学习架构。通过将大量正常多模态数据输入到轻量级网络中,可以自动提取正常数据的特征分布;在推理过程中,利用特征分布的差异作为检测轨道缺陷的依据。此外,MMLight中的特征跨转换模块能够双向投影RGB和深度特征,有效提高了对不明显缺陷的检测能力。
MMLight包含两个任务:单一模态重构和跨模态特征转换,两者共同促进了最终的缺陷检测。它们针对不同的语义层次和缺陷类型,为框架提供了必要的互补性。
(1) 形态学和逻辑上的相互验证。单一模态重构侧重于学习单一模态内的分布规律;跨模态特征转换旨在捕捉不同模态之间的逻辑映射,并引入了相互验证机制以提高对隐藏缺陷的敏感性。
(2) 像素和特征之间的相互增强。单一模态重构倾向于保留更多底层细节,以确保重构图像的真实性;跨模态转换发生在特征空间中,迫使模型学习更具区分性的高级语义特征,这种特征级转换对隐藏缺陷的检测更为敏感。
(3) 跨模态特征转换增加了单一模态重构的难度。尽管模型可以通过过拟合重建有缺陷的RGB图像,但很难同时准确地将缺陷RGB信息转换为正常深度特征。这种约束组合显著减少了异常值的误报和漏报率。
我们的主要贡献总结如下:
(1) 我们提出了MMLight,这是一种新型的轻量级无监督多模态网络,专门用于自动轨道缺陷检测。它在实时边缘部署方面进行了优化,在检测准确性、推理速度和计算复杂性之间取得了出色的平衡。
(2) 我们设计了一种新的特征跨转换模块,在潜在空间中实现RGB和深度特征之间的双向转换,迫使网络学习轨道外观与几何结构之间的深度物理协同作用,从而有效检测出隐性的逻辑冲突缺陷。
(3) 我们引入了一种新的多决定缺陷图生成方法,明确分离了纹理和空间缺陷图。通过相互验证,解决了模态主导问题,显著提高了在复杂和嘈杂的铁路背景下的检测鲁棒性。
本文的其余部分安排如下:第2节回顾了相关工作;第3节介绍了所提出的数据集;第4节介绍了MMLight方法;第5节展示了实验结果;第6节进行了消融研究;第7节总结了本文。