MMLight:一种轻量级的无监督多模态特征融合方法,用于轨道缺陷检测

《Neurocomputing》:MMLight: Lightweight unsupervised multi-modal feature fusion method for track defect detection

【字体: 大 中 小 】 时间:2026年04月12日 来源:Neurocomputing 6.5

编辑推荐:

  针对铁路轨道缺陷检测中数据稀缺和单模态易受噪声干扰的问题,提出MMLight框架,通过轻量级编解码结构、跨模态特征变换和四分支相似性学习,有效提升检测精度和鲁棒性,实验验证其优越性。

  
杨高|勇琴|曹志伟|连丽荣|王亚冠|寇琳琳|彭根旺
北京交通大学先进铁路自主运行国家重点实验室,中国北京100044

摘要

轨道缺陷检测对铁路安全检查至关重要。然而,由于缺陷数据的稀缺以及单一模态对复杂环境噪声的敏感性,其发展受到了阻碍。尽管现有的无监督多模态方法在一定程度上缓解了这些问题,但它们往往难以实现深度的跨模态协同作用,并且存在严重的参数膨胀问题。为了解决这些问题,我们提出了一种新型的轻量级无监督多模态缺陷检测框架。首先,我们提出了一种轻量级的编解码器结构,用于提取和重构单一模态的特征;其次,引入了跨模态特征转换模块,以实现双向特征转换,捕捉深度的物理约束;第三,采用四分支相似性学习策略,通过模内重构和模间转换来优化网络性能;最后,设计了多决定缺陷图生成模块,以分离空间和纹理差异,从而实现精确的相互验证。在轨道多模态数据集上的广泛实验表明,我们的方法取得了先进的准确率,同时保持了较高的计算效率和优异的抗干扰能力。代码可在以下链接获取:https://github.com/zwcao12/MMLight

引言

基于深度学习的自动缺陷检测已经取得了显著的成功,并成为智能制造和基础设施维护的基石。例如,先进的目标检测算法已成功应用于识别气体绝缘开关设备中的内部缺陷[1],而像ESMNet这样的增强框架显著提高了精密金属工件的表面缺陷检测能力[2]。此外,在大规模基础设施检测中,基于无人机的深度学习系统彻底改变了风力涡轮叶片的缺陷检测方式[3]。受到这些在通用工业无损检测领域巨大进展的启发,研究人员越来越关注将深度学习技术应用于铁路系统检测。轨道是铁路系统中最为关键的基础设施,及时检测轨道缺陷可以有效降低对列车运行的潜在威胁[4],[5]。轨道缺陷包括有缺陷的关键轨道部件以及随机掉落的静态物体,如检测工具和自然外来物。这些缺陷可能影响列车运行并导致轨道维护的经济损失。目前,大多数智能轨道缺陷检测方法都基于深度学习进行目标检测和分割[6],[7],[8],[9]。它们使用标注文件对神经网络进行监督学习,从而实现对已知类别物体的精确检测。然而,在铁路场景中存在一些因素可能会影响监督检测方法的效果。
(1) 缺陷数据远少于正常数据,这极大地限制了监督检测方法的性能。而且数据标注是一项成本高昂且劳动密集型的任务。
(2) 缺陷类别无法完全涵盖所有可能性。轨道是一个开放的环境,自然界中的各种静态物体都可能侵入轨道。监督检测方法无法检测到未被分类的物体。
随着计算机视觉技术的不断突破,不依赖于缺陷样本的无监督学习方法在工业产品缺陷检测领域迅速兴起[10],[11],[12],[13],[14],[15],[16],[17]。这些方法仅通过学习正常样本的特征分布即可检测产品缺陷,从而很好地解决了上述两个问题。因此,一些学者将这一理念应用于轨道检测并取得了一定的成功[18],[19],[20]。目前,大多数无监督轨道缺陷检测方法依赖于单一的RGB图像,这些方法的特征提取能力相对较弱。在自然光条件下,相似的背景和前景可能导致缺陷无法被检测到,从而导致漏检和误检。
深度信息为提高检测效果提供了思路,因为轨道缺陷与背景在空间深度分布上存在明显差异[21],[22]。基于RGBD的一些无监督检测方法正在工业领域逐渐得到应用[23],[24],[25],[26],[27]。现有的大多数多模态方法通常采用后期融合范式,即将RGB和深度输入分别送入完全独立的框架进行特征提取,最终仅通过简单的连接或距离计算进行融合。这种范式存在两个根本性限制:首先,它忽略了不同模态之间的内在物理约束;在现实世界中,特定的表面纹理与其几何拓扑结构密切相关,缺乏早期的跨模态交互使得模型无法识别隐性的逻辑冲突缺陷;其次,独立处理会导致严重的特征冗余和模态主导现象,复杂的轨道背景噪声往往会在某一模态中引发过度激活,从而掩盖其他模态中的微弱缺陷信号。此外,额外模态带来的线性参数扩展严重限制了这些方法在铁路边缘计算设备上的实时应用。
为了解决这些问题,本文提出了一种轻量级的无监督多模态特征融合方法(MMLight)用于轨道缺陷检测。与以往的方法不同,MMLight是一种深度整合RGB和深度信息的无监督学习架构。通过将大量正常多模态数据输入到轻量级网络中,可以自动提取正常数据的特征分布;在推理过程中,利用特征分布的差异作为检测轨道缺陷的依据。此外,MMLight中的特征跨转换模块能够双向投影RGB和深度特征,有效提高了对不明显缺陷的检测能力。
MMLight包含两个任务:单一模态重构和跨模态特征转换,两者共同促进了最终的缺陷检测。它们针对不同的语义层次和缺陷类型,为框架提供了必要的互补性。
(1) 形态学和逻辑上的相互验证。单一模态重构侧重于学习单一模态内的分布规律;跨模态特征转换旨在捕捉不同模态之间的逻辑映射,并引入了相互验证机制以提高对隐藏缺陷的敏感性。
(2) 像素和特征之间的相互增强。单一模态重构倾向于保留更多底层细节,以确保重构图像的真实性;跨模态转换发生在特征空间中,迫使模型学习更具区分性的高级语义特征,这种特征级转换对隐藏缺陷的检测更为敏感。
(3) 跨模态特征转换增加了单一模态重构的难度。尽管模型可以通过过拟合重建有缺陷的RGB图像,但很难同时准确地将缺陷RGB信息转换为正常深度特征。这种约束组合显著减少了异常值的误报和漏报率。
我们的主要贡献总结如下:
(1) 我们提出了MMLight,这是一种新型的轻量级无监督多模态网络,专门用于自动轨道缺陷检测。它在实时边缘部署方面进行了优化,在检测准确性、推理速度和计算复杂性之间取得了出色的平衡。
(2) 我们设计了一种新的特征跨转换模块,在潜在空间中实现RGB和深度特征之间的双向转换,迫使网络学习轨道外观与几何结构之间的深度物理协同作用,从而有效检测出隐性的逻辑冲突缺陷。
(3) 我们引入了一种新的多决定缺陷图生成方法,明确分离了纹理和空间缺陷图。通过相互验证,解决了模态主导问题,显著提高了在复杂和嘈杂的铁路背景下的检测鲁棒性。
本文的其余部分安排如下:第2节回顾了相关工作;第3节介绍了所提出的数据集;第4节介绍了MMLight方法;第5节展示了实验结果;第6节进行了消融研究;第7节总结了本文。

部分内容片段

单一模态轨道缺陷检测

在轨道检测中,监督学习方法的应用已经非常成熟。其中,目标检测和语义分割算法因其端到端的优势、高准确性和鲁棒性而受到许多学者的青睐。参考文献[28]利用单阶段YOLO框架实现了对轨道和紧固件缺陷的快速检测;参考文献[29]和[30]应用语义分割算法准确分割了轨道缺陷,如波纹和剥落。

数据采集

无砟轨道是一种先进的轨道形式,它直接将钢轨支撑在混凝土或沥青基础上,是目前现代高速铁路和城市轨道交通的核心技术。本文以中国CRTS-I型双块无砟轨道作为研究对象。
结构光相机是一种具有高精度、高速度和强抗干扰能力的先进视觉传感器,其工作原理是将激光光投影到被测物体表面。

概述

在本节中,我们将详细介绍所提出的MMLight。如图4所示,该网络包含三个主要阶段:单一模态特征提取与重构、多模态特征跨转换以及缺陷图(DM)生成。特征提取与重构采用轻量级的单一模态编解码器(LSMC)结构来捕捉每种模态下正常特征的表达规律;特征跨转换(FCT)模块实现特征的双向投影。

实现细节

本文的所有实验均在NVIDIA Geforce RTX 4090 GPU和Intel(R) Xeon(R) Gold 5318Y CPU上进行。输入数据大小调整为224×224像素。MMLight采用Adam优化器,学习率设置为0.001,训练周期为70次,批量大小为4。在FCT模块中,输入图像的大小为224×224像素;在特征转换模块中,输入图像的大小也为224×224像素。

评估指标

轨道缺陷检测方法的准确性通过召回率和精确度共同评估。

消融分析

我们进行了一系列消融实验,客观地展示了MMLLight每个关键组件的重要性和有效性。定量结果见表7。当仅使用LSMC结构、应用两分支相似性学习,并且缺陷图生成仅是简单相乘时;当同时使用LSMC结构和MDDM生成时,特征转换模块采用了三层卷积结构。
由此可见……

结论

本文提出了一种新型的轻量级无监督多模态轨道缺陷检测方法,实现了实时、精确和自动化的检测,显著降低了轨道维护的成本和时间。MMLLight能够同时处理RGB和深度图像,且模型体积极其轻量。本文包括四个关键步骤:首先提出LSMC结构完成单一模态数据内的特征提取与重构;其次进行FCT处理……

未引用的参考文献

[44],[45],[46],[47]

CRediT作者贡献声明

杨高:撰写——审稿与编辑、撰写——初稿、可视化、验证、监督、软件开发、资源管理、方法论设计、数据分析。勇琴:资金获取。曹志伟:资金获取。连丽荣:监督。王亚冠:监督。寇琳琳:资金获取。彭根旺:监督。

利益冲突声明

作者声明他们没有已知的利益冲突或个人关系可能影响本文的研究工作。

致谢

本项工作得到了先进铁路自主运行国家重点实验室(合同编号RAO2025ZR001和RAO2023ZZ003)、北京交通大学、北京市自然科学基金(L241078)以及CPSF博士后奖学金计划(资助编号GZC20251118)的支持。
杨高目前在北京交通大学交通与运输学院攻读博士学位,她的研究兴趣包括铁路基础设施检测、多模态融合感知、图像处理和计算机视觉。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号