《Results in Engineering》:A deep multimodal learning perspective for railway structural health monitoring: A comprehensive review
编辑推荐:
数据驱动的铁路结构健康监测(SHM)的日益部署产生了大量的多模态数据。然而,这些异构数据源在多模态学习中的有效整合在学术和实践上仍然空白。鉴于此,研究人员对铁路SHM的深度多模态学习进行了全面综述,系统审视了这一前景广阔领域的理论基础、数据模态、应用场景、实施
数据驱动的铁路结构健康监测(SHM)的日益部署产生了大量的多模态数据。然而,这些异构数据源在多模态学习中的有效整合在学术和实践上仍然空白。鉴于此,研究人员对铁路SHM的深度多模态学习进行了全面综述,系统审视了这一前景广阔领域的理论基础、数据模态、应用场景、实施挑战和未来研究方向。本文有两个不同于其他相关综述的创新点:1)提出了铁路SHM多模态数据的分类,以阐明振动/声学、视觉和运营数据的模态特征和主要目的;2)讨论了涵盖轨道系统、桥梁与隧道、车辆部件以及环境与电气设备的最新应用,详细介绍了典型的模态组合、模型架构和下游任务。该综述揭示了深度多模态学习方法中算法和任务的清晰演变,弥合了方法与铁路工程实践之间的差距。因此,这项工作为研究人员和从业者提供了基础参考,为铁路基础设施的预测性、智能化资产管理铺平了道路。
论文主体部分系统阐述了深度多模态学习在铁路结构健康监测(SHM)中的理论基础、多模态数据源、应用场景、实施挑战与未来方向。
2. 深度多模态学习的理论基础
2.1 多模态学习中的定义
多模态学习是机器学习的分支,旨在使模型同时理解、处理并关联来自多种模态的信息。多模态表示涵盖自然语言、视觉和信号/音频三大模态。理想的多模态表示应保留单模态本质特征、保持跨模态一致性,并在某一模态缺失时仍能生成完整表示。多模态表示分为联合表示和协调表示两类,需在时间和空间上同步。
2.2 深度多模态学习算法
深度多模态学习算法基于深度神经网络构建。卷积神经网络(CNN)擅长处理二维矩阵图像数据,通过卷积层和池化层提取特征;循环神经网络(RNN)擅长处理一维序列数据,如音频和文本,通过长短期记忆网络(LSTM)和门控循环单元(GRU)解决梯度消失问题。Transformer算法凭借自注意力机制和交叉注意力机制,有效处理不同模态在特征表示、时间尺度和空间分辨率上的异构性,成为近年主流。Transformer由编码器和解码器组成,包含多头注意力(MHA)和前馈层,典型变体包括双向编码器表示转换器(BERT)和视觉转换器(ViT)。
2.3 深度多模态学习中的设计任务
模型训练采用两阶段:预文本任务预训练和下游任务微调。预文本任务包括生成式(如掩码语言建模)、对比式(如图像-文本对比损失)和匹配式(如二分类评估)。下游任务涵盖图像-文本检索(ITR)、视觉问答(VQA)、视觉定位和图像生成,分别服务于搜索推理、目标定位和语义合成。
3. 铁路SHM中的多模态数据源
3.1 振动与声学数据
振动与声学数据捕捉结构动态响应,包括固有频率、振型和振动幅值,由加速度计、激光测振仪和光纤传感系统采集。振动数据可通过时频分析转化为二维频谱图。声学数据通过专家时间戳标注,与振动信号融合可提升缺陷检测精度,例如一项研究通过多尺度多层感知机融合振动与声学数据实现超过95%的预测准确率。振动-声学融合利用互补频率覆盖范围,振动传感器敏感于低频响应,声学传感器捕捉高频发射,共同增强缺陷表征能力。
3.2 视觉数据
视觉数据记录结构表观健康状态,具有直观性和非接触采集特点,包括图像和点云,由相机、无人机和激光扫描设备获取。计算机视觉实现自动识别、分割和量化。视觉数据可与其他模态融合,如红绿蓝(RGB)与深度信息(RGB-D)融合用于轨道表面缺陷检测,或与振动信号进行多尺度特征匹配。
3.3 运营数据
运营数据描述外部服务条件,包括结构化参数(温度、湿度、速度)和非结构化文本(检查报告、维护日志)。运营数据作为上下文解释器,辅助理解其他模态。文本信息在铁路SHM中用于事故识别、风险建模和图像-文本检索(ITR),例如一项研究通过图像与文本提示的相似度计算实现接触网异物检测。
4. 深度多模态学习在铁路SHM中的应用
4.1 轨道系统
轨道系统监测包括钢轨表面缺陷、扣件故障和道岔转辙机故障。钢轨表面缺陷检测常融合RGB-D或视觉与振动/声学数据,模型从CNN向Transformer演变。扣件检测涉及RGB-D、点云和文本知识,采用双语种多模态学习框架如区域建议网络和生成式推理。道岔转辙机故障诊断利用振动与运营参数或视觉与文本,实现分类和视觉定位。下游任务包括图像分类、分割和视觉定位。
4.2 桥梁与隧道
桥梁结构损伤检测引入图像-文本检索(ITR)和视觉问答(VQA),结合视觉数据与检查报告文本,模型包括CNN+RNN和Transformer,实现语义理解与维护建议生成。隧道监测涉及裂缝、变形和漏水,通过整合设计规范、地质调查和现场记录等多源数据,实现时空预测和推理,模型包括CNN+RNN和Transformer,下游任务包括ITR、VQA和回归。
4.3 车辆部件
车辆部件监测包括车轮、轴承、转向架和车体。车轮检测融合图像与激光点云,通过跨模态注意力对齐几何与纹理特征,实现毫米级缺陷预测。轴承故障诊断融合振动信号与图像或振动与文本,采用特征对齐和大型语言模型(LLM)框架,准确率达90%以上。转向架和车体监测利用视觉与文本或振动与文本,通过CLIP模型进行视觉定位和VQA任务,精度达99%。下游任务包括分类、视觉问答和视觉定位。
4.4 环境与电气设备
环境感知包括铁路场景理解和异物入侵检测,通过图像-文本融合生成高保真图像并进行视觉定位。电气设备包括接触网和受电弓,利用视觉与文本模态进行图像生成、图像-文本检索和视觉定位,例如通过DINO和BLIP模型生成缺陷描述。事故故障识别采用CNN和BERT进行双向检索。下游任务包括图像生成、ITR和视觉定位。
5. 实施挑战与未来工作
深度多模态学习在铁路SHM中面临九大挑战:多模态数据源异构性、标记样本稀缺且不平衡、环境与运营条件干扰、领域知识不足、精度与效率权衡、缺乏统一数据集基准、全生命周期阶段扩展不足、单模态主导与模态不平衡、以及相似损伤类型影响评估。未来研究方向包括:增强跨模态对齐与融合(如注意力机制和图结构);开发数据增强、少样本和零样本学习方法;构建鲁棒算法应对环境变化(如域适应和自监督学习);嵌入物理信息和工程知识(如物理信息神经网络和知识图谱);优化模型压缩和边缘计算;建立公开基准数据集;拓展至设计、施工和拆除阶段;设计动态加权网络和梯度调制策略应对模态不平衡;开发组件特定损伤评估方法(如层次化文本分类和基于规则的严重度映射)。
6. 结论
本文系统综述了深度多模态学习在铁路SHM中的应用,发现每种模态提供协作视角,模型架构和下游任务不断演进。Transformer架构在跨模态对齐、推理和视觉定位任务中占主导,CNN适用于RGB-D融合,混合CNN-Transformer适用于局部特征提取与全局上下文结合。尽管面临实际部署挑战,深度多模态学习有望推动铁路SHM从反应式维护向预测性智能化资产管理转变。