基于多模态多尺度融合网络的船舶管道系统泄漏检测方法及其在故障特征识别中的创新应用

本文提出一种创新的多模态多尺度融合网络（MMFN），通过注意力机制整合多传感器时间序列与成像数据，突破传统单模态诊断局限。该方法利用多序列融合网络（MSF）捕捉传感器间时空物理关联，结合跨模态注意力实现细粒度特征融合，在船舶冷却水系统泄漏检测中F1分数持续超90%，显著提升复杂故障模式的识别精度与工程实用性。

　　

Highlight

本研究提出三项核心创新：（1）基于注意力机制与多序列核心（Multi-Series Core）的故障诊断方法，通过多传感器与视觉数据融合提升主流方法的诊断能力；（2）设计多序列融合网络（MSF）捕捉多传感器间的时空物理关联，有效建模传感器固有耦合关系，克服现有方法忽略关键相互依赖的局限；（3）定量验证表明MMFN显著优于传统多元时间故障诊断技术，精准构建多模态信息关联。

问题描述

多模态融合旨在开发一种通过整合压力、流量、视觉成像和温度等多维度数据的创新故障诊断方法。以船舶冷却水系统为案例，其管道系统对船舶流体输送至关重要，而泄漏是最常见故障之一。传统单模态方法难以全面捕捉复杂故障特征，需通过多模态数据融合实现精准状态判定。

多模态编码模块

如图2所示，管道系统数据分为时间序列数据与图像数据。设计多模态特征提取网络以消除异构信号影响。针对时间序列与图像数据的维度差异，采用特定编码网络：时间序列数据通过一维卷积网络（1D-CNN）提取时序特征，图像数据通过二维卷积网络（2D-CNN）提取空间特征。MSF模块通过递归压缩将多元传感器数据耦合为统一核心表示序列，建模多传感器间时空物理相关性。

案例研究

实验环境为Windows 11系统，Intel Core i5-13400F CPU@2.50Ghz，RTX 4060Ti GPU，PyTorch 1.13.1框架与Python 3.8。MMFN模型在船舶冷却水系统泄漏检测中实现F1分数稳定超过90%，显著优于传统单模态及简单融合方法。

结论

MMFN通过融合1D与2D信号构建统一多模态故障表征。独立编码提取判别性特征，MSF模块突出故障特征中的物理关联，跨注意力机制动态加权最具代表性的跨模态特征。实验验证其在复杂故障模式识别中的卓越性能，为工程实践提供可靠解决方案。

CRediT authorship contribution statement

彭张：概念化；李超哲：软件、方法论、形式分析；彭世涛：调研；田博木：验证；罗思：可视化；张月文：监督；杜泰立：监督。

Declaration of competing interest

作者声明无已知竞争性财务利益或个人关系影响本研究。