《Journal of Pipeline Science and Engineering》：Research progress of data-driven approaches in oil and gas pipeline magnetic flux leakage detection
编辑推荐：
管道是油气运输的关键基础设施，其安全运行与环境保护和公共安全密切相关。漏磁检测（Magnetic Flux Leakage, MFL）是一种广泛使用的无损检测（Non-Destructive Testing, NDT）技术，但准确的缺陷识别和重建仍然具有挑战性
管道是油气运输的关键基础设施，其安全运行与环境保护和公共安全密切相关。漏磁检测（Magnetic Flux Leakage, MFL）是一种广泛使用的无损检测（Non-Destructive Testing, NDT）技术，但准确的缺陷识别和重建仍然具有挑战性。MFL信号是非线性的、含有噪声的，并且受到运行条件的强烈影响。人工智能（Artificial Intelligence, AI）和大数据技术已被应用于MFL信号处理，从基于手工特征提取的传统机器学习模型，到端到端深度学习，再到物理信息数据驱动模型。本研究通过分析来自53种期刊的98篇文章，并回答四个研究问题，对MFL检测的数据驱动方法进行了系统综述。基于这些文章，该综述比较了不同的模型，并展示了它们各自的优点和局限性。例如，卷积神经网络（Convolutional Neural Networks, CNNs）在基于图像的缺陷分类中表现良好，但在提取长程时间依赖性方面效果较差；标准的YOLO（You Only Look Once）系列提供了高检测效率，但在识别小缺陷方面有限。物理信息数据驱动模型可以通过结合先验物理知识提高准确性，但其性能在很大程度上取决于基本假设的有效性。本综述总结了以往数据驱动方法的性能、适用性和局限性，并讨论了未来的研究问题，包括MFL数据质量评估、变化工作条件下的模型泛化以及物理信息的自适应使用。
3. 数据驱动方法的演进趋势
数据驱动方法在漏磁（MFL）检测中的演进由将复杂MFL信号转换为可靠缺陷信息的难度驱动。MFL信号受缺陷形状、磁化状态、提离变化、传感器配置、噪声和检测条件等多因素影响，信号到缺陷的逆映射高度非线性、非唯一且不完整。早期手工特征简化了逆问题，但仅保留部分信息；经典机器学习模型降低了计算成本，但性能依赖特征质量；深度学习转向自动特征提取、实时定位和数据增强，包括卷积神经网络（CNN）、YOLO、生成对抗网络（GAN）、Transformer、图神经网络（GNN）和弱监督学习。
3.1 经典机器学习
早期研究通过手工特征提取和浅层机器学习模型引入机器学习。研究人员先使用时域、频域或时频分析方法处理原始MFL信号，提取代表性特征，再输入径向基函数神经网络（RBFNN）、人工神经网络（ANN）或逻辑回归等模型进行缺陷识别和分类。
3.1.1 手工特征提取
手工特征分为时域、频域、时频和混合特征。时域特征包括波形极值、间距、面积等，用于初步缺陷定位和尺寸估计，但受噪声和重叠缺陷影响，信息有限。频域特征通过傅里叶变换提取频谱能量分布，有助于缺陷分类，但削弱了信号与缺陷位置的局部对应关系。时频特征结合时域和频域优势，如小波变换（WT）可提取多尺度信号特征，但计算成本高且依赖专家知识。混合特征融合多源信息，如主成分分析（PCA）降维、核偏最小二乘（KPLS）提取潜在变量，增强了特征完整性，但仍依赖手工设计。
3.1.2 经典机器学习
经典机器学习模型在MFL检测中主要作为辅助工具、缺陷分类、缺陷重建和尺寸估计的工具。作为辅助工具，RBFNN作为前向模型加速优化，缩小搜索空间。缺陷分类中，时域特征结合反向传播（BP）神经网络或集成学习模型（如堆叠集成、增强白鲸优化-BP-AdaBoost）可实现超90%的准确率，但依赖特征质量。缺陷重建中，RBFNN及其变体（如径向小波基函数神经网络RWBFNN）直接从信号学习逆映射，减少了迭代优化时间。缺陷尺寸估计通过信号表示增强（如PCA、小波散射变换WST）和非线性映射模型（如核极限学习机KELM）改进，但信号-几何关系非唯一性仍限制可靠性。
3.2 具有自动特征提取的深度学习
深度学习无需手工特征，实现端到端MFL信号处理。框架包括信号重建与数据增强、缺陷检测与分类、缺陷轮廓与3D重建、缺陷安全评估。
3.2.1 信号重建与数据增强
面对有限、噪声、不平衡或缺失数据，传统增强方法（旋转、翻转、噪声注入）仅提供表面变化。生成对抗网络（GAN）通过对抗训练学习真实数据分布，生成新样本，缓解小样本过拟合和类别不平衡。条件生成对抗网络（CGAN）和辅助分类器GAN可生成带标签样本，用于信号重建和3D信号重建（如全局洗牌与聚合CycleGAN）。但GAN未融入物理约束，可能生成违反物理规律的样本，未来需引入物理约束和质量评估。
3.2.2 缺陷识别
缺陷识别包括识别、定位和分类。深度学习模型自适应提取特征，解决小缺陷、低信噪比和重叠缺陷问题。
3.2.2.1 基于CNN及其变体的自动局部特征提取
CNN通过卷积核自动提取局部特征，从替换手工特征发展到高精度分析。早期CNN用于区分有害与无害缺陷；随后加入区域卷积神经网络（R-CNN）处理重叠缺陷，稀疏自编码器预训练和迁移学习改善泛化。为解决小样本问题，将1D信号转换为2D图像（如格拉姆角场GAF），结合ResNet和迁移学习提升分类精度。掩码R-CNN结合PCA捕捉小缺陷细节，多并行CNN实现多传感器融合无监督检测。
3.2.2.2 基于YOLO系列的端到端实时检测模型
YOLO系列平衡速度与精度。通过加入空间注意力（如CBAM）、空间到深度卷积等改进YOLOv5，提升小缺陷和弯管区域检测能力，mAP@0.5达85%。YOLO与视觉Transformer（ViT）级联实现定位-分类；YOLO-GLW（结合GhostConv、大核注意力、Wise-IoU）在保持性能的同时降低部署成本。
3.2.2.3 基于Transformer和GNN的全局特征建模
Transformer通过自注意力机制捕获长程依赖，用于小目标、低对比度场景。如MSF-SegFormer精确分割小缺陷，去噪Transformer提升抗噪性，DGPST（去噪扩散概率模型门控并行卷积Swin-T）扩展感受野并抑制冗余计算。图神经网络（GNN）通过图结构建模，如多图分割与融合图卷积网络区分应力缺陷和腐蚀缺陷，准确率达95.12%。
3.2.2.4 数据稀缺下的小样本与弱监督学习
半监督学习利用无标签数据，如层次压缩自监督方法用200个标签样本达92%准确率。无监督方法如特征基无监督检测网络（FUDet）仅用正常样本训练，识别异常。异质信号互监督网络（THMS-Net）利用轴向和径向信号互监督检测弱缺陷。
3.2.2.5 上下文感知与几何感知网络
针对弱缺陷低信噪比和管道复杂几何，几何感知上下文选择网络通过专用模块提升弱缺陷平均精度（AP）和平均召回率（AR）分别4.1%和6.6%。上下文关系网络利用自注意力建模信号区域关系，实现像素级缺陷定位。
3.2.3 缺陷重建
缺陷重建学习MFL信号与缺陷几何的非线性映射。CNN方法从多光谱数据预测长度、宽度、深度，多任务学习共享参数，融合领域知识（如递归残差网络、经验辅助网络）提升精度。级联模型（如YOLOv5+CNN）实现快速定位与量化，SwinYv5+交叉残差网络（CR-CNN）提升小缺陷检测。非CNN方法中，RBFNN实现端到端3D重建，GNN通过图卷积保持全局结构，提升不规则缺陷尺寸预测准确性。
3.2.4 缺陷评估
深度学习从单纯预测精度转向人机协同系统。通过引入常微分方程（ODE）概念优化ResNet，有效缺陷面积评估精度提升20%，计算效率提高200倍。贝叶斯神经网络量化预测不确定性，构建不确定性引导决策框架，将黑箱模型转变为透明的人机协同决策支持系统，提高可信度。
4. 物理信息数据驱动模型
纯数据驱动模型无法保证物理一致性。物理信息数据驱动模型将物理先验知识嵌入学习流程，包括控制方程、数值模拟结果、先验特征和领域专家经验，形成灰盒模型。物理信息神经网络（PINN）通过自动微分计算偏微分方程（PDE）残差，结合数据拟合、边界条件和PDE残差损失优化网络参数。
4.1 正问题
正问题根据已知几何、材料属性计算MFL信号。深度神经网络从有限元模拟数据学习复杂映射，快速预测磁场分布。机器学习-磁偶极子模型（ML-MDM）先估计虚拟裂纹深度，再集成到磁偶极子模型（MDM）中解析计算信号，平均模拟时间13.29秒，远低于有限元模型的8小时。
4.2 逆问题
逆问题整合物理原理与数据驱动学习，实现缺陷形状反演。第一阶段间接求解：有限元神经网络（FENN）嵌入有限元方程，正向求解严格遵循物理方程，再通过并行径向小波基函数神经网络（RWBFNN）迭代逼近缺陷参数，但正逆过程独立，效率低。第二阶段物理约束训练：设计复合损失函数，同时拟合数据并满足物理定律（如PINN），尺寸误差降至亚毫米级（长度宽度误差<0.3mm，深度误差<0.4%壁厚）。物理引导方法通过双阶段训练恢复变形缺陷信号。第三阶段深度融合：将物理特征直接嵌入网络模块，如级联注意力特征融合网络引入最大峰谷差先验，物理信息数据驱动先验深度学习模型提取六种物理特征，机制辅助仿真到现实（Sim2Real）框架通过语义对齐实现域适应。任务导向物理协同网络统一缺陷检测和尺寸量化，减少误差累积。
5. 讨论
当前数据驱动MFL检测面临五大技术挑战。数据质量评估体系缺乏：现有指标基于信噪比、基线漂移等通用信号指标，缺少MFL专用物理机制指标（如波形完整性、峰谷结构匹配度、空间分布一致性），需构建多维度综合评估模型。模型泛化能力不足：现有方法仅处理单因素变化（如管径、壁厚、检测速度），多因素耦合导致信号偏移难以处理，需构建多因素域适应模型，采用对抗训练和特征解耦减少分布差异。物理信息适应性差：物理原理（如磁荷理论、麦克斯韦方程）统一嵌入网络，未针对任务目标和网络结构选择匹配信息，导致冗余或冲突约束，需构建任务导向筛选框架和自适应融合网络（如注意力机制、门控单元）。模型输出概率预测能力弱：多数模型仅输出确定性结果，无法描述预测置信度和误差分布，需引入贝叶斯神经网络和深度集成学习，并设计自适应校准机制。瞬时速度条件建模不足：现有研究使用平均速度，无法刻画动态速度波动导致的信号偏移，需将瞬时速度作为显式条件变量，并嵌入速度与MFL信号的物理关系，实现动态校正和归一化。
6. 结论
过去二十年，数据驱动方法在管道安全研究中得到广泛研究并逐步进入工程应用。本文综述了管道MFL检测数据驱动方法的关键研究问题、方法论和演进趋势。数据驱动方法解决了正问题和逆问题，从辅助工具演变为核心技术。当前方法呈现多域融合趋势，从纯数据驱动到物理信息驱动，从浅层网络到复杂深度学习模型，但存在数据质量评估体系缺失、模型泛化有限、物理信息适应性差、概率预测能力弱和瞬时速度建模不足等挑战。未来研究应构建统一数据质量评估系统、多因素域适应、任务导向物理先验选择、自适应性融合网络、引入概率预测机制，并将瞬时速度作为显式条件变量进行校正。
