《Sensors》：Toward Image–Magnetic Flux Leakage Dual-Modality Inspection of Steel Pipes and Curved Steel Surfaces: Evidence, Fusion Strategies, and Robotic Acquisition
编辑推荐：
石油、化工和能源工业中的钢管道与曲面钢板易产生表面及焊缝缺陷，威胁结构完整性。机器视觉或磁通量泄漏（MFL）单模态检测在真实生产条件下（包括不均匀照明、遮挡和电磁噪声）面临困难。本综述考察2016—2026年已发表证据在多大程度上支持图像–MFL联合检测，将1
石油、化工和能源工业中的钢管道与曲面钢板易产生表面及焊缝缺陷，威胁结构完整性。机器视觉或磁通量泄漏（MFL）单模态检测在真实生产条件下（包括不均匀照明、遮挡和电磁噪声）面临困难。本综述考察2016—2026年已发表证据在多大程度上支持图像–MFL联合检测，将126项工作组织为四个主题（视觉、MFL、融合和机器人平台），并定位其与十五项既往综述的关系。按数据集和评价协议综合的报告结果显示，视觉检测器在公开基准上达到82–83% mAP@0.5，在自建数据集上最高达97.9%；在单一研究内，严格交并比（Intersection over Union, IoU）分数降至约47%；在大型公开PipeMFL-240K基准上，MFL基线达到mAP@0.5。融合证据按比较设计分级。比较了数据级、特征级和决策级融合方案；提出双向跨模态引导以供未来测试。跨设备配准、配对数据稀缺、量化精度和评价不一致是主要障碍；物理信息驱动的Transformer融合与传感器–机器人联合设计是有前景的方向。
1. Introduction（引言）：钢管道与曲面钢板是石油天然气、化工、发电和海洋工程的基础构件，制造至服役过程中易出现裂纹、划痕、凹坑、夹杂、折叠、焊缝咬边和腐蚀等缺陷。机器视觉提供形态与定位但对光照、锈蚀、遮挡敏感且对亚表面缺陷不敏感；MFL对铁磁材料表面/近表面不连续敏感、无需耦合、适应恶劣环境，但信号不直接刻画形貌、定位精度有限。二者互补推动图像–MFL联合采集、相互引导和深度融合；机器人搭载视觉与磁化器/传感器阵列，经单模态分析、跨模态引导及数据/特征/决策级融合支持识别、定位、量化和分级，标定与配准层提供共享坐标和不确定性接口。本综述以相机–MFL配对、匹配基线比较、空间配准和采集约束的研究级证据连接视觉、MFL、管道检测机器人和无损检测（NDT）融合等既有综述。
2. Review Methodology and Statistical Landscape（综述方法与统计图景）：检索遵循PRISMA式流程，Web of Science核心合集（SCIE）和IEEE Xplore为主数据库，检索窗口2016年1月至2026年10月，Google Scholar补充检索（含中文文献）；Scopus因机构访问不可用未检索。去重后2166条进入标题/摘要筛选，最终纳入126项：视觉35、MFL及其他电磁方法43、多模态融合31、机器人采集平台17；英文95、中文31；原创研究104、综述22；111项直接针对钢/铁磁构件，15项为相邻领域证据。未使用正式质量评价工具，纳入标准作为最低报告标准。2.2 Statistical Landscape：2021年以来年产出显著增长，约91%的综述工作发表于2021年及以后；融合工作从2023年的3项增至2025年的7项，2026年部分年份为18项。
3. Vision-Based Surface Defect Detection（基于视觉的表面缺陷检测）：机器视觉通过工业相机获取表面形貌，并由图像处理或深度学习定位、分割和分类缺陷；主题包括图像采集与预处理、分类网络、检测网络、分割网络和数据受限学习。3.1 图像采集与预处理：钢管内壁和大曲面存在非均匀照明、反光眩光、焊缝阴影、机器人振动模糊、焊渣/锈蚀遮挡；硬件方案包括结构光、光度立体、多相机或深度相机阵列，算法侧常用光照校正、去模糊、对比度增强，近期将增强模块嵌入检测网络联合优化。3.2 分类网络：判断图像块是否含缺陷及类型；早期迁移AlexNet、VGG、GoogLeNet、ResNet、DenseNet及MobileNet/ShuffleNet等骨干到钢表面数据集；分类网络适合筛查但不能提供缺陷位置和范围，限制其在工业分级中的独立价值。3.3 检测网络：以边界框定位并分类，主导工程部署；YOLO和SSD族单阶段检测器精度–速度折中最优，是在线检测主流；Faster R-CNN等两阶段检测器仍为精度参照；改进集中于小/低对比度缺陷、部署成本、领域特定图像及超越基准的工业验证。3.4 分割网络：需要缺陷形状、面积和边界时优选；语义分割逐像素分类（FCN、U-Net、DeepLab），实例分割进一步分离个体缺陷（Mask R-CNN、PANet）；分割输出可作为精确感兴趣区域（ROI）用于定量测量和引导其他模态。3.5 数据受限学习：严重缺陷稀有，标注稀缺且类别不平衡；少样本、半监督和无监督方法受关注；数据稀缺、产线间域偏移、精度–时延权衡为部署三大障碍。3.6 报告性能与剩余差距：NEU-DET结果使用不同IoU协议，MSFT-YOLO报告75.2% mAP@[.5:.95]，WSS-YOLO和DSAT报告82–83% mAP@0.5，不构成时间改进趋势；同一模型和数据集上DSAT报告83.14% mAP@0.5和47.37% mAP@[.5:.95]，说明小/低对比度缺陷精确定位仍远未解决；自建视觉数据集报告92.6%、95.3%、97.9% mAP@0.5，来自单站点不同成像物理和缺陷分类体系；多数视觉结果来自平面制造阶段表面或焊缝射线，向曲面服役钢和MFL兼容转移仍待评价。
4. MFL-Based Defect Detection（基于MFL的缺陷检测）：MFL将铁磁构件磁化至饱和，缺陷处局部磁阻变化使磁通泄漏到空气中，由霍尔元件或感应线圈捕获；非接触、无需耦合、快速、对表面和近表面缺陷敏感。4.1 探头、磁化器和检测系统：信号质量主要由传感前端决定；工程研究优化激励线圈配置、磁屏蔽和导磁结构、三轴传感器布置；柔性涡流/MFL阵列传感器和双方绕组探头提高曲面和微缺陷灵敏度与共形性；高速检测引入速度致信号变形，需补偿。4.2 信号处理与传统机器学习：经典MFL解释链包括去噪、特征提取和分类器；小波变换融合用于异常边缘检测，Kriging插值用于大规模管道数据快速定位；手工特征跨管径、磁化水平和提离变化泛化差。4.3 深度学习用于MFL解释：一维信号由CNN和LSTM等时间网络直接处理；MFL数据转图像复用成熟视觉模型，级联Swin-Transformer检测器与量化头、级联YOLOv11与物理信息网络、轻量在线焊缝缺陷检测和级联注意力网络均有报道；物理信息学习将电磁先验嵌入网络，用于尺寸估计、偶极建模和掺氢管道动态缺陷反演；半监督学习、扩散模型合成信号和复值CNN也用于降低标注成本与重建缺陷。4.4 缺陷量化、反演和数据集：完整性评估需估计缺陷深度、宽度和长度；CNN逆模型、分类–回归网络、三轴融合反演、联合诊断 sizing 和磁通–图像联合量化框架均有进展；长期瓶颈是缺乏公开基准，PipeMFL-240K大规模数据集的发布是迈向可重复比较的重要一步；配对且标注良好的工业数据集比算法更稀缺。4.5 报告性能与量化差距：PipeMFL-240K上22个基准检测器中最优的YOLOv5-l和YOLOv8-x-world-v2在测试集达到mAP@0.5=0.498；最佳结构构件类别（阀门、套筒）AP
50超过0.8，金属损失和环焊缝异常等损伤类别AP
50低于0.3；数据量是一阶约束，用1/16训练数据时YOLOv8-m从0.450降至0.169 mAP@0.5，RF-DETR-Base退化小得多；多数 sizing 结果基于仿真或实验室测量，现场验证误差仍稀缺。
5. Multimodal Fusion Strategies and Cross-Study Synthesis（多模态融合策略与跨研究综合）：视觉擅长形态和定位，MFL及相关电磁信号穿透表面响应隐藏不连续；融合旨在将互补性转化为可测检测增益。5.1 融合层级：数据级融合在共同空间/时间参考中对齐原始或最小处理数据并输入单一模型，配准质量决定融合增益；特征级融合提取模态特定嵌入并通过拼接、加权、门控或注意力合并；决策级融合保留独立单模态流程并通过投票、加权逻辑、贝叶斯规则或Dempster–Shafer证据理论合并输出，可容纳异步输入和传感器缺失，但低层跨模态相关性利用较弱。5.2 电磁与声学模态融合：UT–MFL或EMAT–ECT组合探头改善表面和内部缺陷检测，MFL与EMAT物理耦合融合传感可同步检测铁磁钢表面和内部缺陷；这些表明算法融合前应考虑探头级协同设计和信号可分性。5.3 视觉–电磁融合与跨模态引导：领域知识引导网络、多模态深度学习、磁光成像与深度特征提取等用于焊缝、不锈钢管和涂层缺陷检测；Gao等报告串行相机–MFL流程，为评估配准融合提供串行基线；本文提出双向跨模态引导作为可测试方向，视觉缺陷图可引导MFL ROI选择和局部反演，MFL测量可帮助区分缺陷与视觉伪影，视觉ROI应视为不确定先验。5.4 基于Transformer的融合架构：Transformer因自注意力和交叉注意力建模异构令牌序列长程依赖而广泛作为融合骨干；开放问题包括如何将物理先验（磁化状态、提离、速度）作为令牌或约束注入，以及如何保持融合模型对安全关键分级足够可解释。5.5 混合融合、缺失模态和融合质量指标：三种经典融合层级越来越多组合使用；对不同设备不同时间图像–MFL采集，缺失模态鲁棒性更紧迫；跨模态知识蒸馏为异步检测单模态回退提供候选；融合质量评价应报告配准容差、模态移除或损坏下性能及不确定性校准。5.6 融合增益的量化证据：证据分为受控比较、系统级变化、能力演示和观察到的失败；受控比较涉及图像–文本、光谱–视觉和ECT–热像–MFL配对；系统级变化和能力演示不能隔离新增模态贡献；融合失败也重要，严格一致规则可拒绝仅一个传感器检测到的真实指示；搜索范围内没有研究显示空间配准相机–MFL融合优于匹配单模态基线，也未识别公开配准基准。5.7 跨研究综合与比较局限：数据集规模、评价划分、IoU协议、硬件和缺陷分类体系差异限制直接比较；标准化评价是累积进展前提；任务特定观察是视觉检测器在 curated 基准报告高mAP@0.5，同研究严格IoU分数显著较低，而MFL检测器在大规模公开MFL基准仍有较大提升空间。
6. Robotic Acquisition, Open Challenges, and Future Directions（机器人采集、开放挑战和未来方向）：现场可部署双模态检测依赖载体可靠将传感器带到表面；两类主导为管道内检测机器人和磁吸附爬壁机器人。6.1 管道内检测机器人：PIG式载体在加压管道中输送MFL、卡尺和视觉载荷数十公里；因成本和直径限制，主要用于传输管道，配气管、储罐和结构构件需要更敏捷载体。6.2 磁吸附爬壁机器人：通过永磁体或电磁单元粘附铁磁表面，携带相机、照明和NDT载荷到垂直和 overhead 区域；应用包括钢桥、焊缝跟踪、水工钢闸门、压力容器、混凝土、船焊缝和圆柱罐检测。6.3 对双模态采集的启示：共装和分次采集施加不同载荷、干扰和配准要求；共装需考虑传感器间距、磁化器布局和共享标定框架；分次采集需要构件/缺陷对应、空间对齐和测量状态控制；融合层级应按配准误差预算选择；爬行器速度通常0.05–0.3 m/s，远低于内检测工具约1–5 m/s，机器人MFL解释需在预期速度和提离条件下评估。6.4 数据和配准：配对数据集应记录传感器几何、采集时间、表面状态、缺陷身份和参考尺寸；空间融合需共享坐标框架，串行流程需构件或缺陷对应；少样本、半监督、无监督学习和跨模态合成是有前景的数据稀缺缓解；融合算法应显式容忍配准不确定性。6.5 物理和 sizing 可靠性：裂纹、划痕、凹坑、夹杂、折叠和焊缝缺陷在尺度、纹理和磁特征上差异巨大，复合缺陷非线性交互；分级决策最终依赖缺陷尺寸，量化误差直接传播到安全裕度；物理信息反演和与互补模态交叉验证有前景，但现场验证 sizing 误差仍稀缺；不确定性量化应伴随每个定量输出。6.6 现场条件和标准化：管道内壁和曲面结构结合狭窄空间、不均匀照明、焊渣、锈蚀和遮挡，视觉模型显著退化，而提离变化、速度效应和磁噪声污染MFL信号；在线检测还要求模型在机器人速度下嵌入式硬件运行；配对数据研究应使用共同缺陷定义并一致报告划分、检测、定位和 sizing 指标。6.7 未来方向：双向跨模态引导、带显式物理令牌和约束的Transformer融合、传感器布置与机器人运动的联合设计、汇集跨检测任务知识的基础模型方法；所有候选架构应对强单模态和串行基线评估。
7. Conclusions（结论）：本综述考察126项工作（2016—2026）对钢管道和曲面钢表面图像–MFL双模态检测的支持程度，并与十五项既往综述定位；视觉检测器在公开基准达到82–83% mAP@0.5，自建数据集最高97.9%，但同研究严格IoU分数降至约47%，多数证据来自平面制造阶段材料；PipeMFL-240K上最佳检测器达到mAP@0.5=0.498，损伤类别远低于结构构件，量化多在合成而非现场数据验证；搜索范围内没有研究显示空间配准图像–MFL融合优于匹配单模态基线；配对数据、跨设备配准、现场验证 sizing 和一致评价是紧迫优先事项，特别是机器人载体在现场条件下采集的配对测量。
