《Journal of Marine Science and Engineering》：An Improved Vision Transformer Model for Ship Plating Welding Defect Detection Based on Multi-Source Information Feature Fusion
编辑推荐：
焊接质量直接关系到船舶结构的强度与服役安全。受复杂成像环境、严重噪声干扰及缺陷形态多样影响，传统无损检测（Non-Destructive Testing，NDT）在检测精度与自动化方面仍存在不足。鉴于焊接缺陷形成具有明显时序性与物理特性，研究人员引入多源信息融
焊接质量直接关系到船舶结构的强度与服役安全。受复杂成像环境、严重噪声干扰及缺陷形态多样影响，传统无损检测（Non-Destructive Testing，NDT）在检测精度与自动化方面仍存在不足。鉴于焊接缺陷形成具有明显时序性与物理特性，研究人员引入多源信息融合策略，对图像特征与焊接过程时域信号进行联合建模。研究提出一种融合多源分割卷积模块（Multi-source Split Convolution Module，MS-SCM）与时序感知窗口Transformer（Temporal-Aware Windowed Transformer，TA-WTM）的焊接缺陷检测模型：通过并行提取多源特征增强对不同尺度缺陷的表征能力，并在注意力机制中引入时序信息融合与滑动窗口策略，在降低计算复杂度的同时提升对缺陷空间与时域特征的建模能力。在裂纹、气孔、未熔透及无明显缺陷等多类焊缝样本上的实验表明，该模型在检测精度与稳定性方面具有一定优势。
研究背景与问题提出
在高强度船体板材焊接质量管控中，焊接缺陷会削弱接头力学性能与结构安全。现有X射线无损检测（Non-Destructive Testing，NDT）虽可揭示内部缺陷，但受辐射散射、厚度差异与现场噪声影响，图像常表现为低对比度、细节模糊；同时人工评片依赖经验，存在主观性与不一致性。单纯依靠视觉信息难以反映缺陷形成的物理本质，因此研究人员提出以多源信息融合思路，将焊缝图像与焊接电流、熔池温度等时域信号联合建模。
研究内容与总体结论
研究人员构建了由时域特征提取、多源分割卷积模块（MS-SCM，用于多尺度并行卷积与通道自适应加权）和时序感知窗口Transformer（TA-WTM，用于多模态token融合与局部窗口注意力）组成的改进视觉Transformer（ViT）框架。在裂纹（CR）、气孔（PO）、未熔透（LP）与无缺陷（ND）样本上，模型平均检测准确率达98.51%，召回率98.72%，较基线ViT分别提升8.68%与10.53%，在保持参数量可控的同时显著降低误检与漏检，证明多源时空特征融合可有效提升船舶焊缝智能检测可靠性。
主要关键技术方法
研究采用GDXray公开数据集（训练集：气孔983张、裂纹1023张、未熔透829张、正常400张）与独立实测测试集（气孔541张、裂纹513张、未熔透527张、正常300张）。关键技术包括：在焊缝影像上布设像素级采样线，提取电流与温度时域序列，并以标准差、方差、峰峰值、峭度及一阶/二阶导构建统计特征，经Fisher Score与互信息加权；MS-SCM以多分支不同感受野提取多尺度特征，通过全局平均池化与共享MLP生成通道级权重实现自适应融合；TA-WTM将图像patch与时间域特征映射为统一token，沿序列维拼接后采用一维滑动窗口计算缩放点积注意力，再接入ViT编码器进行全局上下文建模；训练采用Adam优化器、批次8、200轮次与学习率衰减策略。
研究结果
时域特征提取与MS-SCM构建
研究人员在焊缝X射线图像上划分采样线，构建与空间位置对应的电流/温度时间序列；通过六类统计指标刻画电弧能量与熔池热行为，并利用Fisher Score（FS）与互信息（Mutual Information，MI）计算特征权重，使模型在融合前突出对缺陷分类贡献更高的时域维度。MS-SCM以S路并行尺度分支分别捕捉边缘纹理、缺陷主体与焊缝全局形态，经全局平均池化（Global Average Pooling，GAP）、轻量MLP与压缩比r调控生成分支权重，实现多源特征互补融合。
基于多源信息特征融合的ViT模型
整体框架依次为两层卷积下采样、三级MS-SCM与TA-WTM堆叠、层间下采样、全局池化与分类器。TA-WTM将图像token与电流、温度token统一表征，以窗口长度D、步长s的滑动窗口限制局部注意力计算，减少高分辨率特征下的全局建模开销；第三级patch尺寸固定为5×5、3×3与2×2。该结构在保留局部异常结构响应的同时兼顾全局语义。
实验设计与验证
数据集来自GDXray与独立实测来源，软硬件为Intel i5-14600K、NVIDIA RTX 3060 Ti（8GB）、PyTorch 1.10。以准确率、精确率、召回率、F1分数、参数量与推理时间评估。
算法收敛与性能验证
五组模型对比中，所提模型验证集损失稳定于约0.02，准确率约98%，优于基础ViT、MCFNet、MFE-IDD；相较SL-GBM精度提升0.39%且振荡更小。气孔类三类先进模型均达100%，裂纹类本模型优势明显，说明时序感知对复杂形态缺陷更具判别力。
消融实验
模块层面：基线ViT准确率89.83%，仅加MS-SCM升至96.48%，仅加TA-WTM为93.54%，完整模型达98.51%。输入层面：仅图像为94.48%；融合电流特征、温度特征及电流+温度特征后精度逐级提升，证明时域信号对视觉特征具有互补增益。
讨论与结论翻译
讨论指出，当前实验基于有限缺陷类型与小规模X射线数据，未来需在大样本、复杂缺陷及分割任务上验证泛化性。结论如下：面向高强度船壳焊接质量检验需求，研究人员基于射线数据融合自监督学习与视觉Transformer，提出智能焊接缺陷检测方法；考虑缺陷形成的时序与物理特征，建立时域特征提取方法；针对单一视觉信息不足，引入多源信息融合策略联合建模图像与时域信号；构建MS-SCM与TA-WTM及改进ViT整体框架，经对比与消融实验验证算法收敛性、精度与稳定性。该工作为船舶焊接自动化质检提供了兼具精度与效率的时空多源检测思路。
你想把这篇解读压缩成500字摘要，还是整理成可投稿的评审意见？
