《JOURNAL OF INTELLIGENT MANUFACTURING》：In-line laser weld surface inspection and abnormality detection via a human-knowledge integrated hybrid framework using 3D point cloud measurements
编辑推荐：
当前研究致力于开发一种机器学习（ML）框架，用于利用三维（3D）点云数据对激光焊接过程中的表面质量监控和异常检测。在该研究中，基于You Only Look Once (YOLO)分割模型的增强分割框架作为基础网络，用于在单次前向传播中自动识别和隔离表面图像中
当前研究致力于开发一种机器学习（ML）框架，用于利用三维（3D）点云数据对激光焊接过程中的表面质量监控和异常检测。在该研究中，基于You Only Look Once (YOLO)分割模型的增强分割框架作为基础网络，用于在单次前向传播中自动识别和隔离表面图像中的焊缝路径区域。该模型使用自定义标注的焊缝路径图像数据集进行微调，在变化的表面条件下实现了0.93的高交并比（IoU）和0.96的F1分数，展示了其强大的定位和检测性能。提取的区域随后映射到对应的3D点云表示，并通过机器学习和数学曲面拟合方法进行分析。基于焊缝表面形态建立参考平面，以量化几何偏差并识别沿焊缝路径的异常区域，如凹坑、凸起和不连续。将提出的异常区域与包含大表面泄漏和中表面泄漏的泄漏测试数据进行验证。比较结果证实，该方法可以以大约95%的准确率检测大泄漏。这项研究强调了将3D点云分析与机器学习相结合，用于激光焊接应用中可靠、自动化的质量检测的潜力。
**研究背景与问题**
激光焊接是现代制造中的核心连接技术，尤其应用于汽车、航空航天和电池生产，对质量和过程稳定性要求极高。传统在线监控方法（如光电二极管信号、热成像、2D视觉检测）空间信息有限，难以捕捉反映质量退化的早期细尺度几何偏差，且无法可靠识别激光焊接中因小孔塌陷、熔池湍流等过程不稳定性留下的细微表面特征。泄漏是激光焊接接头最严重的质量问题之一，但直接泄漏测试（如氦质谱、压力衰减、气泡测试）本质上是离线、耗时、昂贵且常具破坏性，因此需要间接的在线指示器。高分辨率3D表面扫描（如Keyence三角测量传感器）能捕获亚微米级深度信息，但利用密集3D测量进行自动检查面临挑战：焊缝表面随零件几何和接头设计变化，高宽比扫描带来内存和分辨率限制，手动定义基于规则的阈值不可行。现有研究大多聚焦于2D深度学习检测器或离线表面扫描，缺乏统一的、能在生产环境中实时进行高分辨率3D表面异常检测的框架。
**研究内容与意义**
为填补这一空白，研究人员开发了一个人类知识集成（human-knowledge integrated）的混合框架，利用Keyence激光线扫描数据进行在线焊缝检测。该框架将基于YOLO（You Only Look Once）v11的增强分割模型微调用于鲁棒分割焊缝路径区域，再通过知识驱动的分析模块进行3D表面异常检测，避免对难以获得的3D缺陷逐点标注需求。研究使用自定义标注数据集训练分割模型，对重建的3D点云进行曲面拟合与几何偏差量化，并依据由有限元模拟和工程团队定义的深度（>10%材料厚度）与面积阈值筛选异常区域。通过将检测区域与氦泄漏测试结果比对，证实表面异常可可靠指示大泄漏区域，召回率约95%。该研究发表于《JOURNAL OF INTELLIGENT MANUFACTURING》，为激光焊接质量在线评估提供了可扩展、可解释且与下游完整性风险可追溯的自动化方案。
**主要关键技术方法（<250字）**
1. **补丁式YOLO v11分割**：将16000×3200像素的高宽比图像划分为10个重叠子区域（窗口3200×3200，步长1600），分别缩放到640×640后并行推理，再融合重建，实现高精度焊缝路径区域（ROI）提取。
2. **3D点云重建与平面拟合**：从深度图解码得到(X, Y, Z)点云，通过线性回归拟合参考平面Z = AX + BY + C，计算各点偏差。
3. **基于规则的异常筛选**：对满足Z≤Z?的点进行DBSCAN聚类，应用专家定义的深度和面积阈值（深度>10%材料厚度且面积>阈值）过滤噪声，仅保留几何特征显著的凹坑等异常区域。
4. **坐标映射与泄漏验证**：将异常区域质心坐标转换至工程坐标系，与氦泄漏测试位置进行空间比对，评估检测性能。
（注意：样本来源为自定义标注数据集，包括175张训练验证图像和多个测试批次，未提及特定临床或制造队列来源。）
**研究结果**
- **YOLO-based ROI detection**：直接缩小图像尺寸的方法在高宽比下性能有限，因均匀缩放导致焊缝边界细节丢失和分割精度下降。
- **Patch-based YOLO segmentation for ROI detection**：提出补丁式分割框架，在50张测试图像上，该方法在IoU、Dice分数、F1分数（0.96）、精确率和召回率上均显著优于直接缩小方法。灵敏度分析显示，在不同窗口/步长配置下F1稳定在0.9575–0.9678，IoU在0.9187–0.9377；在两种未见过的焊缝参数和扫描配置的批次中，IoU保持在0.89–0.90，F1约0.92–0.93，表明模型鲁棒性强。延迟分析显示平均端到端处理时间为1.04秒，满足工厂15秒内发布的在线要求。
- **Knowledge-based surface abnormality detection**：通过重建3D点云、拟合参考平面并向下平移阈值（基于统计分析确定，具体值因保密未公开），识别凹点。结合DBSCAN聚类和专家规则（深度>10%材料厚度且面积>阈值）过滤，有效区分真实凹坑与正常表面起伏。
- **Discussion on linking surface defects to leaking**：将检测到的异常区域坐标与氦泄漏测试坐标比对，定义真阳性为与大泄漏区域一致。结果表明模型对大泄漏检测的召回率约95%，但难以检测无显著表面特征的小泄漏。该框架作为上游筛选工具，可定位高严重性异常区域以进行针对性泄漏测试，从而降低测试负荷。
**讨论与结论**
讨论部分指出，表面异常并非等同于小泄漏，但大泄漏常伴随严重表面变形（如深坑、塌陷），因此表面形貌分析可作为合理候选指示器。部分检测区域因表面纹理噪声而被误检，但规则过滤有效减少了假阳性。模型对无表面表达的微小泄漏（如孔隙网络、微通道）效果有限，需辅以CT或专用学习框架。结论部分翻译如下：
本研究提出了一种人类知识集成机器学习（ML）框架，利用表面扫描相机提取的三维（3D）点云数据，实现激光焊接接头自动表面质量监控和异常检测。通过研究，开发了增强的数据驱动分割框架，利用YOLO基础模型的骨干网络定位高宽比焊缝路径。模型在自定义标注的焊缝路径图像数据集上微调，优化了复杂焊缝几何的特征表示，实现了0.93的IoU和0.96的F1分数，在不同表面条件下展示了稳健的检测和定位性能。提取的焊缝区域进一步通过曲面拟合和几何建模分析，识别沿焊缝路径的凹坑表面异常。考虑到表面完整性直接影响电动汽车电池组件中激光焊接接头的密封性能，该框架为将几何表面特征与泄漏形成机制建立联系提供了重要基础。潜在异常区域通过与氦泄漏测试结果的空间位置对齐进行验证，证实凹坑表面特征与大泄漏之间高度对应，检测精度约95%。研究结果表明，凹坑表面形态可作为激光焊接接头易泄漏区域可靠的几何指示器。未来工作将聚焦于通过更大数据集和受控实验系统分析这些异常的几何特征，并开发数据驱动模型以直接从3D点云数据量化和预测泄漏倾向，推动下一代电动汽车制造领域激光焊接应用的全自动智能泄漏检测框架。
