《Engineering Applications of Artificial Intelligence》：Online defect detection method in laser powder bed fusion process based on spatiotemporal propagation characteristics of melt pool
编辑推荐：
熔池时空特征融合缺陷检测方法研究，提出双桥注册策略与立方采样方法构建缺陷相关熔池时空数据集，设计ResNet-GRU-Position网络实现空间位置与时间动态的深度联合建模，实验表明该方法准确率达94.9%和F1-score 95.1%，时空特征融合模块分别提升7.3%和8.4%性能。
胡电音|李素慧|滕毅瑞|潘金超|张晓杰|苏晓|张婷莲|王荣桥
北京航空航天大学航空发动机研究所，中国北京 100191
摘要
通过基于熔池的在线监测准确表征复杂承重部件中的缺陷是激光粉末床熔融技术在工业应用中的前提条件。然而，现有的监测方法在构建缺陷与熔池行为之间的相关数据集以及利用熔池特征的时空演化方面存在局限性。为了解决这些挑战，本研究提出了一种基于深度学习的在线缺陷检测方法，该方法整合了熔池的时空特征以捕捉缺陷形成和传播的动态机制。开发了一种双桥配准策略，以实现几何形状复杂的部件中缺陷模型与熔池点云之间的精确配准。此外，引入了一种由缺陷形成和传播机制指导的立方体采样策略，以构建捕捉熔池时空特征与缺陷形成和传播之间相关性的数据集。随后设计了一种ResNet-Gated Recurrent Unit (GRU)-Position神经网络架构，其中空间融合模块模拟了熔池位置对缺陷形成和传播的影响，时间融合模块捕捉了熔池状态的动态演化。实验结果表明，所提出的方法达到了94.9%的准确率和95.1的F1分数。空间信息融合模块在准确性上提高了7.3%，在F1分数上提高了6.3%，时间信息融合模块在两个指标上都贡献了8.4%的改进，证明了该方法在增材制造中实时质量监测的有效性。
引言
激光粉末床熔融（LPBF）作为增材制造（AM）的代表，在航空航天工业中受到了广泛关注，因为它具有高成型精度和出色的设计灵活性等优点。它为轻量化和高效设计制造复杂部件提供了可能性。然而，LPBF工艺具有众多工艺参数和高变异性，导致制造出的部件中不可避免地存在难以消除的缺陷，这限制了其在承重部件中的应用（Yang等人，2022；Toprak等人，2025）。这些LPBF承重部件缺陷的表征和量化仍然是未解决的问题。
承重部件通常具有大尺寸、高密度和复杂结构等特性，使得现有的离线检测方法在可访问性和准确性方面存在局限性。一方面，基于X射线计算机断层扫描（CT）的方法对于大型承重部件的穿透能力不足，难以实现完整的内部缺陷成像（Ziabari等人，2023；Baig等人，2025）。而浸入式超声检测也存在明显的检测盲区，无法检测到表面和次表面缺陷（Wu等人，2021；Dai等人，2021；Chen等人，2024a），这通常会对承重部件的疲劳寿命产生不利影响（Baig等人，2025；Javidrad等人，2024；Zhao等人，2025；Mao等人，2022）。另一方面，现有的离线检测方法无法满足承重部件的精度要求。由于辐射源强度和探测器分辨率的限制，X射线CT系统只能检测到大于170微米的孔洞（Ziabari等人，2023）。而浸入式超声技术受到部件几何复杂性和材料不均匀性的限制，检测精度通常仅限于100微米以上（Honarvar和Varvani-Farahani，2020）。然而，现有研究表明，小至约40微米的缺陷也会影响疲劳性能（Baig等人，2025；Afroz等人，2025），但使用现有的离线检测方法难以检测到这些缺陷。
为了克服离线检测方法在可访问性和准确性方面的局限性，许多研究人员根据LPBF工艺的特点开发了在线缺陷监测方法。由于熔池是能量传递和相变的核心区域，其与缺陷形成机制的强相关性使其成为缺陷检测的关键工艺指标之一（Lee和Yun，2020；Valizadeh和Wolff，2022）。早期的研究主要采用传统的图像处理技术从熔池图像中提取形状、温度和光强度等特征，并结合手动识别或机器学习算法进行缺陷检测。Lee等人（Lee等人，2023；Kozjek等人，2022；Forien等人，2020；Taherkhani等人，2021）开发了通过红外热成像技术提取熔池参数（如温度或光强度）的方法，并比较无缺陷和有缺陷过程中的场，从而建立了熔池参数场与缺陷形成之间的相关性。为了克服单一参数无法完全描述熔池特性的限制，研究人员提出了基于熔池多特征融合的缺陷检测方法（Zou等人，2024；Harbig等人，2022）。Gaikwad等人（Gaikwad等人，2022；Smoqi等人，2022）从熔池的红外图像中提取灰度梯度特征、尺寸特征和形状特征，构建了一个融合特征向量，然后将其输入到K-Nearest Neighbors（KNN）等算法中进行缺陷检测。这种多特征融合方法相比依赖单一熔池特征的方法在缺陷检测准确性上有所提高。然而，熔池状态受到激光功率、扫描速度和粉末特性等多种参数的耦合影响，表现出高动态范围和复杂的形态变化。依赖手动设计特征提取规则的传统方法难以适应熔池状态的复杂变化，且容易受到主观偏见的影响，限制了缺陷检测性能的进一步提高（Pan等人，2024）。
随着深度学习技术的发展，研究人员开始探索其在LPBF缺陷检测中的应用，相关技术方法从卷积神经网络（CNN）发展到时空融合网络。Zhang等人（Zhang等人，2019）提出了一种基于CNN的缺陷监测方法，通过CNN模型自动学习熔池特征，实现了对样品孔隙率的准确预测。Baumgartl等人（Baumgartl等人，2020）进一步开发了一种基于深度可分离卷积的CNN缺陷检测方法，有效检测了激光粉末床熔融过程中的缺陷。该方法采用k折交叉验证和留一法交叉验证来确保模型的泛化能力。然而，基于CNN的缺陷检测方法主要关注熔池的瞬时空间特征，未能充分考虑熔池动态演化过程中与缺陷形成相关的时间特征。Pandiyan等人（PandiyaN等人，2022）开发了一种卷积神经网络-长短期记忆（CNN-LSTM）混合深度学习模型，结合了CNN的空间特征提取能力和LSTM的时间建模能力，有效处理了不同时间尺度上的信号，在缺陷检测任务中达到了89%的F1分数。Ding等人（Ding等人，2025）提出了一种基于卷积长短期记忆网络（ConvLSTM）的时空融合神经网络（STFNN），建立了熔池图像序列中的时空信息与局部缺陷之间的非线性映射关系，实现了激光增材制造过程中局部缺陷的准确预测。为了解决模型训练过程中的梯度消失、梯度爆炸和网络退化问题，Oster等人（Oster等人，2023）提出了一种基于原始热图像序列的IMSEQR缺陷检测模型，采用ResNet残差网络构建编码器模块，自动从热图像序列中提取高级语义特征，有效提高了模型收敛性，避免了信息丢失和偏见引入，从而在缺陷检测方面取得了比基于CNN的方法更好的性能。上述研究在从熔池图像中提取时间信息方面取得了重要进展。“空间信息”实际上仅指熔池图像的瞬时特征，而“时间信息”指图像序列之间的时间相关性，两者均未考虑制造部件中熔池的三维空间位置对缺陷形成机制的调制效应。然而，Leung等人（Leung等人，2019）通过原位X射线成像发现，后续的时间信息也会影响缺陷特性，因为在LPBF过程中先前沉积层的重新熔化加剧了内部熔流，导致表面孔洞聚集和破裂。有效利用熔池图像序列中嵌入的时空演化特征是实现局部缺陷准确检测的关键。
为此，本研究提出了一种基于熔池时空信息融合的深度学习模型进行在线缺陷监测，其中空间信息指熔池在成型部件三维坐标系中的位置，时间信息指熔池图像序列的演化特征。考虑到深度学习模型的性能在很大程度上取决于能够准确捕捉熔池时空特征与缺陷形成之间相关性的数据集，本文首先开发了一种双桥配准策略，以实现几何形状复杂部件中缺陷模型与熔池点云之间的精确配准，并结合基于缺陷形成机制的立方体采样方法提取与缺陷相关的熔池点云，建立了包含相应缺陷和熔池时空特征的训练数据集。随后，构建了ResNet-GRU-Position深度学习网络架构，以实现熔池空间位置信息和时间特征的深度融合。最后，进行了消融研究以验证每个关键模块的有效性，并采用Grad-CAM可视化分析揭示了模型的分层特征学习机制。
数据集构建
缺陷检测的数据集构建
本研究基于美国国家标准与技术研究院（NIST）增材制造计量测试平台的“Overhang Part X16”和“Overhang Part X4”基准数据集，构建了一个缺陷检测数据集，包括孔隙缺陷和未熔合缺陷。该数据集包括通过同轴相机系统捕获的高频熔池图像序列、熔池的精确三维空间坐标以及制造部件的高分辨率X射线CT数据
时空框架
为了基于熔池时空信息融合实现增材制造中的在线缺陷检测，本研究构建了一个基于缺陷形成时空相关性的数据集，建立了熔池时空特征与缺陷之间的映射关系。
如2.2节所述，缺陷形成与当前层和后续层的熔池特征密切相关。基于此，本研究提出了一个ResNet-GRU-Position网络
缺陷检测结果
为了最大化模型性能，采用了多层次优化训练策略。Adam优化器（β1 = 0.9，β2 = 0.999，ε = 1e-8）作为参数更新机制，并结合L2正则化（权重衰减系数λ = 1e-5）来减轻过拟合。考虑到所提出模型的异构架构，实施了一种区分学习率策略，为不同功能模块分配不同的学习率。
结论
本研究提出了一种基于熔池时空传播特性的激光粉末床熔融在线缺陷监测方法，通过深度学习技术实现了准确的缺陷检测。主要结论如下：
(1)开发了一种双桥配准策略，以实现几何形状复杂部件中缺陷模型与熔池点云之间的精确对齐。该方法克服了直接配准方法的局限性
CRediT作者贡献声明
胡电音：监督，项目管理。李素慧：撰写——原始草稿，方法论。滕毅瑞：方法论。潘金超：撰写——审阅与编辑，概念化。张晓杰：撰写——审阅与编辑。苏晓：撰写——审阅与编辑。张婷莲：撰写——审阅与编辑。王荣桥：监督，数据管理。
利益冲突声明
作者声明他们没有已知的可能会影响本文报告工作的财务利益或个人关系。
致谢
我们感谢以下机构的财政支持：国家自然科学基金（NSFC）（资助编号：52505144）、国家重点研发计划（资助编号：2024YFB4609000）、国家重大科技项目（资助编号：J2019-IV-0016-0084和Y2022-IV-0002-0019）、中央高校基本科研业务费、中国博士后科学基金（2024M764101和GZC20252715），以及青年精英科学家资助计划
