一种具有位置级物理先验的激光增材制造视觉-物理缺陷检测方法

《Optics & Laser Technology》：A vision–physics defect detection method with position-level physical prior for laser additive manufacturing

　　

• 粒度感知融合将窗口级证据与位置级标签对齐。• 16帧感兴趣区域（ROI）序列捕捉窗口级的熔池时空动力学。• 同源图像派生的描述符构成位置级物理先验。• 所提出的融合方案在六个模型中获得了最高的测试集点估计值。• 准确率、宏F1和缺陷F1分别达到96.80%、96.68%和97.32%。

**引言**

激光增材制造通过逐层沉积实现复杂金属构件的近净成形制造、再制造和修复。它还可用于制造功能梯度材料。因此，它已成为航空航天、能源装备和先进制造领域的重要技术。在定向能量沉积（DED）过程中，高能激光在基体上产生局部熔池，同时通过送粉或送丝供入材料以形成沉积层。该工艺具有灵活的沉积路径、高材料利用率和强大的局部修复能力。然而，在激光与材料相互作用过程中，热质传递、熔池流动、粉末输运和快速凝固强烈耦合。工艺波动可能引起气孔、未熔合、几何偏差和成形不稳定，从而影响所制造构件的微观组织、性能和服务可靠性[1], [2], [3], [4], [5]。后处理检测无法捕捉缺陷萌生前的瞬态演化过程，也无法为加工过程中的及时干预提供依据。因此，沉积过程中的原位监测和局部质量分类仍然十分必要。

熔池是关键的观察目标，因为它反映了能量输入、材料熔化、流动和凝固过程。因此，非接触式机器视觉监测因其快速响应和高维信息而被广泛发展[6]。Tang等人利用同轴视觉分析了熔池形貌和亮度的演化，结果表明熔池视觉特征随工艺状态系统性地变化，能够表征材料熔化和流动的稳定性[7]。Asadi等人使用深度神经网络进行熔池检测和分割，并进一步利用几何统计量将熔池特征与沉积轨迹几何相关联，表明稳定的熔池几何指标可作为工艺质量指标[8]。在后续研究中，熔池分割、形貌、轮廓变形、注意力机制和运动特征被用于在线质量评估和工艺状态识别[9], [10], [11], [12]。这些研究表明，与面积、轮廓、纹理和运动相关的视觉信息能够反映工艺状态。原位纹影监测进一步揭示了熔池、飞溅、蒸气和成形缺陷之间的耦合关系，也表明不同视觉对象对质量变化具有不同的敏感性和不同水平的观测稳定性[13]。然而，大多数现有基于视觉的方法聚焦于单帧外观信息或短期视觉响应，也容易受到曝光变化、羽流遮挡、亮飞溅和背景噪声的影响。因此，仅凭瞬时视觉证据不足以描述与缺陷形成相关的连续演化过程。

为了克服单一视觉信号和瞬时表征的局限性，多源传感和时间建模已被引入增材制造质量监测。Wu等人融合了高速相机、光电二极管和声学传感器的信号，结果表明三传感器决策级融合比单一传感器更能一致地区分不同质量状态[14]。近期的声光监测和声学-视觉融合研究也证明了互补传感信息在增材制造原位质量评估和缺陷识别中的价值[15], [16]。Niu等人联合建模熔池图像和温度数据，证明互补的形貌和热信息有助于建立工艺信号与局部缺陷之间的关系[17]。Chen等人将视觉、声学和红外特征与机器人位置数据进行时空配准，以实现特定构建位置的质量预测。该研究表明，当多传感器信息用于局部质量评估时，需要空间同步[18]。Tian等人开发了熔池动力学多传感器时空表征，表明异质信号描述了熔池行为的不同方面[19]。他们的决策级融合研究进一步表明，热成像和温度测量可为气孔判别提供互补证据[20]。从时间视角来看，Mahato等人利用熔池温度时间序列识别气孔，表明温度演化可作为工艺异常的指标[21]。Abranovic等人使用ConvLSTM预测视频帧，并利用重建规律性检测滴落、电弧、熔池振荡和送丝卡阻。结果表明，连续帧之间的关系能够揭示单帧中不明显的不稳定行为[22]。循环神经网络、时空融合网络、时空传播特征和纹理序列也被应用于异常状态识别、局部缺陷检测和沉积状态识别[23], [24], [25], [26], [27]。

近期研究尝试通过表征学习、空间映射和物理约束来提升增材制造监测性能。Era等人使用自监督Vision Transformer从大量无标注热图像中学习熔池表征，预训练特征被证明可在有限标注数据下支持异常检测[28]。Zheng等人开发了半监督卷积自编码器，表明从无标注熔池序列中学习的潜在结构可减少对手动标注的依赖[29]。他们的深度迁移学习研究进一步表明，迁移特征可用于有限样本条件下的气孔监测[30]。从空间映射的角度来看，Assad等人使用具有物理意义的熔池形貌和强度特征来区分与稳定运行、滴落、送丝卡阻和不完整熔化相关的工艺状态[31]。Yin等人使用动态映射策略将熔池图像与局部缺陷位置对齐，结果表明工艺图像与离线质量标签之间的空间配准对于局部缺陷监测至关重要[32]。在物理约束方面，Wang等人将峰值温度、马兰戈尼效应和射流喷射纳入时间卷积网络，以辅助熔池宽度和层高预测[33]。Yang等人将物理信息神经网络与指数加权移动平均相结合，用于温度场建模和早期缺陷预警[34]。Zhang等人将材料特性和工艺参数嵌入自回归编码器-解码器网络，以在瞬态多物理场预测中保持时间一致性[35]。相关综述和实时监测研究表明，基于机器学习的监测正从单帧识别向时间分析、多模态融合和物理信息集成转变[36], [37]。尽管取得了这些进展，但在将工艺监测证据与局部金相监督对齐方面仍存在重要的方法论差距。深度视觉证据和具有物理可解释性的图像派生描述符通常以帧级或窗口级构建，而离线金相标签往往代表更大的空间位置。现有多传感器、特征级和决策级融合策略通常组合以可比时间或空间粒度表示的信息。因此，将特定窗口的视觉证据与显式聚合到金相位置级的图像派生物理描述符相结合的研究受到关注较少。

为弥补这一差距，本研究提出了一种具有位置级物理先验的视觉-物理决策级融合框架，用于激光增材制造中二元稳定/缺陷局部质量状态分类。此处，视觉-物理指的是将学习到的视觉表征与从同一CMOS熔池感兴趣区域（ROI）序列中提取的具有物理可解释性的图像派生工艺描述符进行集成，它并不意味着独立的物理传感器或基于控制方程的物理模型。方法论创新在于粒度感知的证据组织。首先，金相标签与对应的熔池视频片段进行空间对齐。其次，视觉分支捕捉特定窗口的时空证据，而图像派生描述符则跨来自同一金相位置的多个窗口进行聚合，以构建监督位置级物理先验估计。该位置级估计被该位置的所有窗口共享，并以操作意义上而非严格贝叶斯意义上的物理先验术语称之。第三，特定窗口的视觉估计和共享位置级估计通过加权决策分数融合相结合。所提出的框架因此提供了一种粒度感知的机制，用于将时间监测证据与位置级金相监督进行集成。

**激光增材制造平台与熔池图像采集**

实验数据来自激光增材制造过程中的熔池图像监测和金相分析。实验期间，激光束在基体表面产生局部熔池，保护气流将粉末输送到熔池中，随后粉末被熔化、铺展和凝固形成沉积层。用于熔池图像采集的实验平台如图1(a)所示。该系统由以下部分组成……

**方法论**

所提出的方法首先构建同步的16帧清晰感兴趣区域（ROI）序列用于窗口级视觉建模。来自与同一金相位置相关的多个窗口的图像派生动态物理描述符被聚合形成监督位置级物理估计。特定窗口的视觉估计和共享位置级物理估计随后通过加权决策分数融合相结合，融合权重和分类阈值……

**位置级物理先验的特征选择与可解释性**

六个候选特征集使用五折样品分组交叉验证在开发集上进行比较，如图6(a)所示。核心熔池描述符集获得了最高平均宏F1值0.8548 ± 0.1342，而动态特征集、强度+飞溅+动态特征集和全部特征集分别达到0.8017 ± 0.1087、0.7944 ± 0.1199和0.7944 ± 0.1199。由于观察到显著的折间变异性，这些差异不被解释为证据……

**结论**

本研究提出了一种具有位置级物理先验的视觉-物理决策级融合框架，用于激光增材制造中的局部稳定/缺陷分类。该框架将特定窗口的时空视觉证据与从图像派生熔池描述符构建并与金相标签粒度对齐的监督位置级物理估计相结合。两个估计随后通过加权决策分数融合进行集成。

**CRediT作者贡献声明**

吴倩如：撰写 – 审阅与编辑，撰写 – 原始草稿，资金获取，概念化。
卢一辰：撰写 – 原始草稿，软件，方法论，调查，正式分析，数据整理。
王佳辰：撰写 – 审阅与编辑，监督，项目管理。
韩文林：可视化，调查。
张荣翔：资源，调查。
李梓翔：软件，调查。
蒋晨：资源，资金获取。
唐文来：撰写 – 审阅与编辑。

**利益冲突声明**

作者声明不存在已知的可能影响本文所报告工作的竞争性经济利益或个人关系。

**致谢**

本研究受国家自然科学基金（项目编号：52505397和U2541272）资助，并受江苏省前沿技术研发计划（项目编号：BF2024077）和南京市科技重大专项（项目编号：202309016）资助。

吴倩如 | 卢一辰 | 王佳辰 | 韩文林 | 张荣翔 | 李梓翔 | 蒋晨 | 唐文来 | 杨济泉