在面对多视图成像变化的情况下，利用多模态预测电弧增材制造中沉积物宽度的方法

《Progress in Additive Manufacturing》：Multimodal prediction of deposit width in wire arc additive manufacturing facing multi-view imaging variations

　　

摘要

在电弧丝材增材制造（WAAM）中，多视角成像的变化导致沉积宽度预测的准确性和稳定性显著下降。为了解决这个问题，提出了一种结合视角编码和门控机制的多模态预测方法。该方法采用图像分支和条件分支来共同处理多模态输入，包括单帧熔池图像、工艺参数（电流和行进速度）、外部照明条件以及相应的视角类别。图像特征嵌入分支利用预训练的ResNet18框架从熔池图像中提取视觉特征。条件分支则使用多层感知器对工艺参数、照明条件和视角编码进行联合嵌入。同时，该框架引入了一种视角感知的门控机制，将条件特征映射到与视觉特征相同维度的权重向量上。这些门控权重被逐元素应用到视觉特征上，从而可以根据工艺状态、照明条件和观察视角有条件地调节视觉表示。在WAAM-ViD数据集上的实验表明，所提出的方法平均绝对误差（MAE）为0.1579毫米，决定系数（R²）为0.9686。与传统特征拼接架构相比，MAE降低了约25.0%。此外，连续序列预测案例分析显示，所提出方法的逐帧预测轨迹与选定侧视序列中测量的沉积宽度非常吻合，进一步证明了在复杂成像条件下多模态条件信息在沉积宽度预测中的辅助作用。

在电弧丝材增材制造（WAAM）中，多视角成像的变化导致沉积宽度预测的准确性和稳定性显著下降。为了解决这个问题，提出了一种结合视角编码和门控机制的多模态预测方法。该方法采用图像分支和条件分支来共同处理多模态输入，包括单帧熔池图像、工艺参数（电流和行进速度）、外部照明条件以及相应的视角类别。图像特征嵌入分支利用预训练的ResNet18框架从熔池图像中提取视觉特征。条件分支使用多层感知器对工艺参数、照明条件和视角编码进行联合嵌入。同时，该框架引入了一种视角感知的门控机制，将条件特征映射到与视觉特征相同维度的权重向量上。这些门控权重被逐元素应用到视觉特征上，从而可以根据工艺状态、照明条件和观察视角有条件地调节视觉表示。在WAAM-ViD数据集上的实验表明，所提出的方法平均绝对误差（MAE）为0.1579毫米，决定系数（R²）为0.9686。与传统特征拼接架构相比，MAE降低了约25.0%。此外，连续序列预测案例分析显示，所提出方法的逐帧预测轨迹与选定侧视序列中测量的沉积宽度非常吻合，进一步证明了在复杂成像条件下多模态条件信息在沉积宽度预测中的辅助作用。