《Journal of Manufacturing Processes》：Interactive multimodal quality assessment in laser powder bed fusion using vision-large language models
编辑推荐：
•提出了一种基于视觉的大型语言模型框架，用于激光增材制造中的交互式质量评估•该系统支持对多模态增材制造数据进行自然语言查询•已展示可通过该框架对3500多层结构中的39个零件进行交互式分析，查询理解准确率可达95%•消融实验表明，针对特定领域的预处理流程能有效提升查询成功率•这是
- •
提出了一种基于视觉的大型语言模型框架，用于激光增材制造中的交互式质量评估
- •
该系统支持对多模态增材制造数据进行自然语言查询
- •
已展示可通过该框架对3500多层结构中的39个零件进行交互式分析，查询理解准确率可达95%
- •
消融实验表明，针对特定领域的预处理流程能有效提升查询成功率
- •
这是首个将视觉大型语言模型应用于激光粉末床熔融增材制造质量评估的案例
引言
激光粉末床熔融技术已成为制造复杂金属部件的关键技术，它为产品设计及功能集成带来了前所未有的可能性[1]、[2]。尽管该技术在工业领域应用日益广泛，但由于加工过程中会出现各类缺陷，其在工艺可靠性及部件质量管控方面仍面临诸多挑战[3]、[4]。这些缺陷包括未熔合孔隙[5]、[6]、匙孔状孔隙[7]、飞溅现象以及再喷涂带来的异常问题，它们源于复杂的热物理现象及随机的空间变化，这使得质量预测成为工艺工程师面临的巨大难题[8]、[9]。
现代激光粉末床熔融设备通过集成传感器阵列，能够生成大量多模态的实时监测数据，其中包括用于捕捉粉末床形态的高分辨率可见光相机[10]。一次典型的打印过程会生成数十GB到数TB不等的海量数据，这些数据既为全面分析工艺特性提供了可能，同时也带来了巨大的分析压力[11]、[12]。虽然已有研究探讨了异构传感器数据融合[13]、多源熔池数据整合[14]、现场X射线分析[15]以及多传感器声光融合[16]等技术，但如何将这些数据转化为可实际应用的决策方案仍是一个尚未解决的难题[17]、[18]。实际工作中，人们不得不手动处理复杂的数据结构，并将不同设备上的监测数据与离线机械测试数据相互比对，这一流程既耗时又容易出错[17]、[18]。此外，现有的商业系统也缺乏必要的综合分析框架和自然语言界面，无法快速辅助做出质量判断[17]。
机器学习为激光粉末床熔融技术的质量评估开辟了新路径，相关技术已从基于阈值的检测方法发展到数据驱动的模型[15]、[19]。近期的一些研究采用了无监督模型来分析气泡动态[7]，运用多模态融合技术预测孔隙分布[16]，通过热监测关联缺陷特征[20]，还使用了卷积神经网络实现分层缺陷识别[15]、[21]、[22]。然而，这些模型大多仅能独立处理特定类型的任务，缺乏多模态数据关联分析、跨模态属性预测以及针对整体制造质量的高层次推理能力，因此亟需一种能够跨不同数据源进行推理的交互式框架。
具备视觉功能的新型大型语言模型通过结合视觉与文本信息进行推理，极大地提升了人工智能的应用水平。目前已有不少基础模型和商用模型，如CLIP[23]、Flamingo[24]、LLaVA[25]、InstructBLIP[26]、GPT-4V[27]、Gemini[28]、Claude[29]、Llama[30]、OpenFlamingo[31]以及VILA[32]，在视觉问答和空间定位方面表现极为出色。近期也有研究将这类视觉大型语言模型应用于金属增材制造领域，用于缺陷诊断和质量评估[33]、[34]、[35]，其中包括基于上下文学习的定向能量沉积技术分析[36]、利用检索增强生成技术实现零样本异常检测[37]，以及借助大型语言模型构建自动化工具来识别3D打印缺陷[38]。不过，当将这些方法应用于复杂的激光粉末床熔融监测数据时，会存在四个根本性的局限[39]、[40]：首先，这类模型仅能分析单张打印后的图像，无法整合分层的制造历史信息，因而无法掌握缺陷随时间的变化规律；其次，它们无法建立现场监测数据与离线机械性能数据之间的空间对应关系；第三，直接将视觉大型语言模型应用于原始的激光粉末床熔融图像时，很容易产生错误推断，因为如果没有预先计算好的统计参数，模型只能依靠视觉信息估算密度，从而导致无依据的输出结果增多[41]、[42]、[43]；第四，对于包含多个零件的复杂打印任务，其产生的数据量极大，若不进行结构化压缩，就会超出视觉大型语言模型的上下文处理范围。
为解决上述问题，本研究提出了一种专为激光粉末床熔融多模态数据整合而设计的新型视觉大型语言模型框架。该框架采用针对特定领域的预处理流程，有效弥补了激光粉末床熔融数据特点与视觉大型语言模型功能之间的差距。我们在公开可用的Peregrine数据集[22]、[44]上对该框架进行了验证，该数据集包含了3500多层结构中的39个316L不锈钢零件，相关原始数据总量达230GB，同时还配有2705个经过空间配准的拉伸试验样件。该预处理流程由四个核心模块组成：第一是多模态空间配准模块，用于为不同来源的数据建立统一的坐标系统；第二是基于深度学习的缺陷分割与语义压缩模块，可将原始图像转换为结构化的JSON格式元数据；第三是体素到网格的几何重建模块，可用于实现交互式的3D可视化及定量分析；第四是基于实测数据的特征工程模块，它能提取经过验证的定量指标，让视觉大型语言模型的输出有明确的数据依据，从而将无依据的输出比例从75%降低到10%。需要明确的是，该框架仅用于检索、可视化以及通过自然语言查询预先计算好的多模态描述信息，它并不会自行建立缺陷数据、传感器数据与机械性能数据之间的新的统计关联或因果关系，所有分析结果都基于现有测量数据得出。
章节节选
材料与数据集
该视觉大型语言模型框架是在Peregrine数据集[44]中的第2号打印案例基础上进行验证的，这个数据集是由橡树岭国家实验室提供的公开可用的激光粉末床熔融工艺数据集合。该打印任务是在Concept Laser M2激光粉末床熔融设备上完成的，所用原料为316L不锈钢粉末，理论层厚为0.05毫米，加工环境为氩气保护气氛，氧气浓度被控制在与0.10%以下的水平。这样的加工条件符合标准的316L不锈钢激光粉末床熔融工艺要求，也与本研究的内容密切相关
交互式增材制造视觉大型语言模型控制面板概览
图4展示了实际部署后的交互式增材制造视觉大型语言模型控制面板。如2.8节所述，该控制面板采用双列布局，左侧的控制栏支持通过自然语言进行操作，右侧的可视化栏则用于展示多模态的技术图表。图5、图6、图7、图8、图9、图10中所展示的六组使用场景截图均来自实际系统演示，而所有聊天机器人的回复都是在该系统上生成的真实输出结果
打破专业壁垒
传统的激光粉末床熔融质量评估流程给工艺工程师和质量检测人员带来了极大的认知和技术负担。正如第1节所描述的，即便只是回答像“第5个零件存在哪些缺陷？”这样简单的问题，通常也需要在专用软件中查找并打开HDF5格式的文件，梳理复杂的嵌套数据结构，解析零件标识信息以定位特定的数据区域，提取并统计各类缺陷的分布情况，还要进行各种复杂的计算
结论
本研究提出并验证了一种基于视觉的大型语言模型框架，这一框架彻底改变了工程师处理复杂的多模态激光粉末床熔融实时监测数据及相应性能数据的方式。通过针对数据获取难度、专业门槛以及交互效率等方面的关键问题，采用特定领域的预处理技术和语义数据压缩方法，该框架使得人们能够用自然语言的方式分析原本需要复杂操作才能处理的复杂多模态制造数据
CRediT作者贡献说明
Sandesh Giri：负责原文撰写——初稿编写、可视化处理、验证工作、软件开发、方法设计、实验分析、正式逻辑分析、数据整理。Qiaojie Zheng：负责原文撰写——审阅与编辑、验证工作、方法设计、实验分析。Xiaoli Zhang：负责原文撰写——审阅与编辑、验证工作、方法设计、实验分析、概念构思。Sen Liu：负责原文撰写——审阅与编辑、验证工作、项目监督、资源协调、项目管理工作、方法设计、实验分析、资金筹集工作、概念构思。
利益冲突声明
所有作者声明，他们不存在任何可能影响本文研究结果的已知财务利益冲突或个人关系。
致谢
作者们要感谢美国国家科学基金会(NSF)（项目编号：2510512）以及Fuel Seed项目（项目编号：WD-2513-SE）的支持。同时，我们也要对Luke Scime博士以及橡树岭国家实验室表示衷心的感谢，是他们提供了Peregrine数据集的公开访问权限。
Sandesh Giri|Qiaojie Zheng|Xiaoli Zhang|Sen Liu
