JEMA：在以人为中心的嵌入空间中，联合嵌入多模态和多视图对齐技术，应用于制造业

《Computer Vision and Image Understanding》：JEMA: Joint Embedding of Multimodal and multi-view Alignment in human-centric embedding space for manufacturing

　　乔昂·索萨（Jo?o Sousa）| 罗亚·达拉比（Roya Darabi）| 阿曼多·索萨（Armando Sousa）| 弗兰克·布鲁克纳（Frank Brueckner）| 路易斯·保罗·雷伊斯（Luís Paulo Reis）| 安娜·雷伊斯（Ana Reis）
葡萄牙波尔图大学工程学院（FEUP），罗伯托·弗里亚斯博士街（Rua Dr. Roberto Frias），无门牌号，波尔图，4200-465，葡萄牙

**摘要**
本研究介绍了JEMA（联合嵌入与多模态和多视图对齐，Joint Embedding with Multimodal and Multi-View Alignment），这是一种新颖的协同学习框架和损失函数，用于结合定向能量沉积（DED）中的多个传感器和处理参数。定向能量沉积是金属增材制造中的关键工艺。随着工业5.0在工业应用中的发展，有效的过程监控变得越来越重要。然而，数据的有限可用性和人工智能解决方案的“黑箱”特性在工业环境中带来了显著的实施挑战。JEMA通过利用多模态数据（包括多视图图像和处理参数）来学习可转移的语义表示，从而解决了这些限制。通过实现一个监督回归对比损失函数，JEMA塑造了嵌入空间，使得推理变得可解释。此外，该框架通过仅使用主轴上的传感器，简化了硬件要求并降低了计算开销。我们评估了JEMA损失在DED过程监控中的有效性，特别关注其在无需大量微调的情况下对下游任务（如熔池几何形状预测）的泛化能力。我们的实验结果表明，与没有任何正则化损失的模型相比，JEMA在多模态和单模态环境下的性能分别提高了29%和20%。此外，在相同的设置中，JEMA的表现优于监督对比学习方法8%和2%。这些改进还伴随着嵌入空间中更加结构化和有意义的表示。重要的是，学习到的嵌入表示提供了特征空间的直接可解释性，这可以被人类操作员和自动化系统用于基于定义的阈值进行过程优化、控制和异常检测。这种以人为中心的方法确保了操作员能够积极与系统互动，做出明智的决策，并增强他们对过程的信任。我们的框架为将多传感器数据与元数据集成奠定了基础，从而促进了制造过程内外的多样化下游应用，同时保持人类专业知识的核心地位。

**引言**
机器学习（ML）在制造过程中的应用可以通过提高生产系统的稳健性和可靠性，显著促进先进制造技术的更广泛采用（Dogan和Birant，2021；Adjogble等人，2023）。在当前的制造环境中，这一点尤为重要，因为该环境面临着技术快速进步、劳动力老龄化、社会经济条件以及行业限制等因素，这些因素导致了技能差距（Akomah等人，2020；Juricic等人，2021）。在这种背景下，将ML系统与可解释和交互式框架相结合的以人为中心的方法可以通过增强决策制定、支持再培训工作以及增加对AI辅助过程的信任来赋能操作员。这些方法对于在复杂且不断发展的生产环境中实现有效的人机协作至关重要（Mosqueira-Rey等人，2022；Sofianidis等人，2021）。

增材制造（AM）工艺正在改变制造业，因为它们在零件几何形状和材料使用方面提供了前所未有的灵活性（Sisca等人，2016）。特别是定向能量沉积（DED），也称为激光金属沉积（LMD）或激光涂层，是一种金属AM工艺，与焊接或机械加工等传统工艺相比，能够在高能量和材料效率下构建、修复和涂层零件（Karayel和Bozkurt，2020；Ferreira等人，2021）。金属AM工艺是涉及多种物理现象的复杂动态系统，具有多个输入参数（Guan和Zhao，2020；Svetlizky等人，2021）。为了管理这种复杂性，通常会使用监控系统来微调工艺或检测异常，从而防止制造出的零件出现缺陷。在DED中，可以使用多种类型的传感器来监控工艺：基于图像的传感器（可见光或热像仪）、测温仪以及音频或机器数据（工艺输入参数）（Tang等人，2020；Simon J. Altenburg和Maierhofer，2022）。然而，图像数据提供了工艺的空间视图，能够丰富地表示关键特征，如熔池。

世界本质上受到多物理现象的支配，因此具有多模态特性。多模态数据指的是描述同一对象不同方面的异构数据或认知信号，这些数据记录在文本、图像、视频或声音等多种介质中。“模态”一词表示编码信息的特定方式或机制（Guo等人，2019；Jiang等人，2024）。多模态数据可以从不同的属性或视角描绘一个对象，通常补充单模态数据的内容（Huang等人，2021）。多模态机器学习或多模态AI（MAI）旨在构建能够处理和关联来自多种模态信息的模型。多模态表示学习的主要目标是在保持模态特定语义完整性的同时，缩小联合语义子空间中的分布差距。一种弥合不同模态异质性的方法是通过联合表示，将单模态表示投影到一个共享的语义子空间中进行特征融合（Baltru?aitis等人，2019）。这种跨模态相似性方法侧重于学习协调的表示，同时保持模态间和模态内的相似性结构，旨在最小化相似语义或对象之间的距离，最大化不同语义或对象之间的距离（Barua等人，2023；Mohan等人，2022）。与单模态方法相比，MAI在多个领域展示了更优越的潜力，例如医学（Shi等人，2018）、教育（Lee等人，2023）、机器人技术（Li等人，2023）和情感识别（Sun等人，2023）。

本研究专注于将MAI应用于工业过程，特别是在DED中，DED有三个主要工艺参数：激光功率（P，W）、扫描进给速率（v，mm s?1）和粉末质量速率（m?，g min?1）（Mahamood，2018）。在我们的设置中（图1），我们基于机器人操作系统（ROS 2）（Sousa等人，2025c）开发了一种监控解决方案，以利用ROS 2在标准化、模块化、互操作性和多模态能力方面的优势。因此，我们收集了来自以下数据：（i）工艺参数 - P和v；（ii）轴上的可见光相机；以及（iii）轴外的热像仪。基于单轨沉积实验收集的数据，目标是将知识转移到主要模态：轴上数据。这种模态由于其在打印方向上的最小变化以及其对激光-材料交互的直接视图，使得过程监控更加高效和直接。此外，我们旨在设计一个更易于人类理解的嵌入空间，从而可能直接在嵌入空间内进行规划，并允许开发端到端的闭环控制器（Sousa等人，2025a；Sousa等人，2025b）。这种增加的可解释性可以促进机器学习和人类之间的协作，促进制造过程的更广泛采用。

在这项工作中，我们将视觉变换器模型（ViT）与一种新颖的监督对比损失结合起来，以嵌入工艺参数信息，以解决以下问题：（i）表示：如何从两个相机创建嵌入表示；（ii）对齐：基于工艺参数，我们如何为我们的表示添加上下文，以通过捕获工艺参数之间的跨模态交互来学习更好的表示；（iii）迁移 - 如何利用来自多个数据源（工艺参数、轴上相机和轴外相机）的知识，仅使用主要模态来改进过程监控。我们的方法在预测熔池大小的回归任务上取得了最先进的结果。此外，JEMA允许在嵌入空间上直接进行推理，在多模态和单模态环境中提供上下文化的预测。

本文的其余部分结构如下：第2节提供了相关研究的回顾。第3节描述了问题表述和采用的基线技术。第4节介绍了提出的方法及其相似性损失函数JEMA。第5节展示了结果，并将其与基线方法进行了比较。第6节全面讨论了提出方法的主要优势，同时承认了其局限性和潜在的缺点。最后，第7节总结了研究的关键发现，并指出了未来研究的潜在方向，说明了如何在此基础上进一步推进该领域。

**相关工作**
在本节中，我们回顾了在DED监控、图像变换器和多模态学习方面的开创性工作。此外，我们深入探讨了表示学习、对齐和协同学习，以对提出的方法进行背景介绍。

**初步介绍**
在本节中，我们介绍了数据集并概述了问题表述。我们还回顾了之前的工作，包括对其损失函数的描述。

**提出的方法**
我们提出了一种新方法（JEMA），该方法利用元数据（如工艺参数）来创建嵌入这种工艺知识的表示。这个多模态协同学习框架旨在同时训练表示和最终任务。我们打算使用这种表示，仅使用主要模态（轴上数据）来使模型预测变得稳健和可解释。

**实验和结果**
本节解释了实验细节并展示了主要结果，包括回归指标和嵌入表示。

**讨论**
在工业5.0领域，过程监控通过提供实时洞察力发挥着关键作用。具体来说，MP监控提供了关于过程质量的宝贵信息，增强了我们对制造过程的理解。然而，特别是DED中的激光增材制造由于其涉及多物理现象而变得复杂，依赖单一传感器可能会限制我们对过程动态的感知。尽管数据融合已在各种应用中得到利用……

**结论**
在这项研究中，我们介绍了JEMA，这是一个多模态协同学习框架，旨在使用工艺参数等元数据来对齐嵌入空间。这种对齐有助于推断相似性，以便与测试的工艺参数进行直接比较，从而增强我们对制造过程的理解。JEMA的一个关键方面是其结构上可解释的嵌入空间，其中潜在维度与物理属性对齐。

**作者贡献声明**
乔昂·索萨（Jo?o Sousa）：撰写——原始草稿、软件、方法论、调查、形式分析、数据整理、概念化。
罗亚·达拉比（Roya Darabi）：撰写——审阅与编辑、验证。
阿曼多·索萨（Armando Sousa）：撰写——审阅与编辑、监督、方法论、概念化。
弗兰克·布鲁克纳（Frank Brueckner）：撰写——审阅与编辑、监督、资金获取、形式分析。
路易斯·保罗·雷伊斯（Luís Paulo Reis）：撰写——审阅与编辑、监督、方法论、资金获取、概念化。
安娜·雷伊斯（Ana Reis）：撰写——

**利益冲突声明**
作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：乔昂·索萨报告称获得了科学技术基金会的财务支持。如果有其他作者，他们声明没有已知的财务利益或个人关系可能影响本文报告的工作。

**致谢**
开放获取资金由FCT-FCCN（b-on）提供。
作者感谢葡萄牙科学技术基金会（FCT）对乔昂·索萨的财务支持。此外，这项工作还得到了FEDER和FSE+基金通过COMPETE 2030、Portugal 2030和欧盟项目的资助。
作者衷心感谢机械与工业工程科学与创新研究所（INEGI）的支持。