多模态大模型驱动的工业设计：感知创新与低碳制造的融合路径

《Sustainable Computing: Informatics and Systems》：Multimodal Large Model-Driven Industrial Design: Integrating Pathways for Perceptual Innovation and Low-Carbon Manufacturing

　　

• 开发了一个用于智能工业设计生成的多模态大模型。
• 使用基于Transformer的多模态学习整合了CAD模型、图像和G代码。
• 通过NSGA-II优化制造过程，实现能耗和碳排放的降低。
• 实现了48.9%的节能和51.4%的碳排放减少。
• 设计质量得分达到0.978，多模态融合准确率达到0.971。

## 引言

对智能和可持续制造系统日益增长的需求，加速了人工智能在工业设计和生产过程中的应用[1]。制造过程会产生大量的G代码指令，这些指令定义了增材/减材制造操作的刀具路径[2]。尽管这些指令对机器执行至关重要，但它们通常无法提供语义意义、设计推理或制造的全局优化[3]。与此同时，工业界面临着持续的压力，需要在生产高质量产品并维持制造操作精度的同时，减少能源使用、材料浪费和CO2排放[4]。随着工业4.0和5.0技术的发展，智能制造系统可用于创建可持续的生产环境[5]。特别是，多模态学习已成为一种可行的方法，可以将机器代码与几何信息和视觉信息相结合[6]。然而，现有方法通常单独处理这些模态，导致对不同领域各自特征的有限理解[7]。所提出的框架通过将G代码序列、重构的CAD几何体和多视图渲染图像链接到一个多模态学习架构中来解决这一问题[8]。这种融合使得智能设计的生成更加完善，制造规划更加高效，并支持未来低碳制造系统中与可持续性相关的工业决策[9][10]。在实际制造中，G代码、CAD几何体和视觉数据分别提供工艺、结构和视觉信息。单独处理可能无法理解制造工艺、几何和视觉之间的关联。整合所有三种模态允许形成对设计质量、制造效率、能耗和碳排放减少的综合表现形式。多模态工业设计生成与可持续制造的结合，使得能够全面理解设计的结构方面、制造方面以及所有这些过程的环境影响。使用G代码、CAD几何体和视觉数据，可以做出能够通过能耗和碳排放进行估算的设计和制造决策，从而了解所生成设计的可持续性。因此，这种融合在实际应用中具有价值。通过对一组独特的异构输入使用我们提出的系统，智能工业设计的生成、刀具路径优化、可制造性分析、将可持续性纳入决策以及减少二氧化碳排放将得以实现，为下一代智能制造系统提供服务[11]。

研究人员已经创建了几种解决方案，通过不同的方法解决该问题的不同部分。标准的G代码优化技术侧重于通过两种方法提高执行速度以提升生产效率：基于规则的刀具路径平滑和启发式路径规划以及加工参数调整[12]。研究团队利用机器学习技术，包括基于CNN的视觉检测系统、循环神经网络（RNN）和基于Transformer的CAD生成模型，来执行设计识别、预测和生成任务[13]。需要在成本、质量和生产力三个竞争目标之间取得平衡的多目标制造挑战，主要使用遗传算法（GA）、粒子群优化（PSO）和NSGA-II变体作为其主要优化方法[14]。一些研究结合了基于物理的模拟和能量估算模型，以评估碳排放和工艺效率[15]。当前该领域使用的方法显示出根本性的不足。系统将其操作限制在单一处理模式，缺乏将G代码与几何结构和视觉表示相连接的机制，并且无法同时建模空间和时间方面[16]。大多数现有方法未能将可持续性指标纳入其学习或优化过程中，导致制造环境在性能和能源效率方面表现下降，且环境可持续性结果不佳。

所提出的框架创建了一个完整的MLM-ID系统，通过一个端到端运行的统一学习系统将G代码序列、类CAD重构几何体和多视图渲染图像连接起来。该框架在其预处理阶段建立了跨模态对齐，因为需要在处理不同数据源时保持一致的表示，并通过其多模态Transformer系统从所有数据类型中提取共同的潜在信息。该系统使用户能够同时研究刀具路径运动以及系统的几何细节和视觉特征，从而创造了连接程序数据和空间数据的新可能性。该框架包含一个低碳估计模块，在所学的设计表示和产生能耗及碳排放指标的制造参数之间建立了直接联系。基于NSGA-II的多目标优化策略将设计优化与性能和可持续性目标联系起来，有助于在效率、质量和环境影响之间取得平衡。所提出研究的关键新颖性在于其统一的多模态融合架构与单一学习框架内的可持续性感知优化相结合。该系统允许用户通过学习设计生成和设计优化三个过程来学习制造设计。与当前依赖分离和单模态方法的智能

制造系统相比，所提出的系统具有更好的适应性和环境可持续性。

多个重要约束限制了当前的制造智能系统。系统的第一个限制在于模型需要仅使用G代码或CAD或图像数据中的一种，这阻碍了完整的系统操作[17]。由于需要结合刀具路径序列与几何元素和视觉组件，系统无法完成适当的分析，而跨模态对齐不允许这样做[18]。系统需要更好的时空建模，因为当前方法无法同时捕捉刀具路径转换和设计运动，而设计师在其工作中需要这些信息[19]。系统无法处理可持续性指标，因为组织将能源使用和碳排放视为次要目标而非主要目标。各种现有的机器学习和优化方法处理的是独立的问题，而无法提供完整的解决方案。根据[20]，开发高效和可持续的制造智能系统面临着重大挑战。所提出的框架通过整合多模态数据来克服这些限制，使得跨模态学习成为可能，并将时空建模和可持续性感知优化纳入单一系统。

所提出的框架通过以下方式提供其主要优势：
• 利用Fusion 360画廊数据集来开发所提出的框架。
• 对数据集进行预处理，包括G代码处理、刀具路径重构、几何重构、基于渲染方法的图像生成以及特征对齐方法。
• 将多模态学习、基于Transformer的特征融合、低碳影响估计和基于NSGA-II的多目标优化整合到所提出的框架中。
• 将使用性能指标来评估该框架在碳排放减少、能源效率、设计质量和所产生模型准确性方面的表现。

本文的组织结构如下：第2节将概述与多模态/工业设计相关的相关研究；第3节将详细说明所提出的设计框架，包括：基础知识、多模态特征提取、强化学习、生成式设计生成技术和基于NSGA-II的优化；第4节将展示实验结果并提供比较分析；最后第5节将总结全文，并简要概述智能可持续制造系统研究的未来方向。

## 各节片段

### 文献综述

社交制造（SM）领域已开发出新的方法，使企业能够通过高效的流程使用多种数据类型（包括文本和视觉材料）来创建定制产品。Li等人[21]、Svensson Harari和Fandin[22]以及Majumder和Chakrabarti[23]表明，深度学习模型结合基于NeRF的3D生成和云计算技术，能够支持包括初始阶段在内的各种设计流程，同时实现灵活的装配。

### 所提出的方法论

所提出的MLM-ID框架通过一系列有组织的步骤运行，将未经处理的制造信息转化为环保且高效的设计结果。该过程从G代码数据收集开始，进入预处理阶段，将其转换为序列数据并进行刀具路径重构和类CAD几何体创建以及多视图图像输出。核心模型接收这些多模态输入，并使用基于Transformer的架构来...

### 结果与讨论

本研究的主要目标是开发一个多模态大模型驱动的工业设计框架，该框架能够整合感知创新和低碳制造，以实现智能和可持续的工业产品设计过程。我们提出的系统使用了图像线索、CAD模型和G代码序列，这意味着模型可以使用统一的多模态特征进行训练。这应该会提高设计质量、提高制造效率，并...

### 结论

在本工作中，作者提出了多模态大模型驱动的工业设计（MLM-ID），本质上将多模态Transformer学习、生成式制造优化和低碳估计折叠到一个循环中，以实现智能和可持续的工业设计创建。该框架依赖于Fusion 360画廊数据集，该数据集包含CAD模型以及G代码制造指令，以及额外的多模态工业设计相关内容。

### 伦理批准

本研究不涉及人类参与者、动物或可识别的个人数据。因此，无需伦理批准。

### 参与同意

不适用。

### 发表同意

作者同意发表本手稿。

### 资金声明

本研究未获得外部资金。

### 利益冲突

作者声明不存在竞争利益。

### 利益冲突

作者声明对于本论文的发表不存在利益冲突。

### CRediT作者贡献声明

Waner Zhao：原创草稿撰写。

### 竞争利益声明

作者声明不存在可能影响本论文所报告工作的已知竞争财务利益或个人关系。

Waner Zhao