工业 5.0 中以人为本的智能制造：大语言模型赋能的扩展现实系统综述

《Journal of Industrial Information Integration》：Intelligent human-centric manufacturing in industry 5.0: A review of large language model enabled extended reality systems

　　

## 摘要

制造系统预计将逐步从以自动化为核心的效率提升，向以人为中心的智能、适应性和协作决策转变，这与工业5.0的愿景相一致。大语言模型（LLMs）与扩展现实（XR）的融合，为将认知推理、情境感知和直观交互直接引入工业场景提供了一个强有力的框架。尽管近期研究已表明LLM-XR系统在任务执行和运营支持方面的有效性，但其对整个制造生命周期的全面影响尚未得到广泛研究。本文从生命周期视角出发，整合了主要发表于2015年至2026年1月之间的工业研究文献，对LLM-XR集成进行了系统分析。研究涵盖了完整的制造生命周期，包括设计、规划、装配与拆解、维护、培训、质量检测和人与机器人协作等方面的应用。这些创新共同标志着一种从局部操作辅助向共享认知平台的转变，该平台促进了空间-语义推理、可解释决策和人机协作。研究界定了支持LLM-XR高效实施的关键技术促进因素，包括多模态交互、空间锚定知识增强、基于推理的智能以及符合人体工程学的系统设计。此外，系统可靠性、领域知识锚定、计算限制和用户信任等持续性问题得到了严格分析。本文综述了制造生命周期中的LLM-XR集成，并提出了一种通用概念参考架构，对设计、规划、执行和质量相关活动中反复出现的功能组件、交互机制、信息流和自适应反馈过程进行了组织。

## 引言

从工业4.0向工业5.0的演进标志着工业范式的根本性转变，其特点是从自动化主导的生产转向强调韧性、可持续性和以人为本价值观的系统[1]。在这一新兴框架下，先进的数字技术不再仅仅被视为效率提升的工具，而是被期望能够增强人类的专长、创造力和决策能力，促进人类操作员与智能机器之间的协同协作[2]。因此，实现这一愿景需要能够交付情境感知、沉浸式感知和自适应推理的交互与智能技术，从而使制造系统从根本上立足于人类认知和创新，而非僵化的自动化[3]。

扩展现实（XR），涵盖增强现实、虚拟现实和混合现实模式，已成为以人为中心的制造业中强大的可视化和交互媒介[4]。特别是，XR技术通过空间对齐和沉浸式视觉表示将物理领域与数字领域整合在一起，从而能够与复杂的工业系统进行直观交互[5]。因此，这些能力在广泛的应用中带来了可衡量的优势，包括装配与拆解操作、维护辅助、劳动力培训、产品设计与开发以及人与机器人协作[6]。然而，尽管已有这些明显的优势，大多数现有XR系统仍然主要以可视化为驱动，依赖预编写的内容和静态交互逻辑[7]。因此，它们缺乏支持动态的"人在环路"决策所需的情境推理、过程理解和适应性[8]。与此同时，大语言模型（LLMs）的最新进展引入了前所未有的语义理解、情境推理和自然语言生成能力[9]。图1展示了LLM赋能的XR在工业环境中的演进历程。自LLMs快速成熟以来，它们已被广泛应用于多个领域，从以语言为中心的应用扩展到需要泛化和推理能力的安全关键领域及跨领域任务[10]。值得注意的是，近年来LLMs经历了快速发展，从早期的生成模型如GPT-3演进到GPT-4及后续迭代版本，在推理、情境理解和任务泛化方面有了显著提升。2022年ChatGPT的推出加速了其在研究和工业领域的广泛应用。最近，2024至2026年间的发展主要集中在大型多模态模型（LMMs）上，这些模型能够处理和整合文本、图像、音频和视频，并具备实时交互和扩展上下文能力。与此同时，检索增强生成（RAG）及其多模态扩展应运而生，通过动态集成外部数据源来解决知识静态和幻觉等局限性。这些进步共同标志着向更具适应性、多模态和认知能力的AI系统的转变，为下一代应用（如LLM赋能的XR环境）奠定了坚实基础[11]。因此，LLMs已被广泛应用于与自然语言处理密切相关的领域（如机器翻译和搜索引擎），以及更广泛的应用领域（包括自动驾驶和医疗健康），展现出显著的跨领域通用性[12]。随着LLM技术的持续发展，其在工业环境中的相关性不断扩展，在工艺规划、劳动力培训、维护决策支持和具身智能机器人系统等方面带来了可衡量的效益[13]。此外，视觉-语言模型（VLMs）的出现——能够同时处理视觉和文本输入——增强了多模态理解和情境感知，为工业任务提供了增强的分析支持。然而，尽管LLMs和VLMs具有认知优势，但由于缺乏嵌入式感知和执行功能，它们本质上与物理世界是脱节的，这限制了它们与现场工业环境建立实时双向交互的能力[14]。

在工业5.0的以人为本理念下，智能制造系统日益强调协作式任务执行，其中人类和机器贡献互补的优势[15]。因此，在这样的环境中实现有效协作需要将沉浸式空间感知与语言和认知智能紧密整合[16]。XR为精确的空间可视化和具身交互提供了基础，在任务执行过程中扩展了人类的感知和认知能力。当与LLMs结合时，XR系统可以被赋予先进的语义推理能力，实现基于自然语言的交互、情境感知的指导和自适应决策支持[17]。本研究中称这种集成为XR-LLM系统，它有可能将工业XR从被动可视化推进到认知赋能的交互式系统。例如，配备XR设备的操作员可以使用自然语言请求特定任务辅助，并在其视野内直接接收空间上下文化的过程指导[18]。当进一步结合VLMs增强时，此类系统能够解释实时视觉信息、检测异常状况并提出纠正措施，减少人工干预。尽管前景日益广阔，但在真实工业环境中部署XR-LLM系统并非易事[19]。与操作不确定性、安全约束、计算开销和严格可靠性要求相关的挑战继续限制其广泛采用。更重要的是，现有研究往往以碎片化和特定应用的方式处理XR-LLM集成，通常关注孤立的任务或单项技术[20]。因此，该领域缺乏一种全面的综合分析，系统地从整体、生命周期导向的视角审视XR-LLM系统，以符合工业5.0的目标[11]。

为了弥补这一关键空白，本工作提供了对工业应用中XR-LLM集成的系统综述，综合了2015年至2026年初发表的研究文献。与以往仅强调执行层面用例的综述不同，本综述涵盖了完整的制造生命周期，包括设计、规划、装配与拆解、维护、培训、质量检测和人与机器人协作。通过分析这些阶段的应用趋势、赋能技术和持续挑战，本综述阐明了XR-LLM系统如何从局部操作工具演进为支持可解释决策、空间语义推理和人机共创的共享认知基础设施。通过这一统一视角，本综述旨在为研究人员和从业者提供对当前技术现状的结构化理解，以及在工业5.0范式下推进韧性、自适应和以人为本的制造系统的可操作见解[21]。本综述的主要科学贡献是将碎片化的LLM-XR证据抽象为统一的生命周期导向参考架构，将工业数据采集、基于LLM的推理、沉浸式交互、执行监控和自适应反馈贯穿各制造应用场景。

本文结构组织如下：第2节介绍XR技术背景以及LLM赋能的XR在工业环境中的应用，并对相关综述研究进行简要回顾。第3节提出核心研究问题，并描述本文采用的方法论方法。第4节提出了工业环境中LLM驱动的基于XR的制造过程的通用框架。第5节考察了XR与LLM系统集成在工业应用中的实际部署。第6节阐述了支持LLM驱动的基于XR的生产工作流程的关键赋能技术。第7节分析了现有挑战、新兴趋势和未来研究机会。最后，第8节总结了研究的主要发现和贡献。

## 各章节摘要

### 工业环境中的扩展现实

近年来，通过日益采用由信息物理系统和物联网（IoT）支持的数字化和自动化，制造系统在提高生产率方面取得了显著进展[22]。尽管取得了这些进展，一种主要以机器为导向的方法逐渐暴露出局限性，包括适应性降低和人机交互碎片化。为应对这些挑战，欧盟委员会提出了工业5.0范式……

### 文献综述方法论

本研究采用结构化文献综述方法，包括规划、范围定义、文献识别、文章评估和结果综合。通过六个研究问题（RQs）对XR在工业相关过程中的作用和影响进行了全面理解，如图2所示。这些问题考察了LLM驱动的XR在工业环境中的范围、应用领域、赋能技术、优势、局限性和未来研究方向……

### 工业环境中面向教学内容开发的通用LLM赋能XR框架

所提出的框架提供了一个通用架构，用于将LLMs与XR技术结合使用，以促进智能的、情境感知的和自适应的工业装配、拆解、维护、维修和检查过程。该框架是基于第3节系统文献综述中发现的反复出现的架构元素、流程和机制开发的。它并非一种全新的实现方法，而是……

### LLM赋能XR系统在制造生命周期中的部署

为了调查LLM赋能的XR系统在制造生命周期各阶段是如何实施的，以及它们为以人为本的工业应用带来了哪些优势，对206篇选定研究进行了系统分析以回答RQ2。该分析涵盖工业装配、协作设计、工业工艺规划、维护、质量检测、劳动力培训和人与机器人协作（HRC），以及使这些应用成为可能的赋能技术……

### LLM赋能XR的系统级考量和关键技术

本节通过考察LLM赋能的XR制造系统的核心功能模块、人机-XR交互机制和关键赋能技术来回答RQ3和RQ4。进一步讨论了实现智能、自适应和以人为本的工业工作流所需的技术能力。LLMs与XR集成方面的最新进展展示了赋能以人为本的智能工业系统的强大潜力，提供沉浸式交互……

### 挑战与机遇

本节通过考察影响LLM赋能的XR系统在工业采用中的技术、人因和组织挑战，同时识别实现智能、自适应和以人为本的工业5.0及工业元宇宙生态系统所需的未来研究方向和技术机遇，来回答RQ5和RQ6。图22展示了工业环境LLM赋能XR系统中的关键挑战和机遇。

## 结论

本综述系统性地考察了LLMs与XR技术在制造生命周期中的集成，将LLM-XR系统定位在工业5.0所构想的向以人为本、自适应和协作型制造过渡的更广阔框架中。通过综合2015年至2026年1月发表的研究文献，研究采用生命周期导向视角，涵盖设计、规划、装配与拆解、维护、培训……

## CRediT作者贡献声明

Christa Daryn P.：撰写—原稿、方法论、数据整理。Rishika R.：软件、资源、方法论。Prasad Jones Christydass Samuel：撰写—审阅与编辑、软件、数据整理。S.K. Karthika：资源、方法论、正式分析。Eswaran M.：撰写—审阅与编辑、监督、概念化。

## 生成式AI及AI辅助技术在稿件准备过程中的声明

在准备本作品过程中，作者使用了ChatGPT（OpenAI）辅助文本润色、语言编辑和稿件格式化。作者对输出结果进行了必要的审阅和编辑，并对发表文章的内容承担全部责任。

## 利益冲突声明

作者声明不存在已知的竞争性经济利益或个人关系，这些利益或关系可能被认为影响本文所报告的工作。

Christa Daryn P. | Rishika R. | Prasad Jones Christydass Samuel | S.K. Karthika | Eswaran M.