《Machines》：Digital Twin-Enabled Human–Robot Collaborative Assembly: A Review of Technical Systems, Application Evolution, and Future Outlook
Qingwei Nie,
Jingtao Chen,
Changchun Liu,
Zhen Zhao and
Haoxuan Xu
随着从工业4.0（Industry 4.0）到工业5.0（Industry 5.0）的转变，人机协作装配（HRCA）已从物理共存发展到认知集成和知识共享。数字孪生（DTs）作为连接物理空间与虚拟空间的使能技术，为动态、安全且以人为中心的协作提供了支持。本研究对DT赋能的HRCA的研究进展和实际应用进行了系统综述。首先，研究人员定义了HRCA与制造业中一般性人机协作（HRC）之间的概念边界，并描述了DT驱动的状态感知、任务规划和约束建模的核心要素。其次，研究人员分类总结了四种任务分配范式，包括基于优化的、基于约束满足的、数据驱动的智能以及大语言模型（LLM）辅助的方法，并识别了适用场景。第三，研究人员分析了协作模式与交互模态对规划逻辑的影响，将协作模式分为并行、顺序和紧耦合三类，将交互模态分为基于AR的显式交互、隐式意图感知和多模态融合三类。第四，研究人员总结了跨领域应用特征与工程瓶颈，目标领域包括精密装配、拆卸与再制造以及建筑现场操作。最后，研究人员提炼了四个核心挑战，包括动态不确定性、多目标冲突、人为因素适应和系统集成，并概述了四个未来方向：LLM赋能的适应性规划、安全-效率协同优化、个性化协作和标准化集成。所提出的技术-应用-挑战-展望框架旨在为HRCA从实验室原型向大规模工业部署的过渡提供理论参考和实践指导。
论文主体部分总结如下：
**1. 引言**
在制造业向柔性化、个性化和可持续性转型的背景下，工业5.0（Industry 5.0）的“以人为本”理念重新定义了人机协作关系，从“机器替代人”转向“人机互补”的增强智能范式。人机协作装配（HRCA）作为平衡效率与柔性的关键离散制造场景，已超越简单的物理共存，形成包含认知交互、任务集成和风险共享的复杂系统。现代HRCA强调人类柔性与复杂决策能力同机器人精度与重复性的深度融合，核心需求扩展至安全保障、人因适应和心理舒适度等多维目标。
数字孪生（DT）技术为HRCA的智能化升级提供了核心支撑，其定义为具有实时同步能力的物理实体高保真虚拟映射，通过感知、建模、规划、执行与反馈实现闭环协作，从而克服传统人机协作中状态感知滞后、任务分配静态及安全约束僵化等局限。在DT中集成多源传感器数据、几何与动力学模型及语义状态表示，可更精确地表示协作环境的动态演化，为任务分解、资源分配和轨迹规划提供实时决策支持。然而，随着HRCA扩展到非结构化场景（如拆卸与再制造、建筑现场操作），DT在语义对齐、实时保障和跨平台集成方面面临新挑战。
现有研究多集中于单一技术模块的优化，缺乏DT赋能下从“概念-技术-应用-挑战”全链条的系统级集成，且未明确不同技术范式的适用场景与工程条件。同时，大语言模型（LLM）和视觉语言模型（VLM）等生成式AI技术的兴起，正推动HRCA从“规则驱动”向“语义理解驱动”的范式转变，但这一转变尚未被系统整合与评估。为此，本文对DT赋能的HRCA进行综述，整合分散研究成果，构建统一技术框架，为学术研究提供优先方向，为工业实践提供可操作技术参考，支持HRCA从实验室研究向生产部署的过渡。
**2. 数字孪生赋能的人机协作装配：核心概念与术语**
**2.1 定义与术语**
人机协作（HRC）通常指人类与机器人在共享工作空间内完成同一装配任务的协调工作。在DT技术与工业5.0（Industry 5.0）背景下，HRCA的定义已被显著拓宽，日益强调人机团队协作，机器人不仅是指令执行工具，更是可交换解决方案的协作伙伴。这种团队导向范重视安全性、交互性和互补性，寻求机器人精度与重复性同人类柔性与复杂决策能力的整合。在DT赋能环境中，HRCA任务规划被定义为在多重约束（如安全、几何和工艺约束）下将装配目标分解为原子操作序列，并动态分配给人类或机器人，同时规划执行顺序、运动轨迹和交互逻辑的过程。与传统规划相比，DT驱动的规划具有显著的虚实融合特征，任务规划不仅限于设计阶段，而是通过实时反馈数据延伸至运行阶段并持续优化。近期研究还探索了将LLM纳入规划流程，将自然语言指令翻译为层次化任务表示，辅助生成可执行计划或代码，降低非专家用户参与规划与编程的门槛。
与传统规划假设结构化可预测环境不同，HRCA必须在规划与执行中明确考虑人类参与和行为变异性，使规划问题更具在线性和交互性。人类意图与行为的不确定性增加了计划-执行不匹配的概率，从而推动从离线优化向在线监测与动态调整的转变。HRCA任务规划面临的挑战可归纳为三个耦合维度：动态不确定性（需在线重新规划或策略修正）、分层安全约束（需满足协作安全标准如ISO/TS 15066）以及实时交互需求（需通过手势、语音或界面确认等步骤同步意图与状态）。
**2.2 状态感知与建模**
高效的HRCA运行依赖于对共享工作空间的精确感知与实时建模，DT作为数据聚合与状态映射的中心。感知的主要目标是构建物理环境的高保真虚拟表示。研究提出了基于深度相机的视觉感知系统，构建人体骨骼模型并实时映射操作员姿态，实现DT内的高精度人机定位。混合架构结合视觉传感与超宽带（UWB）实时定位系统（RTLS），在遮挡等挑战性条件下提升了鲁棒性，但高精度传感器产生的大数据流可能引入处理延迟，影响DT的实时性。此外，跨平台互操作性方面，统一工业接口与通信标准仍不够成熟。
除了物理位置，理解环境的语义状态同样关键。研究引入态势感知的定量指标，表明智能DT可监测当前状态并基于历史数据预测未来碰撞风险，支持自优化感知。在拆卸任务中，部件状态往往未知，虚拟现实（VR）界面与DT结合可让工人实时标注未预见障碍或变化，持续更新环境模型。对于人机协作装配线，DT不仅用于过程可视化，还用于设计与重构评估以及计划执行的前端验证。通过紧密的虚实耦合，DT可在配置变化下快速验证与重新规划，并通过“提前执行”在数字空间中模拟协作装配任务，识别潜在冲突与瓶颈，提升现场可靠性与节拍稳定性。
**2.3 关键要素与约束**
**2.3.1 核心要素建模**
现有研究通常将DT驱动的规划视为对三类信息的统一表示与闭环更新：任务元素、智能体（人/机器人）能力元素和环境元素。任务元素通常以层次化和参数化形式建模（如产品-组件-操作-动作），支持工艺约束与几何特征的耦合表示。人-机器人能力元素除机器人能力模型（如负载、定位精度）外，还纳入认知负荷、疲劳和人因风险等人类状态变量，支持自适应任务分配与节拍调整。混合现实（MR）不仅用于信息传递，还作为数据采集通道，实时捕获操作性能与人因指标并反馈给规划系统，形成监测-评估-再分配循环。环境元素包括工作空间布局、夹具与物料位置以及随时间变化的可达性与占用状态，部分研究还将人类注意力与可见性视为环境状态以触发协作行为。
**2.3.2 关键约束**
在HRCA任务规划中，安全通常被视为首要硬约束，源自协作机器人安全标准（如ISO/TS 15066）以及感知不确定性与在线交互带来的风险管理需求。在速度与分离监控（SSM）等常见协作模式下，规划约束常通过最小分离距离、速度限制和制动能力参数化。工程瓶颈常在于感知管道响应延迟与机器人制动距离之间的耦合，延迟增加迫使设置更保守的安全距离，从而降低节拍与生产率。为缓解静态安全区域导致的效率损失，安全约束实施正沿着适应性与可解释性两个方向扩展。研究提出混合控制/规划架构，基于实时风险指标动态调整机器人速度，仅在碰撞风险增加时触发减速，实现安全与吞吐量的精细折中。同时，将人类识别输出明确纳入规划约束可抑制误报，提升协作连续性。此外，行为树（BT）被用于模块化编码任务逻辑与安全策略，相比有限状态机，BT更好地支持并行监控与受控中断恢复，并通过了ISO/TS 15066的形式化安全验证。
**2.4 目标与指标**
任务规划的目标通常是在满足安全约束下实现最优效率，但安全与效率存在固有张力。过度保守的安全策略会显著延长周期时间，降低系统吞吐量。因此，规划目标已从单一最小时间准则扩展到多目标形式，共同考虑能耗、人因舒适度和工人心理安全感。HRCA评价指标可分为四类：时间效率指标（如单位装配时间、机器人空闲时间、任务完成率）、安全指标（如最小分离距离违规次数、平均碰撞风险指数、紧急制动频率）、人机适应指标（如任务负荷指数NASA-TLX、操作满意度、眼动信号反映的认知负荷变化）以及系统鲁棒性指标（如通信延迟、遮挡、传感器噪声等扰动下的任务成功率与性能退化）。
**2.5 基础人机协作安全理论与演进**
ISO/TS 15066规定了两种经典安全范式。功率与力限制（PFL）作为接触式安全机制，通过阻抗控制或自适应力-力矩反馈回路对机器人功率与接触力施加刚性约束，确保接触力低于生物力学损伤阈值，适用于无需预设分离距离的紧密物理协作，但依赖高精度力传感设备且无法预防接触前的高速碰撞风险。速度与分离监控（SSM）作为接触避免机制，通过控制理论模型推导安全距离计算模式，维持人与机器人之间的最小安全距离。早期HRC安全依赖静态规则约束，无法适应动态协作环境。数字孪生技术通过弥合经典安全范式与动态风险建模之间的鸿沟，在物理部署前于数字孪生中验证混合安全控制策略（如混合SSM+PFL），减少安全关键场景中的试错风险，将静态约束扩展为动态、风险感知的控制，平衡安全、效率与协作流畅性。
**3. 人机协作装配中的任务分配**
**3.1 基于优化的规划方法**
传统基于优化的方法主要在结构化且相对可预测的环境中求解任务分配的最优解。对于装配线平衡与调度问题，混合整数线性规划（MILP）模型被用于联合最小化工作站数量、周期时间和总成本，并将机器人能耗纳入成本项。数学规划的优势在于为确定性实例提供精确全局最优解，在具有严格先后约束的线性或U型装配线上效果显著，但随任务规模增长，组合爆炸导致求解时间不可行。为提升计算效率，启发式与元启发式算法成为有效替代。多自适应遗传算法（GA）与DT技术集成，利用DT反馈提供实时物理约束信息，优化人机协作轨迹并调整工人移动计划，缓解了经典启发式与物理环境脱节的局限性。然而，元启发式优化仍多为离线或近实时，对动态变化的响应能力受限，当出现设备故障或人类自发行为等扰动时，需重新优化，可能无法满足高频交互的实时需求。
基于优化的方法在以下四种条件下优于基于学习的方法：结构化确定性环境（如大规模3C电子装配）、静态显式约束（如安全距离与负载限制）、安全关键场景（如航空航天精密装配，需可解释性与可追溯性）以及数据稀缺场景（如新生产线，利用工艺知识而非标注数据）。
**3.2 基于约束满足的规划方法**
基于约束满足的方法已在多个工业试点中验证了ISO/TS 15066合规性。约束规划被用于编码SSM安全距离约束，实验结果显示每100周期安全违规次数仅为0.5±0.1。除硬逻辑约束外，基于模糊推理的多准则任务分类方法可容纳难以量化的定性约束（如“任务复杂度”和“人因风险”），支持以人为中心的任务预分配。Petri网被广泛用于并发任务的冲突检测与时间控制，通过形式化建模确保装配序列的逻辑正确性，并将模型转换为工业机器人控制命令，缩小高层规划与底层控制之间的差距。然而，Petri网受状态爆炸问题限制，随工艺复杂度增加，状态空间可能呈指数增长，使建模、分析与维护更加困难。与基于优化和数据驱动的范式相比，基于约束满足的方法具有较低的计算成本（平均推理延迟<100毫秒）和较高的工业成熟度，已在汽车精密装配线中稳定运行超过两年。
**3.3 智能（数据驱动）规划方法**
随着深度学习与强化学习的发展，数据驱动智能规划方法成为管理HRCA动态不确定性的关键使能技术。长短期记忆（LSTM）模型被用于捕捉装配序列中的时间依赖性，从当前上下文预测下一任务分配决策。基于视觉的深度学习框架通过实时识别工作空间中零件状态触发后续机器人动作，实现无需显式指令的流畅协作。然而，纯监督学习方法严重依赖大规模标注数据集，且难以泛化到未见异常情况。深度学习的机器人认知架构耦合感知、状态表示与任务决策，支持装配过程的情境理解与动作选择。强化学习（RL）被应用于人机协作装配决策，允许机器人动作策略在不确定协作节奏下自适应更新。为降低在线探索带来的安全风险，离线强化学习框架从历史数据中训练主动辅助策略，避免实际操作中的危险探索。模仿学习（IL）使机器人从人类示范中学习复杂装配逻辑，显著减少手动编程需求。数据驱动策略仍面临可解释性与可验证性、分布偏移敏感性以及对高质量数据与显式安全约束建模的依赖等工程瓶颈，在安全关键工业环境中大规模部署存在挑战。
**3.4 基于大语言模型的任务分配**
近年来，大语言模型（LLM）引入了人机协作任务规划的范式转变，从纯数值计算转向语义理解与逻辑推理。LLM可集成以解释非结构化自然语言命令，降低人机交互门槛，并在微装配和建筑装配中验证了辅助控制代码生成的可行性。为缓解LLM输出不确定性与工业控制稳定性需求之间的矛盾，生成式AI与行为树（BT）相结合的混合架构被提出，任务逻辑由LLM推理生成，然后编译为结构化行为树执行，在保留灵活性的同时提升可验证性与安全性。然而，LLM规划仍存在幻觉问题，可能生成物理上不可行的动作，且对三维几何约束的固有理解有限，需外部感知模块与约束检查机制进行验证与纠正。
LLM规划在安全关键HRCA场景中面临四个不可逾越的障碍：幻觉问题（生成物理不可行动作，需额外验证造成延迟）、输出与安全标准不兼容（生成逻辑无法形式化验证）、推理延迟（200-500毫秒，超过工业100毫秒阈值）与跨模块集成复杂性（语义输出与感知系统、工业接口对齐困难）。混合架构将LLM与BT结合，将幻觉导致的故障率从32%降至8%，但仍需DT实时约束检查模块（如3D几何碰撞检测）的进一步集成。领域自适应微调（如注入装配工艺知识库）可将通用LLM在特定场景（如电动汽车电池拆卸）的语义理解准确率从65%提升至91%。形式化方法（如Petri网）验证LLM生成的任务逻辑，使安全合规验证效率提升40%。边缘计算结合模型蒸馏可将延迟降至80毫秒，安全缓冲距离减少30%。
**3.5 方法比较与适用性**
任务分配范式在最优性、实时性、安全可验证性、可解释性、数据需求以及适用性与工程成本之间表现出系统性权衡。基于优化的方法最适合标准化装配线，可提供高质量解但灵活性有限。基于约束满足的方法在安全要求严格且逻辑复杂的场景中更稳健，通过Petri网等形式化模型有效降低死锁风险，但适应非结构化环境的能力有限。智能数据驱动方法更适合高度动态和不确定的场景（如小批量个性化生产），但需解决数据获取成本与模型可解释性挑战。基于LLM的方法符合认知制造趋势，可提升系统可用性与任务泛化能力，尤其在产品种类多、换产频繁、人机交互密集的柔性装配中，但当前仍需与传统控制与验证机制耦合以确保安全与精度。在工业应用中，范式选择应匹配场景需求：精密装配和高安全场景优先选择基于约束满足的方法，大批量结构化装配优先选择遗传算法，小批量非结构化动态场景优先选择离线强化学习，需自然语言交互的认知装配场景优先选择进一步优化的LLM-BT混合架构。
**3.6 数字孪生在HRCA规划中的精度、偏差检测与可信度**
数字孪生（DT）的精度通过三个核心维度量化：几何保真度（尺寸误差±0.01-0.1毫米、表面重建均方根误差<0.5毫米、位姿对准误差<0.5°）、动态同步性（同步延迟10-50毫秒、轨迹跟踪误差<2%路径长度、任务周期时间偏差<5%）以及语义对齐（意图识别准确率>90%、任务语义映射一致性>85%、异常分类F1分数>0.88）。实时偏差监测通过多传感器融合与模型预测误差评估进行，偏差分为传感器相关、环境相关和人类相关三类，通过在线模型更新与自适应阈值调整进行纠正。DT-LLM工作流中集成两个行业验证的保护护栏：仅当DT精度满足几何误差<0.1毫米、同步延迟<50毫秒等定量标准时，物理操作计划方可执行；所有关键任务（如高精度装配、近人机器人运动）需操作员对DT模拟结果进行形式确认与验证后方可执行物理活动。
**4. 协作模式与交互对规划的影响**
**4.1 协作模式分类与规划含义**
在现代装配场景中，协作模式不再局限于空间共存，而是追求更深层次的人机语义集成，规划需求随之扩展。动态协作规划首先识别任务属性并将其分类为仅人类、仅机器人或联合执行，这一分类直接影响后续资源调度策略。协作进一步细分为并行、顺序和紧耦合模式。对于顺序与并行协作，规划通常以时空优化为中心，减少等待时间并提升流动效率。共生人机协作（symbiotic HRC）范式要求显式建模人类与机器人之间的互惠性，规划需考虑双向适应而非单向自动化，机器人角色从被动执行者动态切换为主动助手，如在检测到疲劳时自动接管重载任务。关键限制在于对人类状态建模的强依赖性，以及互惠性指标在工业环境中难以形式化量化。非结构化与探索性任务中，规划需支持情境决策，允许设计意图在执行中实时变更，并通过自适应算法更新机器人运动计划以安全集成人类自发行为，但计算负担显著增加，尤其在快速变化约束下的碰撞检测与避障规划中。从认知人因学角度，不同工作角色（如监督者、协作者和跟随者）会显著影响操作员的认知负荷，未来规划模型应将认知成本显式纳入约束或目标项。
**4.2 交互模态与意图感知技术**
显式交互中，增强现实（AR）以可视化、可编辑和交互式格式向操作员呈现规划结果，提供可解释的在线规划循环与错误纠正能力。AR可将机器人运动意图（如未来轨迹可视化）叠加到物理工作空间，减少恐惧并提升避障效率。AR创作工具使非专家用户可通过AR界面定义任务流与触发条件，将任务“编程”重构为交互活动。AR双向交互工具包不仅使机器人显示其状态，还允许工人通过虚拟按钮直接干预规划过程。然而，头戴式显示器在高强度工作中可能带来额外生理负担，且视觉叠加过多可能分散注意力，引发认知隧道效应。隐式交互与意图感知作为替代方案，旨在最小化交互努力与视觉过载。基于传感器的意图感知信号被直接引入规划算法，无需显式命令即可触发辅助。有限状态机（FSM）结合眼动追踪与手势识别，通过操作员注视预测当前关注对象，主动触发机器人辅助动作（如工具交接），提升流畅性。情感计算利用面部与生理信号监测压力与疲劳，在线调整机器人运动参数（如降低速度、增加安全距离），实现情感感知的自适应规划。人类动作预测模型通过示范学习预测装配动作序列，降低传统规划器在随机人类行为下的脆弱性。隐式交互仍受模糊性与个体变异性限制，规划系统需具备强容错能力、显式不确定性处理以及传感故障下的优雅降级。非视觉反馈通道（如触觉反馈）可弥补视觉主导界面的缺陷，通过腕带振动设备编码方向性意图，无需重定向视觉注意力，提升意图沟通准确率并缩短人机对空间冲突的反应时间。多模态融合（视觉、触觉、认知线索）有望成为下一代规划界面的发展方向，但需处理传感器校准、时间同步与异构数据流的一致解释等工程挑战。
**5. 人机协作在制造业中的应用**
**5.1 精密装配与通用工业部署**
在传统精密制造业中，部署协作机器人主要源于劳动力短缺与操作一致性需求。小部件装配任务在FANUC CRX-10平台上验证了工厂环境中的可行性，但小型不规则零件的抓取与对准仍存在精度瓶颈，通用末端执行器常无法满足要求，需定制辅助夹具，成本较高。工人对HRC引入的反应研究表明，机器人辅助减轻了上肢肌肉负荷，但在高节拍场景下，心理压力因需要与机器人固定节奏同步而增加，表明许多装配部署仍处于人类适应机器的早期阶段。
**5.2 面向循环经济的协作拆卸与再制造**
随着全球可持续制造关注度提升，报废产品拆卸与再制造成为HRC的重要应用领域。与装配相比，拆卸面临腐蚀、磨损和部件变形等更高不确定性。基于遗传算法（GA）的优化模型被用于协作拆卸，根据电池模块剩余寿命与物理状态动态规划人机拆卸序列，高风险模块移除任务分配给机器人，精细操作（如线束分离）分配给人类工人。蜜蜂算法被应用于多目标拆卸序列规划，最大化回收利润同时最小化拆卸时间。然而，基于智能算法的拆卸应用受限于实时计算性能，因报废产品状态差异大，每周期需重新扫描、建模与执行复杂优化，准备时间难以与大规模工业回收的吞吐量需求协调。当前视觉系统对严重污染或变形紧固件仍不够鲁棒，许多情况下仍需人工干预。
**5.3 建筑与大型现场的非结构化协作**
将HRC从结构化工厂车间扩展到非结构化建筑工地成为近年最具挑战性的应用方向。空间木材装配中，基于图的装配模型支持制造感知设计工作流，机器人协助现场定位与固定复杂几何组件，但环境干扰（如光照变化、地面不平）会降低定位精度，大型构件柔性变形难以用纯刚体模型预测。针对现场协作不确定性，强化学习（RL）被用于高层幕墙安装任务的动态角色分配机制，机器人角色可根据实时扰动（如风载荷）在“领导者”与“跟随者”之间自适应调整，提升安装稳定性。混合现实（MR）在迭代建筑设计与施工中通过全息叠加提供实时装配指导。尽管潜力巨大，建筑机器人的移动性与续航能力仍是当前限制大规模采用的主要硬件瓶颈。
**5.4 以人为本的个性化与参与机制**
工业5.0的核心原则是将工人置于生产中心，推动HRC应用向个性化发展。惯性测量单元（IMU）步态识别系统使机器人能够识别协作工人身份，并根据历史习惯与技能水平自动加载个性化协作参数（如运动速度、辅助高度），支持真正的个性化制造。游戏化机制被引入HRC装配线，通过积分、挑战和叙事元素激励工人，初步实验表明叙事驱动型游戏化可减少挫败感并增强沉浸感。然而，这些“软”应用尚未成熟到可持续部署，游戏化效应的新颖性可能随时间消退，且大规模推广中生物特征信号（如步态模式、情感状态）的采集与存储引发隐私与合规问题，需通过长期研究及明确治理框架加以解决。
**6. 人机协作装配任务规划的关键挑战**
**6.1 动态不确定性与多目标冲突的耦合机制**
动态不确定性包括人类行为随机性、感知噪声和环境扰动，多目标冲突涉及安全与操作效率、刚性约束与柔性需求、个体适应与全局优化之间的权衡。两者并非独立，而是相互放大与依赖。动态不确定性可通过前向传播导致规划参数频繁波动，使多目标优化中的权重分配方案失效，加剧冲突。静态优化策略无法实时应对不确定性，倾向于产生保守决策（如固定安全阈值），造成效率损失或冗余安全设置，进而加剧环境与行为不确定性。在精密装配中，人类手部微动误差迫使机器人频繁调整运动轨迹，ISO/TS 15066的安全约束导致机器人减速或停机，总装配周期延长超过30%。在拆卸与再制造中，部件未知腐蚀状态引起任务分解参数动态变化，拆卸效率、工人安全与回收价值之间的权重系数实时调整能力不足，导致规划方案频繁迭代，重规划延迟超过200毫秒。在建筑现场，风载荷扰动引起机器人定位偏差，安装精度、施工进度与人员安全之间的冲突形成规划困境。
**6
