《Computers》：From Simulation to Shop Floor: A Human-Centered Digital Twin Methodology for Industry 5.0
编辑推荐：
摘要翻译：数字孪生技术的最新进展侧重于可视化、操作员培训以及实时机器仿真，与工业4.0范式保持一致。然而，向工业5.0的转型要求采用以人为本的方法，将工人不仅作为观察者，而是作为系统中活跃的、可监测的组成部分融入其中。尽管研究兴趣日益增长，但在工业环境中创建和
摘要翻译：数字孪生技术的最新进展侧重于可视化、操作员培训以及实时机器仿真，与工业4.0范式保持一致。然而，向工业5.0的转型要求采用以人为本的方法，将工人不仅作为观察者，而是作为系统中活跃的、可监测的组成部分融入其中。尽管研究兴趣日益增长，但在工业环境中创建和部署可靠的人类数字孪生（Human Digital Twins, HDTs）的成熟端到端方法仍然缺乏。本文介绍了工业元人类（Industrial Meta-Human, IMHU），一种端到端的以人为本的数字孪生方法，旨在弥合这一差距。通过覆盖从人体建模到生产部署的整个生命周期，IMHU利用虚幻引擎（Unreal Engine）仿真生成精确的人体模型和合成数据，从而在不中断现有运营的情况下安全地复制危险场景。该方法集成了人工智能（Artificial Intelligence, AI）以实现实时监测并支持数据驱动的决策。IMHU部署在一条全面运行的生产线上，包含一个基于服务导向架构（Service-Oriented Architecture, SOA）的系统集成层，能够与遗留的工业4.0基础设施实现无缝互操作。实验结果表明了实时人体状态跟踪的可行性和有效性，并强调了其在推进工业5.0可扩展的、以人为本的数字孪生系统方面的潜力。
论文解读文章
一、研究背景与问题
随着制造业从工业4.0向工业5.0演进，生产范式正经历深刻变革。工业4.0主要强调自动化、效率以及信息物理系统（Cyber-Physical Systems, CPS）的集成，而工业5.0则重新将人置于系统的中心，强调人与智能机器之间的协同，以实现适应性、韧性和可持续性。在这一背景下，数字孪生（Digital Twin）技术已成为虚拟-物理集成的基石，广泛应用于机器和过程的实时监测、仿真与优化。然而，现有数字孪生系统主要面向机器导向，人类操作员通常被建模为外部代理或简化的人体模型，而非作为动态的、可感知和响应的系统组成部分。人类数字孪生（Human Digital Twins, HDTs）需要捕捉操作员的生理、认知和行为状态，并与物理对应体保持双向交互。尽管已有研究关注HDT的概念框架、运动同步或安全监测，但现有方法往往仅处理生命周期的孤立环节，缺乏一个覆盖从设计、仿真、合成数据生成到部署和实时运行的完整端到端方法论。此外，许多解决方案依赖于昂贵或侵入性的传感设备，难以在车间规模化应用，且很少考虑如何将人本模型集成到工业4.0的服务导向架构中。因此，开发一种可扩展、端到端且能够无缝集成到现有工业生态系统的HDT方法论，成为工业5.0落地的重要挑战。
二、研究内容与主要结论
针对上述问题，研究人员提出了工业元人类（Industrial Meta-Human, IMHU），一种端到端的以人为本的数字孪生方法论。IMHU定义了六阶段生命周期：元人类创建、数字阴影创建、数据收集、AI模型创建、AI模型与虚幻引擎连接以及最终的人本数字孪生。该方法论在系统层面利用虚幻引擎（Unreal Engine）的MetaHuman技术进行高保真人体建模，通过LiveLink插件实现物理-虚拟同步，采用目标检测模型进行人体状态推断，并基于MQTT、Kafka和OPC UA等通信协议与服务导向架构（SOA）集成。实验验证在意大利维罗纳大学工业计算工程实验室（ICE Lab）的物理生产线上进行，该实验室已有基于Plant Simulation的数字孪生系统。IMHU作为服务被集成到现有的数据集成中心（Data Integration Hub, DIH）中，将操作员的困倦状态发布为抽象操作员机器的信息模型节点更新。研究评估了多种目标检测架构（包括YOLOv3-tiny、YOLOv5n、YOLOv8n、YOLOv9t/s、YOLO11n以及RT-DETR-L/X）的性能，并进行了宏观尺度（制造配方执行时间）和微观尺度（网络延迟）的测量。结果表明，所有检测模型均取得接近完美的平均精度（mAP50超过0.99），其中YOLOv3-tiny和YOLOv9s在困倦状态识别上达到完美召回率。系统端到端延迟平均为228.07 ms，对制造执行时间的开销严格低于0.41%。系统连续运行32天无性能退化，验证了其稳定性和工业集成可行性。该研究为假设H1提供了实验支持，证明HDT可以利用可访问的硬件、游戏引擎技术和面向服务的接口集成到现有数字孪生生态系统中，同时保持实时响应性并引入有限开销。论文发表在《Computers》期刊。
三、关键技术方法概述
研究人员采用了以下主要关键技术方法：1) 使用虚幻引擎5.4的MetaHuman Creator创建高保真虚拟人体模型；2) 利用Epic Games的LiveLink Face应用（基于iOS设备）实现物理操作员与虚拟人之间的实时面部运动捕捉和同步，形成数字阴影；3) 通过Python脚本自动从虚幻引擎捕获截图，使用CVAT工具手动标注构建训练数据集，数据集包含6名不同操作员，按75%训练、10%验证、15%测试进行独立于受试者的划分；4) 训练多种现代目标检测模型（YOLO系列和RT-DETR）进行唤醒与困倦状态分类，模型以PyTorch实现，采用AdamW优化器训练100轮；5) 采用客户端-服务器架构（Python实现socket通信）将AI模型与虚幻引擎连接；6) 将HDT集成到ICE Lab的面向服务的制造架构中，通过Kafka、MQTT和OPC UA实现消息传递和互操作，并与KubeMQ、RabbitMQ进行延迟对比。数据来源为ICE Lab物理生产线的实际运行环境。
四、研究结果
1. MetaHuman创建：研究人员使用虚幻引擎基于Web的MetaHuman Creator创建了高保真虚拟复制品，定性评估确认其视觉真实性和镜像操作员的能力，但发现当前版本在身体类型定制（仅限低、中、高三种）和配件添加方面存在限制。
2. 数字阴影创建：通过LiveLink Face应用和ARKit混合形状数据，实现了操作员面部表情和头部运动的实时流式传输至MetaHuman，测试期间未观察到视觉同步问题，验证了该方法的非侵入性和可扩展性。
3. 数据收集：为每种状态（清醒和困倦）收集了600张图像，共1200张，使用CVAT v2.70.0手动标注，训练了唤醒与困倦检测模型。
4. 唤醒和困倦检测性能：所有评估的目标检测架构均实现mAP50超过0.99的接近完美性能。YOLOv3-tiny和YOLOv9s在困倦状态识别上达到完美召回率（1.0000），RT-DETR-L在清醒状态达到完美召回率。结果显示不同模型在精确率和召回率权衡上存在差异，且mAP值趋于饱和，不足以区分架构，需结合精确率-召回率指标评估。
5. 连接虚幻引擎与AI模型：基于socket的客户端-服务器架构实现了实时通信，平均推理时间为12 ms，从物理状态变化到虚拟人响应的平均延迟为153 ms，在实时反馈可接受范围内。系统实现了连续困倦超过3秒触发警报的安全功能。
6. 人本数字孪生：完整系统在测试中连续运行32天无性能退化，能够准确反映操作员在相机视野内的实时动作。
7. 制造生产线集成：在ICE Lab的生产环境中，将HDT集成到基于SOA的架构中。宏观尺度实验评估了三种制造配方的执行时间，对比了基线（直接OPC UA）、仅SOA（机器导向）和IMHU+SOA三种配置，结果显示IMHU引入的执行时间开销严格低于0.41%。微观尺度延迟基准测试中，基于Kafka的实现实现228.07 ms的稳定端到端响应时间，虽然KubeMQ和RabbitMQ延迟略低，但性能差异有限且不影响实时操作。Kafka的选择基于其高吞吐、数据持久性和消费者拉取模型，适合工业数据流场景。研究验证了HDT作为独立服务可通过相同代理集成机制扩展，无需修改整体架构。
五、讨论与结论
讨论部分指出，实验证明在可访问硬件和软件组件下，HDT可在实际工业环境中部署，实现高精度状态识别、低于250 ms的端到端延迟以及低于0.41%的制造执行开销。但跨操作员和生产环境的部署可能引入分布偏移，研究人员建议借鉴跨域工业诊断中的域-类特征解耦、不变表示学习等方法提升鲁棒性。局限性包括：当前验证仅针对唤醒-困倦检测，泛化性需进一步测试；相机跟踪要求操作员在视野内，限制移动场景；仅依赖视觉信号，未来可融合脑电图（EEG）和心电图（ECG）等生物信号；MetaHuman定制选项有限；互操作性仍需标准化接口。结论部分重申IMHU方法论支持HDT在工业5.0中的完整生命周期，实验验证了假设H1，即HDT可集成到现有数字孪生生态系统，保持实时响应并引入有限开销。未来工作将聚焦多模态传感、增强虚拟人个性化和更广泛的异构平台互操作性。
