RDE-Net：一种用于人机协作装配中实时细粒度动作识别的RGB-深度-肌电融合网络

《JOURNAL OF MANUFACTURING SYSTEMS》：RDE-Net: An RGB-Depth-EMG fusion network for real-time fine-grained action recognition in human-robot collaborative assembly

　　**摘要与亮点**- 将实时RGB-深度-肌电信号感知技术整合到工业人机协作装配框架中。- 在留一法（LOSO）交叉验证下，对视觉相似的细粒度装配动作保持93.10%的准确率。- 整合轻量级TSM-ResNet和1D-ResNet以实现多模态融合。- 将人机协作装配循环时间减少10.13%。- 解决了工业动作识别中真实世界数据不平衡的问题。**引言**人类动作识别（HAR）是意图理解和人机交互的基础，受到了极大的研究关注。HAR的演进反映了一个明显的范式转变：从浅层的、手工制作的特征表示过渡到深层的语义表示学习，并扩展到从单模态视觉分析到多模态传感器融合。早期的基础性研究利用统计状态空间模型和启发式时空描述符建立了理论基线，以捕捉基本运动模式[1]。随后，深度学习的发展革新了这一领域，通过卷积神经网络（CNN）和循环神经网络（RNN）的自动特征提取能力，使其在复杂环境中表现优异[2]。近期的文献集中在解决计算效率和环境鲁棒性方面的挑战，利用自注意力和跨模态融合等先进机制来解析日益复杂的人类动态[3,4]。这一演进反映了该领域从简单的动作分类到全面解读人类行为意图的进步。历史上，HAR研究主要围绕日常生活活动（ADL）和粗大运动技能展开，验证了用于常见家居交互（如"喝水"或"打开橱柜"）的识别系统[5,6]。这些场景通常涉及相对结构化环境中的明显、大幅度肢体动作。然而，随着工业自动化加速，HAR已演变为智能人机交互、工业装配线监控和医疗系统的核心技术[[7], [8], [9], [10]]。HAR的范围现在必须从被动观察扩展到主动交互，特别是在人机协作（HRC）的背景下[11]。准确、实时的动作识别是安全高效HRC的基石。具体来说，协作机器人必须感知并预测人类意图。这种预见性使系统能够调整其轨迹以实现有效的碰撞避免[[12], [13], [14]]。这种能力对于提高生产率、确保操作安全以及实现复杂工业环境中无缝的人机协作至关重要，尤其是在涉及精细装配任务的场合。尽管取得了这些进展，将HAR应用于工业装配任务引入了独特的挑战，这些挑战与日常生活场景存在显著差异。与智能家居环境中典型的粗粒度动作不同，装配操作涉及复杂的精细操作，揭示了制造环境中关键的实践局限性。首先，工业装配的特点是具有高度视觉类间相似性的精细操作。某些细微操作具有几乎相同的运动学模式，但需要不同的机器人响应。这些精细运动意图的区分在复杂的工业环境中被显著加剧，其中来自工人手部和工具的视觉遮挡，加上动态光照和金属反射，掩盖了区分所需的关键视觉线索。因此，纯视觉系统往往难以在这种不受约束的条件下可靠地解码这些模糊的、细粒度的动作[15]。其次，模型精度与工业安全的低延迟需求之间存在关键权衡。虽然深度3D CNN或Transformer架构提供优越的精度，但其高计算开销导致显著的推理延迟[16]。在对延迟敏感的HRC装配线上，即使是短暂的动作识别延迟也可能危及安全或打断生产节奏。为了解决这些制造约束，本研究通过整合RGB-D视觉感知与单通道表面肌电图（sEMG）信号，开发了一种面向应用的多模态HAR框架用于工业装配。虽然sEMG已被广泛用于意图识别和视觉模糊运动解码，但大多数现有研究关注手势、康复、假肢控制或一般HAR场景。其在精细工业装配中与RGB-D感知的整合，特别是在实时HRC约束下使用最小化单通道sEMG设置时，仍未得到充分表征。大多数现有多模态融合方法在决策层进行融合。较新的研究采用了基于Transformer架构的特征级融合。然而，这些方法通常引入更高的计算复杂度和推理延迟，这可能限制其在实时工业HRC系统中的应用。相比之下，本研究关注在工业装配约束下轻量级视觉与生理感知的面向应用整合。本研究为视觉相似装配动作的同步RGB-D与单通道sEMG融合、低延迟推理和工作流程级效率提升提供了系统级验证。本文使用的关键术语汇总在表1中，该表提供了本研究中引入的缩写和自定义术语的定义。理解这些术语将有助于理解所提出的框架及其评估。本文其余部分组织如下。第2节对相关资料进行了全面回顾。第3节详细阐述了方法论，介绍了所提出的多模态融合框架及其基础网络架构。第4节报告了实证发现，并展示了人机协作装配与纯手动装配流程之间的比较实验研究。第5节讨论了研究结果的影响、局限性和更广泛的背景。最后，第6节总结全文并概述了未来研究的潜在方向。**章节摘要****相关工作**本节回顾了HAR领域关键技术的演进，按感知模态进行组织。我们讨论了主流的基于RGB的视觉方法、基于肌电信号的生理信号方法以及多模态融合策略。**提出方法**针对工业装配中的细粒度动作识别，RDE-Net被设计为一个系统级集成框架，结合了RGB-D视觉感知与单通道sEMG生理线索。该系统同时捕获RGB-D视频和sEMG数据，以利用时空动态和生理激活模式。**实验与结果**本节介绍了实验设置、评估指标以及所提出的RDE-Net的综合结果。我们旨在验证在类不平衡、细粒度动作模糊性和实时部署需求等现实约束下融合RGB、深度和sEMG信号的有效性。**讨论**鉴于工业HRC对高精度和低延迟的关键需求，本文提出了RDE-Net以解决细粒度装配动作的模糊性。本研究的贡献在于适应并验证了视觉与生理信号融合在工业装配中的原理。在这种设置下，视觉相似动作、有限的生理感知、多模态同步、实时延迟和HRC工作流效率都必须被考虑。**结论**本文提出了RDE-Net，一个实时三模态人类活动识别框架，融合RGB视频、深度数据和单通道表面肌电图（sEMG），以在动态工业环境中实现稳健的动作理解。该方法结合了宏观视觉线索与微观神经肌肉信号，有效地区分传统纯视觉系统无法解决的视觉相似和细粒度动作。虽然sEMG流仅使用单个通道**CRediT作者贡献声明****刘昌辉：** 写作——审稿与编辑，写作——原始草稿，验证，监督，资源，项目管理，方法论，经费获取，概念化。**王一帆：** 写作——审稿与编辑，写作——原始草稿，可视化，软件，方法论，调查，形式分析，数据管理，验证。**肖金华：** 验证，监督，概念化。**唐泉：** 调查，数据管理。**杨春华：** 软件，资源。**利益冲突声明**作者声明他们没有已知的竞争性经济利益或个人关系，这些可能影响本文中报告的工作。