EDNPOS：一种基于骨架的开放集人体动作识别方法，用于实现人机协作，并能够有效处理异常数据（outlier）的影响

《ROBOTICS AND COMPUTER-INTEGRATED MANUFACTURING》：EDNPOS: An open-set skeleton-based human action recognition approach for human-robot collaboration enabled by outlier exposure

　　

宋慈|王百村|李星宇|杨华永|王利辉

中国浙江省杭州市浙江大学机械工程学院流体动力与机电系统国家重点实验室，邮编310058

摘要

随着工业4.0背景下以人为中心的制造范式的出现，人机协作（HRC）成为提高制造系统灵活性和适应性的关键策略。作为HRC实施的基础，人类行为识别（HAR）能够推断人类的操作意图，使机器人能够相应地做出反应。然而，现有的HAR方法主要集中在将行为准确分类为训练期间遇到的已知类别上，对实际场景中未知样本的考虑有限，这可能会影响HRC系统的稳定性和安全性。为了解决这个问题，本研究提出了一种具有开放集识别能力的新骨架基HAR算法。该模型采用三个并行分支的集成主干网络进行特征提取，并设计了一种基于能量的多样化非参数异常值合成（EDNPOS）学习框架，该框架能够生成虚拟异常值作为监督信号，优化已知数据和未知数据之间的决策边界。我们在三个公共数据集NTU RGB+D 60（NTU 60）、NW-UCLA和InHARD上进行了全面实验。结果验证了我们模型的卓越开放集识别能力，同时保持了竞争性的封闭集准确性。最后，通过对压缩机组装案例的定量和定性评估，证明了该方法在HRC应用中的有效性和前景。这项工作有望为在HRC系统中实现更可靠的HAR功能提供参考。

引言

工业4.0代表了制造领域的以人为中心的转型，强调在互联互通的人机物系统中人类与智能机器之间的协作。这一范式转变是由建立可持续、有韧性和包容性的生产生态系统的需求驱动的，这些生态系统能够快速适应中断和不确定性。工业4.0不是削弱人类的作用，而是将人类置于制造系统的中心，同时重视他们的福祉、个人成长和创造力以及技术进步[[1], [2], [3]]。在这种制造范式下，人机协作（HRC）成为一项关键策略，将机器人视为人机团队中的积极成员，增强人类的能力，同时动态适应人类的行为、偏好和决策过程[4]。实现这一愿景需要人类和机器人之间的安全、同步和协调的动作，这需要先进的认知能力来支持机器人推断人类的状态、意图和需求——特别是通过部署协作机器人（协作机器人）[3,4]。

为了实现人机团队中的认知，引入了先进的认知模型，其中人类行为识别（HAR）是一个繁荣的研究领域。HAR模型使用视频和/或骨架数据作为输入，并已在HRC系统中得到广泛开发。其中，基于骨架的方法具有计算效率高、环境鲁棒性和更强的隐私保护能力，在HRC应用中表现出巨大潜力[5,6]。尽管在已知动作类别的情况下，现有方法具有显著的识别准确性，但它们在很大程度上忽视了未知动作的挑战。在现实场景中，模型不可避免地面临开放集条件，其中包括与任务相关的已知动作类别和通常与任务无关的未知动作类别。对于安全至关重要的HRC来说，识别这些与任务无关的动作对于在开放和非静态工业环境中安全部署HAR算法至关重要。将与任务无关的动作预测为已知类别之一可能会削弱HRC系统的可靠性，例如引发本不应发生的协作机器人响应。尽管有这些关键的安全要求，但支持未知动作检测的HAR模型在当前研究中仍大多处于探索阶段。

从未知类别中识别样本的任务被称为开放集识别（OSR）。典型方法包括置信度得分函数[7,8]、通过事后方法进行差异放大[9,10]、异常值暴露（OE）[11,12]等，这些在[13]中进行了全面回顾。在开放集动作识别领域，以往的努力主要集中在基于视频/图像输入的方法[8,[14], [15], [16], [17]]，而基于骨架的方法则受到较少关注。特别是，由于缺乏辅助视觉线索和输入格式的稀疏性，开放集基于骨架的动作识别（OS-SAR）任务具有挑战性[8,17,18]。最近的研究尝试使用事后方法[18]或特征增强策略[19]来解决OS-SAR问题，但这些方法都仅依赖于标记的封闭集数据。然而，对未知动作类别分布的完全不了解可能会阻碍模型识别开放集动作样本的能力。相比之下，OE通过在训练期间结合称为“异常值”的分布外数据源来提供明确的监督，使网络能够学习分布内/外的差异，从而更好地区分已知和未知类别[13]。这种方法代表了OS-SAR任务中一个有前景但尚未充分探索的研究方向。

在这项工作中，我们开发了一个稳定可靠的HRC系统，可以有效减少将与任务无关的动作误识别为有效触发命令的情况。我们提出了一种新颖的OS-SAR算法，该算法利用原型学习获得结构化特征表示，并利用OE来塑造分布内/外的边界，并将其集成到HRC系统中作为主要模块。与现有的最先进方法相比，所提出的OS-SAR算法在公共数据集以及我们自己的数据集上实现了领先的封闭集和开放集识别性能。本研究的主要贡献如下：

•

开发了一种基于OE的OS-SAR方法，用于HRC，能够在保持高封闭集动作分类准确性的同时识别与任务无关的开放集动作。

•

设计了一种新的学习框架——基于能量的多样化非参数异常值合成（EDNPOS），它能够在由原型损失塑造的结构良好的潜在空间内自动生成多样化的虚拟异常值，并通过基于能量的损失函数学习封闭集/开放集决策边界。

•

在涵盖日常和工业场景的三个公共数据集上的评估表明，其性能与最先进的方法相当或超过它们。

•

通过HRC组装案例的现实世界实验证明了改进的可行性和实际效果。

本研究旨在为构建工业环境中的稳定和安全HRC系统提供见解，并展示了其在促进生产中采用HRC的潜力。本文的其余部分结构如下：第2节提供了相关工作的回顾。第3节首先详细描述了提出的HRC系统，然后详细阐述了新颖的OS-SAR方法。第4节报告了公共数据集上的实验结果，而第5节则介绍了在真实世界HRC组装任务上的评估。最后，第6节总结了本文。

部分片段

HRC中的人类行为识别

由于计算机视觉领域HAR的迅速发展，大量研究探讨了其增强当前HRC系统感知能力的潜力。根据输入数据类型，嵌入在HRC系统中的HAR方法通常可以分为两大类：基于图像/视频的动作识别和基于骨架的动作识别[20]。使用视频识别人类行为仍然是一个活跃的研究领域，因为视频易于获取且内容丰富

HRC系统构建

在以人为中心的制造系统中，配备HAR能力的协作机器人根据工人的动作来确定它们的协作操作。然而，在现实世界场景中，操作员的动作序列可能包含与任务相关和与任务无关的动作，例如调整服装、从地面取物以及其他不需要协作机器人识别的组装动作。如果这些无关动作被错误地分类为预定义的与任务相关的类别

公共数据集上的实验结果

本节评估了在HAR中广泛使用的基准数据集上提出的方法。评估包括两部分：（1）与为OS-SAR任务设计的最先进方法的比较（第4.2.1节），以及（2）分析不同组件和超参数对EDNPOS性能的影响（第4.2.2节）。以下小节提供了更多细节。

自定义数据集上的案例研究和实验

本节对提出的HAR方法在模拟工业车间中的定量和定性分析进行了介绍。第5.1节描述了设计的HRC组装案例和数据收集过程。第5.2节报告了相应的实验结果。

结论

为了提高HAR方法的可靠性，从而提高人机协作组装的安全性，本研究提出了一种新颖的OS-SAR方法，该方法在保持高准确性的同时实现了卓越的开放集识别能力。为此，提出了一种EDNPOS学习框架，该方法首先通过集成主干网络对特征空间进行规范化，然后从该空间的指定区域合成虚拟异常值以增强模型的开放集识别能力

CRediT作者贡献声明

宋慈：撰写——原始草稿，可视化，验证，软件，方法论，数据整理。王百村：撰写——审阅与编辑，撰写——原始草稿，监督，资源管理，项目协调，资金获取，概念构思。李星宇：撰写——审阅与编辑，方法论。杨华永：撰写——审阅与编辑，监督，资源管理。王利辉：撰写——审阅与编辑，可视化，监督。