统一的自适应开放集增量学习方法在工业领域的人体动作识别中的应用

《JOURNAL OF MANUFACTURING SYSTEMS》：Unified adaptive open-set incremental learning for industrial human action recognition

提出工业场景下开放集增量学习统一框架，通过角原型学习构建紧凑分离的特征空间，结合确定性不确定性建模检测未知动作，并采用无监督分层聚类和原型一致的回放机制实现自动增量学习，显著降低标注需求并提升动态环境适应性。

　　

余博帅|王鹏翔|严继红

哈尔滨工业大学机电工程学院，哈尔滨，150001，中国

摘要

智能制造需求的增长催生了强大且高效的工业人类动作识别（HAR）系统。然而，现有的封闭集HAR方法在处理新动作时存在困难，并且在动态工业场景中缺乏适应性。为了克服这些限制，本文提出了一种统一的自适应方法，用于开放集增量学习，该方法扩展了传统的动作识别能力，以处理新类别和不断变化的任务。具体而言，角度原型学习（APL）构建了一个紧凑且特征分离良好的特征空间，在该空间中，深度确定性不确定性（DDU）模型对类别条件下的特征分布进行建模，从而可靠地检测到以前未见过的动作。通过融合深度语义特征和边缘特征的无监督层次聚类对检测到的未知动作进行组织，减少了注释工作量；同时，基于APL的增量学习（IL）策略有助于逐步整合新动作，同时减轻遗忘现象。在来自真实世界制造车间的数据集上的实验验证了该方法的有效性和适应性，证明了其在不同HAR架构中的优越性能，降低了注释工作量，并提高了动态工业场景下的长期稳定性。

引言

工业4.0中的智能制造整合了包括智能传感器、人工智能驱动的方法和自主系统在内的先进技术，彻底改变了传统生产流程，从而提高了其鲁棒性、弹性和可持续性[1]、[2]。工业视觉智能的最新进展进一步证明了鲁棒感知模型在实用制造任务中的价值，特别是在需要可靠环境理解和决策支持的场景中[3]。尽管自动化程度不断提高，但人类操作员在许多工业活动中仍然至关重要，他们提供了必要的专业知识、适应性和决策能力。因此，精确的人类动作识别（HAR）对于确保工业流程的可靠性和灵活性尤为重要。监测和理解人类动作的能力是智能人机协作、自动化过程监控以及现代制造系统安全性提升的基础[4]、[5]。

深度学习的最新发展为HAR带来了显著进展，从利用空间和时间特征的基于骨架的方法[6]、[7]，到能够从视觉数据中捕获细粒度及上下文相关信息的基于RGB的方法[8]、[9]。然而，大多数方法依赖于固定动作类别的静态假设，这使得它们难以适应任务频繁变化和新动作不断出现的动态工业场景[10]。这些限制导致了昂贵的重新训练和重新部署过程，阻碍了HAR在实际工业应用中的可扩展性和适应性。

增量学习（IL），也称为连续学习或终身学习，作为一种有前景的策略应运而生，旨在解决这些挑战。与通常以牺牲旧知识为代价来适应新任务的迁移学习不同，IL使模型能够在不从头开始重新训练的情况下逐步获取新类别，同时保留对先前学习类别的知识[11]、[12]。在操作员经常执行以前未见过的动作的工业环境中，IL为自适应生产系统提供了可扩展的解决方案[13]、[14]。然而，传统的HAR IL方法仍然依赖于封闭集假设，认为所有测试样本都属于已知类别。这阻碍了对动态环境中不可避免出现的新动作的有效识别[15]，导致误分类和灾难性遗忘[16]。因此，迫切需要面向HAR的IL方法，能够同时识别未见过的动作并将它们逐步整合到识别框架中。

开放集识别（OSR）能够在识别未见过的动作的同时保持对已知动作的准确分类[17]、[18]，当与IL结合使用时，为动态工业场景中的自适应和鲁棒识别提供了一条合理有效的途径：OSR可靠地检测新动作，而IL则将其逐步整合到识别系统中。然而，大多数现有的HAR研究仍然将OSR和IL分开处理，它们的统一整合尚未得到充分探索。只有少数工作，如开放深度网络（ODN）[19]及其基于原型的开放深度网络（P-ODN）[20]，尝试了开放集增量学习，通过原型和半径模块提高了区分能力。

然而，这些方法仍存在一些局限性。首先，它们严重依赖于对新检测到的未知动作的手动注释，缺乏自动聚类和组织不熟悉类别的机制。其次，OSR和IL的集成仍然是一个松散耦合的过程，缺乏从未知检测到逐步整合的完整自适应循环。最后，它们的评估主要在受控条件的公共数据集上进行，未能考虑到真实工业车间的复杂性，在这些车间中，操作员的重叠、遮挡和视觉上相似的姿势使得自动聚类和增量适应对于实际部署至关重要。

本文提出了一种针对工业人类动作识别的新型统一自适应开放集增量学习方法。该方法被构建为一个整体流程，整合了未知动作检测、自动聚类组织和增量整合。具体而言，角度原型学习（APL）通过在一个角度空间中为每个类别构建一个类原型，引入角度边缘来强制类内紧凑性和类间分离性，从而构建出高度区分的特征表示。在这个结构化的表示中，深度确定性不确定性（DDU）被用来将类别条件下的特征分布建模为多元高斯分布，提供了对认知不确定性的原则性估计，从而可靠地识别以前未见过的动作。然后通过融合深度语义特征和基于边缘的结构描述符的无监督层次聚类对检测到的未知动作进行组织，使得新动作可以自动分组，几乎不需要人工干预。最后，采用了一种与APL一致的示例重放策略，通过最大化与相应类原型的余弦相似度来选择示例，并在学习新标注的类别时重放这些示例，从而减轻灾难性遗忘。通过这种方式，传统的封闭集HAR技术可以扩展到开放集增量学习，为现实世界工业环境的动态和变化条件提供了统一且实用的解决方案。所提出的方法在实际车间场景中的不同HAR架构上得到了验证，并最终采用了一个结合操作员检测和图像级动作分类的两阶段模型，以确保最佳的实际可行性和部署效率。

本文的主要贡献总结如下：

• 1.
  提出了一种统一的开放集增量学习框架，用于工业HAR，实现了从未知检测到新类别组织以及增量更新的闭环，从而在动态和复杂的车间条件下实现持续适应。
• 2.
  建立了一种紧密耦合的APL–DDU设计，用于可靠地检测未知动作：APL构建了一个紧凑且特征分离良好的角度原型空间，而DDU在该空间中对类别条件下的特征密度进行建模，以量化认知不确定性，从而区分未知动作和已知动作。
• 3.
  引入了一种高效的注释流程，其中通过特征融合的层次聚类组织检测到的未知动作，并通过与APL一致的示例重放整合新类别；其架构无关的有效性在真实世界工业车间数据集上得到了验证，在两阶段部署设置中实现了有利的准确性和效率之间的平衡。

本文的其余部分组织如下。第2节详细介绍了所提出的统一自适应方法，重点介绍了其关键组成部分和实现细节。第3节实验、第4节结果和讨论部分展示了在真实世界工业人类动作数据集上进行的实验设置和评估，以验证所提方法的有效性和适应性。最后，第5节总结了本文并概述了未来研究的潜在方向。

部分摘录

方法论

在本节中，介绍了如图1所示的工业人类动作识别的统一自适应方法。该方法整合了几个关键组件，以应对动态工业环境中识别不断变化和多样化的人类动作的挑战。首先，带有角度边缘机制的原型学习增强了特征区分能力，实现了更紧密的类内紧凑性和更大的类间分离性。为了检测未知动作，该方法

数据集获取与描述

现代工业环境需要能够在动态生产线上进行实时监控和适应的强大系统，然而工业HAR由于工作流程的不确定性和异质性而面临特殊困难。如图3(a)所示，装配线上有多个操作员和车辆紧密相邻。目标操作员由红色虚线框标记，正在执行从车辆后部行李箱延伸到后门的检查

实验1：开放集识别能力的评估

本实验的主要目的是系统地评估所提模型在已知和未知动作类别上的特征区分能力和OSR性能。该模型在部分动作类别上进行了训练，并在包含已见（训练）和未见（未训练）类别样本的专门构建的验证集上进行了验证。为了提供严格和全面的评估，根据

结论

本文提出了一种适用于动态和不断变化的工业环境的工业人类动作识别的统一开放集增量学习方法。该方法有效解决了适应新动作类别和减轻先前学习动作的灾难性遗忘的双重挑战。通过将角度原型学习与深度确定性不确定性量化相结合，该模型构建了一个高度区分性和不确定性意识强的

CRediT作者贡献声明

余博帅：撰写 – 审稿与编辑，撰写 – 原稿，可视化，验证，软件，方法论，调查，形式分析，数据管理，概念化。王鹏翔：撰写 – 审稿与编辑，监督，资源管理，项目协调，资金获取。严继红：撰写 – 审稿与编辑，监督，资源管理，项目协调，资金获取，概念化。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。

致谢

本文所述的研究得到了国家自然科学基金（52275482）的资助。