PackFormer：一种面向物联网智能物流工业操作识别的视觉-语言对齐多模态Transformer框架

《JOURNAL OF MANUFACTURING SYSTEMS》：PackFormer: A multimodal transformer framework with vision–language alignment for industrial work operation recognition in IoT-enabled smart logistics

　　

• •
  跨模态 Transformer 融合 IMU、生理、骨骼和深度传感器数据。
• •
  语言引导的对齐在零推理成本下添加语义监督。
• •
  析因设计将架构收益与新增模态收益区分开来。
• •
  量化将模型缩小近四倍，用于智能制造系统。
• •
  跨模态注意力直接通过独立物理证据进行验证。

引言

物联网（IoT）设备和可穿戴传感器在工业环境中的迅速普及，为工厂车间和物流运营中的细粒度活动监控创造了前所未有的机遇。准确、实时地识别诸如物品拣取、箱子组装和条形码扫描等作业操作，对于质量保证、人体工学评估、生产力分析以及下一代智能制造系统中的人机协作至关重要[[1], [2], [3]]。这是下一代物流作业所需的经过充分评估的紧密人机协作的先决条件[4]，并将本系统置于更广泛生产车间的人—信息—物理视图之中[5]。然而，通用人类活动识别（HAR）进展向工业场景的转化一直并非易事：作业序列高度结构化且具有领域特异性，工人间变异和疲劳效应显著，时间粒度要求严格，且部署环境要求对传感器噪声和部分遮挡具有鲁棒性[6]。

这些挑战促使采用丰富的多模态传感器融合，而非依赖任何单一感知模态。Ni 等人[7]综述了多模态可穿戴 HAR，并强调了融合惯性、肌电和视觉等互补传感器数据流所获得的持续准确率提升；Balt_ru?aitis 等人[8]给出的融合策略分类法框定了我们所处的工作设计空间。与此同时，Transformer 架构已展现出建模长程时间依赖关系和跨模态交互的卓越能力。Suh 等人[9]提出了 TASKED，一种基于 Transformer 的对抗学习框架，用于可穿戴传感器 HAR，通过自知识蒸馏实现跨被试泛化。Luptáková 等人[10]表明，将 Transformer 注意力机制适配到时序 IMU 数据上，在标准基准上大幅优于 LSTM[11] 和 CNN 对应方法，这一模式在 Transformer 架构用于机械信号状态监测的应用中也得到观察[12,13]。类似的基于注意力的设计已被用于在工厂车间进行人机协作的惯性运动识别[14]。

最近，大语言模型（LLM）和视觉—语言模型（VLM）与活动识别的交叉领域已成为一个引人注目的研究前沿。Lunia 等人[15]证明 LLM 可以作为视频动作识别的视觉推理协调器[16]，提供纯视觉编码器无法获取的语义上下文。这引出了一个自然问题：类似的语义接地策略能否改进从多模态传感器数据中识别工业作业操作的能力，其中作业操作的概念结构（例如"拣取"、"组装箱子"）在自然语言中已有明确定义？OpenPack 数据集[17]包含 53.8 小时经标注的传感器数据，来自 16 名受试者在九种感知模态下执行逼真的箱子包装工作流，提供了一个理想的研究平台。然而，先前的 OpenPack 工作仅限于单模态或浅层融合方法，深度跨模态 Transformer 和语言引导的语义对齐在很大程度上仍未被探索。

多模态作业操作识别器的评估中有两个方面值得比目前通常所受到的更为细致的审视。第一，该基准上的比较基线为单模态，因此与多模态提案的直接比较同时改变了网络架构和输入模态集，仅凭此无法将由此产生的差距归因于其中任何一个因素。第二，单个模态的贡献通常从添加该模态时观察到的性能提升来论证，而非加以证明：声称生理信号捕获了用力程度，或深度图像提供了空间上下文，很少与训练后的模型对这些输入的实际处理方式进行测试。本工作直接解决了这两个问题，此外还考察了所得模型是否能在包装工位上可用的硬件类别上部署。

本工作的主要贡献如下。

(1) 一个多模态识别框架 PackFormer，将模态特定编码器与跨模态 Transformer 配对，联合建模惯性、生理、骨骼关键点以及深度数据流，用于细粒度的工业作业操作识别；

(2) 一个语言引导的对齐模块，利用冻结的预训练文本编码器将融合传感器表示锚定在各作业操作的自然语言描述上，在零推理成本下提供语义监督，并包含对八种提示表述的敏感性分析，其中设置了阴性对照以区分监督的语义内容与作为通用正则化器的效果；

(3) 一个析因评估，独立变化架构和输入模态，以便将观察到的差距归因于特定原因，并以五次规定的跨被试划分上的均值±标准差报告变异度，并针对最强比较基线进行配对显著性检验；

(4) 对跨模态注意力的可解释性分析，量化模型对每种作业操作关注的模态和时间令牌，由独立物理代理变量和因果掩蔽测试加以佐证，以及车间部署可行性分析，涵盖算术强度、内存带宽以及低精度执行的精度代价。

本文其余部分组织如下。第 2 节综述传感器-based 工业活动识别、多模态融合和语言接地表示学习的相关工作。第 3 节阐述 PackFormer 框架。第 4 节描述数据集和评估协议。第 5 节呈现实验结果，包括析因架构—模态分析（5.1 节）、跨模态注意力研究（5.4 节）、提示敏感性分析（5.5 节）和部署可行性分析（5.7 节）。第 6 节总结全文。

章节摘要

相关工作概述

基于传感器的工业作业操作识别。早期车间活动识别依赖于从手腕或腰部佩戴的加速度计中提取的手工设计统计特征，随后由浅层分类器处理。深度序列模型取代了这一流程：卷积网络[18,19]直接从原始惯性信号中学习时间运动原语，而基于循环记忆[11]的混合卷积—循环模型如 DeepConvLSTM [20,21] 则添加了显式的

PackFormer 框架

PackFormer 背后的核心设计洞察是：异构传感器数据流，每一路都遵循其自身的物理定律、采样率和噪声特性，在各自被个体化理解之前无法被有意义地融合。手腕加速度计捕获离散的动力学冲量；光电容积脉搏波仪测量连续的心血管动力学；骨骼关键点编码跨越身体关节的空间拓扑；深度相机感知工人之间的几何关系

数据集与实验设置

工业作业操作识别施加的评估要求与标准活动识别基准截然不同。在 OPPORTUNITY[50]或 PAMAP2[51]等数据集上，受试者在受控实验室环境中执行脚本化、边界清晰的活动；受试者间变异适中且时间边界干净。相比之下，在物流环境中，作业操作高度重复、时间密集，且由异质性工人执行

结果与讨论

实验结果讲述了一个一致的故事：在该任务上单模态系统与多模态系统之间的差距不仅仅是加性关系，而是反映了质的不同的失败模式。仅惯性模型主要因运动学相似的作业操作产生几乎相同的手腕轨迹而失败，这些轨迹仅能由空间上下文或生理状态加以区分。语言引导的对齐解决了互补的失败：即使具有完整的多模态输入，纯靠

结论

我们提出了 PackFormer，一个带有语言引导语义对齐的多模态 Transformer 框架，用于工业作业操作识别。通过模态特定编码器编码 IMU、生理、骨骼关键点及深度数据流，并通过跨模态 Transformer 融合它们，PackFormer 捕获了单模态方法本质上无法获取的模态内时间模式和模态间依赖关系。语言引导的对齐模块将融合传感器

CRediT 作者贡献声明

周倩瑜：概念构思、数据整理、形式分析、调查、方法论、验证、可视化、撰写初稿。张阳：形式分析、调查、验证、撰写—审阅与编辑。Farhad Imani：形式分析、调查、方法论、资源、验证、撰写—审阅与编辑、资金获取。唐炯：概念构思、形式分析、资金获取、方法论、项目管理、资源、监督、撰写—

利益冲突声明

作者声明他们没有任何已知的竞争性财务利益或个人关系可能影响本文中报告的工作。

致谢

本研究部分得到国家科学基金会资助，拨款号2434519。

周倩瑜|张阳|Farhad Imani|唐炯