《JOURNAL OF MANUFACTURING SYSTEMS》：A compositional dual-hand action recognition method for LLM-driven assembly assistance
编辑推荐：
提出了一种组合式双手动作识别方法，该方法将每个手的动作表示为动作动词、操作对象、目标对象和工具的结构化元组。研究人员提出了一个组合式双手动作识别模型CoDuAR，该模型通过共享视频编码器、手特定适配器和手特定组合式解码器，在单次前向传播中预测双手的动作元组。在
提出了一种组合式双手动作识别方法，该方法将每个手的动作表示为动作动词、操作对象、目标对象和工具的结构化元组。研究人员提出了一个组合式双手动作识别模型CoDuAR，该模型通过共享视频编码器、手特定适配器和手特定组合式解码器，在单次前向传播中预测双手的动作元组。在HA-ViD基准测试上，CoDuAR在性能上超越了需要为每只手单独建模的现有最优（SOTA）识别器，同时参数减少了23%，双手推理吞吐量约为最强参数可比基线VideoMAE V2的两倍。研究人员证明，这种组合式动作表示可以作为动作感知与基于语言推理之间的符号接口，将实时监控与基于大语言模型（LLM）的辅助解耦。基于此，研究人员设计了一个双过程辅助系统Assembly Copilot，该系统将快速、确定的System 1（由CoDuAR驱动，用于实时任务跟踪、错误检测和下一步推荐）与较慢、审慎的System 2（由LLM驱动，用于按需提供上下文感知指导和事后回顾）相结合。
**论文解读文章**
**研究背景、问题与动机**
在面向高混合、小批量、个性化制造的背景下，产品生命周期缩短，变体增多，迫使装配线持续重构。操作员必须不断学习、切换并记忆不同的装配流程、参数、工具使用和质量要求，这带来了巨大的认知负担，不仅增加了装配错误、返工和质量变异，也损害了操作员的福祉。传统的支持方式，如纸质手册和静态数字作业指导，属于开环系统，缺乏实时感知能力，无法根据操作员当前状态主动提供适应性帮助。因此，有效的支持需要闭环系统，能够实时感知操作员动作并提供上下文感知的辅助。
闭环系统的起点是感知。基于视觉的动作识别已广泛应用于装配监控，但现有方法通常采用整体式（holistic）分类，将每个动作视为固定标签集中的一个类别。然而，装配动作本质上是组合式的（compositional），例如“使用扳手将螺母拧到螺栓上”包含动作动词、操作对象、目标对象和工具。将这种结构扁平化为整体标签会组合式地膨胀标签空间，并丢失元素级语义。此外，装配是双手的，两只手可能执行并行操作，传统的单流方法无法高效处理。因此，需要一种能够实时、单次前向传播预测双手元素结构动作的模型。
闭环的另一半是辅助。传统的辅助系统提供预设指令，但在频繁重构下，操作员的需求是状态依赖和开放式的，静态指令无法满足。大语言模型（LLM）提供了灵活性和推理能力，但直接将LLM置于感知-动作路径上存在延迟和幻觉问题。因此，有效的辅助需要同时具备实时确定性监控的可靠性和交互式、上下文感知指导的灵活性，并需要在这两者之间建立原则性的桥梁。
**研究内容与结论**
为解决上述问题，研究人员提出了一种组合式动作表示，将每只手的动作表达为动作动词、操作对象、目标对象和工具的结构化元组。为实现这种表示，研究人员提出了一个组合式双手动作识别模型CoDuAR，它通过共享视频编码器、手特定适配器和手特定组合式解码器，在单次前向传播中同时预测双手的动作元组。该设计借鉴了认知神经科学：共享编码器反映双手动作理解的共享神经资源，手特定解码器则模拟了动作理解的预测编码过程。为展示这种表示如何连接感知与辅助，研究人员构建了一个LLM驱动的辅助系统Assembly Copilot，其架构模拟双过程认知（dual-process cognition）：一个由CoDuAR驱动的快速、确定的System 1负责实时任务跟踪，一个由LLM驱动的较慢、审慎的System 2负责按需提供指导和事后回顾。
该研究发表在《JOURNAL OF MANUFACTURING SYSTEMS》上。研究的主要结论是：组合式动作表示不仅可以作为有效的识别形式，还可以作为视频感知与程序性辅助之间的有用接口。CoDuAR在HA-ViD基准测试上取得了优于SOTA的性能，而Assembly Copilot系统通过组合式预测实现了实时任务监控、元素级错误检测和灵活的LLM辅助，验证了双过程架构的有效性。
**主要关键技术方法**
研究人员主要采用了以下关键方法：1. **组合式动作表示**：将双手动作分解为动词、操作对象、目标对象和工具的结构化元组，作为感知与推理之间的符号接口。2. **CoDuAR模型架构**：采用共享视频编码器（基于VideoMAE V2预训练的ViT-B）提取通用场景和运动上下文，结合手特定瓶颈适配器注入手条件偏置，并使用手特定组合式Transformer解码器，通过可学习元素查询和自注意力机制建模元素间依赖关系。3. **组合式精炼（Combinatorial Refinement）**：利用有效动作集合的稀疏性，通过约束搜索将独立元素预测校正为语义上允许的组合。4. **Assembly Copilot双过程系统**：集成CoDuAR作为实时感知前端，构建基于任务优先图（TPG）的确定性System 1进行任务跟踪和错误检测，以及基于LLM（DeepSeek-V3）和工具调用（ReAct框架）的审慎System 2进行按需指导和事后回顾。样本队列来源为HA-ViD数据集和自定义的齿轮板装配数据集。
**研究结果**
**4.1. 组合式双手动作识别评估 (Evaluation of compositional dual-hand action recognition)**
* **4.1.1. 数据集 (Dataset):** 使用HA-ViD数据集，包含18,831个视频片段，75个动作类别，每个动作按四元素模式标注，有效动作集包含75个元组。
* **4.1.2. 实现细节 (Implementation details):** 共享编码器采用ViT-B，初始化自VideoMAE V2权重。训练使用AdamW优化器，余弦退火学习率调度，共50个epoch。
* **4.1.3. 与现有最优动作识别方法的比较 (Comparison with state-of-the-art action recognition methods):** CoDuAR在HA-ViD数据集上，左手和右手的Top-1准确率分别达到62.6%和62.8%，优于所有基线方法，包括需要双倍参数量的双实例模型。与最强参数可比基线VideoMAE V2相比，CoDuAR参数减少23%，性能更优。这表明共享编码器与手特定组合式解码器的设计是有效的。
* **4.1.4. 消融研究 (Ablation study):** 通过逐步移除各个组件验证其贡献。移除手特定适配器导致准确率下降；移除组合式解码器导致右手（较复杂的手）性能急剧下降（从63.1%降至36.8%），证明元素级分解和组合式解码对于处理不对称的手部复杂性至关重要；移除元素自注意力机制导致轻微性能下降；移除组合式精炼机制导致每手准确率下降3.4个百分点。
* **4.1.5. 组合式精炼的效果 (Effect of combinatorial refinement):** 精炼机制通过将预测约束到有效动作集，显著提升了Top-1和Top-5准确率。当候选数k=5时，性能饱和，且精炼过程耗时极短（<1ms），不影响实时性。
* **4.1.6. 元素级分析 (Per-element analysis):** 工具识别最容易（>93%），目标对象识别最困难（约70%）。精炼机制对元素级准确率的影响不对称：提升左手元素准确率，但轻微降低右手元素准确率，因为其优先修正整体有效元组，可能覆盖部分正确元素。模型元素级预测准确率差异大，表明其学习了元素级表示而非记忆整体元组。
* **4.1.7. 双手识别效率分析 (Analysis of dual-hand recognition efficiency):** CoDuAR的延迟为33.0 ms/片段，吞吐量为30.3片段/秒，分别是VideoMAE V2的两倍和UniFormer V2的6.3倍，验证了单次前向传播设计的高效性。
**4.2. Assembly Copilot系统评估 (Evaluation of assembly copilot system)**
* **4.2.1. 数据集 (Dataset):** 使用自定义的齿轮板装配数据集，包含12个视频，其中2个包含操作错误，用于验证系统功能。采用滑动窗口策略生成训练和测试样本。
* **4.2.2. 实验设置 (Experimental setup):** CoDuAR从HA-ViD权重微调。System 1的TPG包含18个任务和17条优先关系。System 2使用DeepSeek-V3作为LLM后端。
* **4.2.3. 自定义数据集上的动作识别 (Action recognition on the custom dataset):** 采用HA-ViD预训练和多尺度滑动窗口数据增强，CoDuAR在自定义数据集上达到97.1%（左手）和94.6%（右手）的Top-1准确率。多尺度增强是主要提升因素。
* **4.2.4. System 1：实时任务监控 (System 1: Real-time task monitoring):** 任务进度跟踪在最小停留时间阈值Lmin=9时达到最佳，编辑分数97.4，F1@50为97.5。系统在测试视频中仅遗漏一个短暂的空闲间隔，并出现一个短暂的过渡性误报。下一步任务推荐准确率为100%。系统成功检测到所有6个预置的操作错误，并能提供元素级的错误诊断，例如“操作和工具正确，但使用了错误的对象”。System 1的端到端延迟为33.8 ms，远低于267 ms的片段到达间隔，满足了实时性要求。
* **4.2.5. System 2：LLM驱动的辅助智能体评估 (System 2: LLM-powered advisory agent evaluation):** 在核心能力方面，当前任务、特定任务和下一步任务查询的成功率分别为17/20、20/20和20/20，任务识别准确率为20/20。失败主要源于意图歧义（如“我现在该做什么？”）。在边界探测方面，智能体能正确处理非任务查询，但在多轮指代查询中表现不佳（1/5成功），主要由于缺乏对话历史记忆。在复合查询中表现良好（4/5成功）。事后回顾功能为所有四个会话生成了正确的性能回顾报告。评估表明，在设计的查询模式内，智能体能够可靠地提供接地气的多模态指导。
* **4.2.6. 集成系统与操作员界面 (Integrated system and operator interface):** 图形用户界面包含任务监控面板和LLM驱动的咨询面板，直观地展示了双过程架构。
**4.3. 与端到端视觉语言模型（VLM）的比较 (Comparison with end-to-end vision-language models)**
* 与微调后的Qwen3-VL（8B和4B参数）相比，CoDuAR在识别准确率（97.1/94.6 vs. 最高60.3/48.6）和推理延迟（33 ms vs. 1.6-3.7 s）上均具有显著优势。VLM的延迟远超实时预算。结论表明，在当前的部署场景下，端到端VLM无法替代双过程架构中的感知角色，组合式表示作为符号接口的设计是合理的。
**讨论与结论**
**讨论部分总结：**
研究结果表明，组合式双手识别不仅是一种有效的识别形式，也是视频感知与程序性辅助之间的有用接口。CoDuAR实现了优越的准确率和效率，其组合式输出为Assembly Copilot提供了细粒度的符号证据用于任务跟踪、元素级错误检测和智能辅助。更广泛的方法论启示是，将大型模型保持在紧凑的符号表示之后，由轻量级确定性计算维护实时状态，这种分工协作比将高容量但易幻觉的模型直接置于感知-动作路径上更为可靠。研究存在局限性，包括评估范围限于单一装配领域，系统部署需要大量手动工程工作，智能体在多轮对话和意图消歧方面存在限制，以及交互方式局限于屏幕。未来工作将致力于扩展评估、自动化知识工程、增强智能体能力以及闭环交互与辅助。
**研究结论部分翻译：**
面向以人为本的制造，人工装配越来越需要能够跟上操作员步伐并响应其任务特定需求的上下文指导。提供此类指导需要一个能够实时感知操作员动作并灵活提供建议的智能系统。本文论证了组合式动作表示可以连接这两个需求。通过将每只手的装配动作表示为动词、操作对象、目标对象和工具的结构化元组，该表示可由感知模型预测，也可由辅助智能体进行推理，从而充当两者之间的接口。
感知通过提出的CoDuAR模型实现，该模型将动作视为需要解码的结构化语义元组，而非待分类的标签。共享编码器捕获双手共有的场景和运动信息，而手特定的组合式解码器则保持双手语义的独立性。这种设计同时识别双手动作，并产生下游辅助智能体可以推理的组合式预测。在HA-ViD基准测试上，CoDuAR的性能优于需要为每只手单独建模的识别器，同时参数减少了23%，双手机推理吞吐量约为最强参数可比基线VideoMAE V2的两倍。基于CoDuAR，本文设计了一个双过程辅助系统Assembly Copilot，其中组合式预测桥接了快速、确定的System 1和较慢、审慎的System 2。由CoDuAR驱动的System 1将预测映射为符号任务状态，实时跟踪任务进度、推荐下一步任务并标记元素级的程序错误。由LLM驱动的System 2则按需推理该符号状态，回答操作员的查询并生成事后性能回顾。由于LLM推理的是符号状态而非原始视频，它获得了指导操作员的灵活性，同时无需位于延迟关键路径上。一个关于齿轮板装配的概念验证案例研究验证了Assembly Copilot的功能。
更广泛地，这项工作为将基础模型集成到制造业中提出了一个原则。随着这些模型能力的增强，将它们直接置于实时生产流程中具有吸引力。我们的结果指向了相反的方向。可靠性来自于将重型模型保持在紧凑的符号表示之后，而由轻量级确定性计算维护实时状态。我们期望这种分工能够扩展到其他需要可靠性与灵活性并存的以人为本的制造场景中。
