MC-Former：基于手-物体运动耦合的交互感知动作识别

《Neurocomputing》：MC-former: Interaction-aware action recognition via hand-object motion coupling

　　

摘要

从视频中识别日常活动（Activities of Daily Living，ADL）具有挑战性，因为许多动作由人手与被操作物体之间的细微交互所定义。尽管近年来的视频Transformer在动作识别中取得了强劲性能，但它们通常主要依赖外观线索或全局运动模式，这使得难以区分共享相似物体和姿态的细粒度操作动作。多模态方法通过引入姿态或物体信息缓解了这一局限，但这类方法通常在推理时也需要额外模态，从而增加了计算复杂度并限制了实际部署。在本研究中，研究人员提出了MC-Former，一种训练时辅助监督框架，使基于RGB的视频Transformer能够在推理时无需辅助模态的情况下学习交互感知运动表示。该框架引入了运动耦合归纳模块（Motion Coupling Induction Module，MCIM），基于手部轨迹与物体轨迹之间的时间耦合提供结构化监督。在训练期间，基于骨架的手部运动和检测到的物体运动被用于计算表征手-物体交互动态的运动耦合信号，并对Transformer的中间表示进行监督。在推理时，辅助模块被移除，模型仅以RGB输入运行，其部署架构和计算成本与底层RGB骨干网络一致。在NTU RGB+D 60、NTU RGB+D 120和Toyota Smarthome上的结果表明，MC-Former总体上提升了对应的RGB基线性能，其中在Toyota Smarthome和以操作为中心的类别上提升最为显著。针对操作密集型活动的额外诊断分析表明，涉及相似物体和姿态的动作之间的混淆有所减少。因此，本研究的贡献在于提出了一种交互特定的辅助目标及其时间应用方式，而非新的Transformer骨干架构。

**MC-Former：基于手-物体运动耦合的交互感知动作识别——论文解读**

**1. 研究背景与问题**

从视频中理解人类活动是计算机视觉领域的基础问题，在医疗健康监测、辅助机器人、智能监控和人机交互等方面具有广泛应用。特别是，从视频中识别日常活动（Activities of Daily Living，ADL）对于构建支持老龄化人群和独立生活的智能环境至关重要。近年来，基于Transformer的架构如TimeSformer、Video Swin Transformer和MViT等在视频动作识别中展现了强大的长程时空依赖建模能力。然而，ADL识别仍面临严峻挑战：与跑步、跳跃等粗粒度人体动作不同，许多ADL类别由人手与被操作物体之间的细粒度交互所定义。例如，从瓶子喝水、从瓶子倒水和放置瓶子涉及相似物体和相似身体姿态，其主要区别在于手-物体交互的时间动态。大多数现有RGB模型隐式依赖外观线索、物体存在性或全局运动模式，这些线索往往不足以区分以操作为中心的动作——其判别性信号在于物体随时间相对于手的运动方式。多模态方法通过引入骨架姿态、深度信息或物体检测等额外模态来缓解这一局限，但这类方法在推理时也需要这些辅助模态，增加了计算成本，限制了在姿态估计或物体检测不可靠的真实环境中的部署。尽管已有姿态引导表示学习等方法探索仅在训练时使用辅助模态，但这些方法主要建模空间对应关系，而非人-物交互的时间动态。

**2. 研究目标与核心贡献**

针对上述问题，研究人员提出MC-Former，一种训练时交互归纳框架，使RGB视频Transformer在推理时无需辅助模态即可学习交互感知运动表示。其核心组件为运动耦合归纳模块（Motion Coupling Induction Module，MCIM），基于手部轨迹与物体轨迹的时间耦合引入结构化监督。该研究的核心论点在于：识别ADL动作需要显式建模手-物体运动耦合，即手部轨迹与被操作物体轨迹之间的结构化时间关系。当物体被主动操作时，其运动在时间上与手的运动相关联，捕捉这一动态耦合为区分共享相似物体和姿态的细粒度动作提供了强有力线索。该贡献是一种交互特定的辅助目标及其时间应用方式，而非新的Transformer骨干架构。

**3. 关键技术方法**

研究人员提出的方法主要包括以下关键技术：
（1）手-物体轨迹提取：训练期间使用HRNet-W48 COCO WholeBody检测2D腕部轨迹，并使用YOLOv8x和ByteTrack获取物体检测与跟踪结果，通过覆盖率、置信度和手-框距离选择主物体轨迹；（2）运动耦合建模：计算手与物体位移向量间的余弦相似度作为逐帧标量耦合信号，并采用基于距离的门控函数屏蔽非交互帧；（3）运动耦合归纳模块（MCIM）：一个轻量级两层多层感知机（Multilayer Perceptron，MLP），附加于Transformer最后一层的时间令牌上，以掩蔽回归损失预测耦合信号；（4）联合训练目标：结合交叉熵分类损失和掩蔽运动耦合回归损失，其中权重系数控制交互监督强度。推理时MCIM和所有辅助输入被移除，模型仅以RGB输入运行。

**4. 实验结果**

**4.1 与现有方法的比较**

在NTU RGB+D 60上，MC-Former + 3D Poses在跨主体（CS）和跨视角（CV）协议下分别达到96.6%和98.8%；使用估计2D腕部轨迹的标准MC-Former达到93.7%（CS）和97.6%（CV），与强RGB基线性能相当。在NTU RGB+D 120上，MC-Former + 3D Poses达到94.8%（CS）和95.9%（CSet），标准MC-Former达到91.4%（CS）和92.5%（CSet）。在Toyota Smarthome上（该数据集以交互操作为中心），MC-Former + 3D Poses达到73.8%（CS）、56.0%（CV1）和65.3%（CV2），标准MC-Former达到73.5%（CS）、55.8%（CV1）和65.1%（CV2），在所有评估协议中均取得RGB-only方法中的最高值。

**4.2 重复运行与全协议验证**

使用种子17、29和43的三次运行结果显示，MC-Former在七个协议中的六个上具有统计显著的改进（95%配对自助置信区间不包含零），NTU120-CS的置信区间包含零，因此被解释为不确定而非统计可靠。在Toyota-CS的类别级分析中，31个类别中有25个呈现正向变化，每类增益中位数为2.9个百分点。

**4.3 交互中心与细粒度分析**

在Toyota-Smarthome操作密集型子集上，MC-Former相比最强RGB-only方法-ViT在CS、CV1和CV2协议上分别提升+4.9%、+4.1%和+5.3%。在细粒度同物体动作对上，如Drink（Bottle）vs Pour（Bottle）、Cut vs Move Knife、Brush vs Touch Face，MC-Former分别较-ViT提升+8.7%、+7.8%和+7.8%，显著降低了共享物体的相似动作之间的混淆。

**4.4 混淆矩阵分析**

混淆矩阵对比显示，基线模型在涉及相同物体但交互动态不同的动作之间表现出明显混淆，如drink bottle与pour bottle，以及cut bread与move knife。MC-Former显著减少了这些混淆并产生更强的对角线结构，表明运动耦合监督帮助模型捕捉交互特定的运动模式。

**4.5 消融研究**

组件贡献消融实验表明，引入MCIM使全数据集准确率较RGB基线提升+1.6%，距离门控监督带来额外+2.0%的提升，在操作子集上提升达+7.8%。监督强度实验中，权重=1.0取得最佳性能，过大权重导致过正则化。插入深度实验中，晚期层插入（第4阶段）效果最优。骨干泛化实验中，将MCIM应用于TimeSformer-Base和MViTv2-Small分别获得+2.8和+2.3的提升。与匹配的特征幻觉基线相比，MCIM的标量时间耦合目标获得额外+1.4的提升，且推理时不保留幻觉特征流。

**4.6 鲁棒性与计算效率分析**

对训练时辅助信号的鲁棒性分析显示，在腕部噪声、随机缺失检测、连续遮挡和物体轨迹交换等损坏条件下，模型性能出现温和但不可忽略的下降，其中关联错误影响最大，但即使在最严重损坏下仍高于69.9的Video Swin基线。计算效率方面，MC-Former部署阶段与Video Swin骨干完全一致，参数28.2M、FLOPs 88.0G、吞吐量88.0clips/s。MCIM仅增加0.10M训练专属参数、0.4G训练FLOPs/片段和约2.3%的每轮训练时间。

**5. 讨论与结论**

消融与对照实验表明，时间耦合目标比空间距离目标贡献更大，接近门控改进了目标质量，适当损失权重和后期插入提供了最佳验证性能。三个骨干上的增益以及对匹配幻觉基线的优势支持了该目标的有效性和可移植性。鲁棒性和成本分析界定该贡献为一种聚焦的辅助监督策略：其在交互密集型动作上受益最明显，而非全面优越的识别架构。研究人员指出，运动耦合监督的质量依赖训练时轨迹的准确性；当前公式聚焦于单一主导物体，未来可扩展至多物体交互动态建模；所提监督捕获方向运动对齐，但未显式建模力交互或物体状态变化等更复杂的物理关系。

研究结论部分翻译：在本研究中，研究人员引入了MC-Former，一种训练时交互归纳框架，旨在通过显式建模手-物体交互动态来改进基于RGB的视频动作识别。所提出的方法利用源自手部轨迹和物体轨迹的辅助运动信号，在训练期间构建运动耦合监督信号。该信号通过运动耦合归纳模块（MCIM）引导视频Transformer的内部表示，鼓励网络编码交互感知运动模式。所提出框架的一个关键优势是辅助模态仅在训练时需要。在推理时，MCIM分支和所有辅助输入被移除，允许模型仅以RGB视频输入运行，而不增加计算复杂度。NTU RGB+D 60、NTU RGB+D 120和Toyota Smarthome上的结果表明，MC-Former在评估协议中总体上改进了匹配的RGB基线；最明显的增益出现在Toyota-Smarthome上，而NTU120-CS的置信区间包含零，被视为不确定。在操作密集型活动和细粒度同物体动作对上的额外诊断显示，在仅凭物体身份不足以区分的场景中，动作混淆有所降低。空间目标、特征幻觉、骨干迁移、损坏和成本分析界定了该贡献：MC-Former是一种聚焦的辅助监督策略，其在交互密集型动作上的受益最清晰，而非一种全面优越的识别架构。