面向交互式手-物体姿态估计的关节感知对比学习

《Displays》：Joint-aware contrastive learning for interactive hand-object pose estimation

　　

• •
  我们提出结合可见与不可见上下文来解决遮挡问题。
• •
  通过对比学习处理可见关键点，以实现联合感知。
• •
  提出利用遮挡区域特征进行特征融合，实现相互补充。
• •
  大量实验表明，我们的方法更具优势，尤其是在存在遮挡的场景中。

引言

近年来，随着虚拟现实[1]、[2]、游戏开发[3]、[4]、机器人操作[5]、[6]以及机器人辅助手术[7]、[8]、[9]等应用领域的需求不断增加，交互式手部与物体姿态估计已成为一个热门研究课题。

手部关节作为多自由度运动枢纽，是实现精确姿态调节和复杂操作任务的关键解剖结构。因此，准确感知关节的空间位置与旋转状态能够提升手部姿态重建的精度与性能。然而，复杂的双手与物体交互往往会导致严重遮挡，使得某些关节在单张图像中不可见。为解决这一问题，例如[10]采用Transformer模型来建模手部与物体关键点之间的关联，[11]则提出在特征提取过程中避免手部与物体之间的竞争，从而学习出协调的特征。尽管已有诸多研究致力于此领域，但如何有效利用图像中与手部-物体交互相关的可见与遮挡上下文信息仍显不足。本文旨在通过利用图像中的可见关节信息，挖掘并融合遮挡区域中的姿态相关上下文信息，从而改善从单张RGB图像中恢复手部姿态的性能。

由于只有图像中的可见信息才能提供手部与物体的准确形状及交互信息，因此我们提取可见手部关节及物体的中心点和关键点特征，并引入对比学习机制来实现类别间的可分性及类别内的紧凑性。具体而言，我们会将手部的中心特征与其21个关键点（手部关节）特征拉近，同时将物体的中心特征与其20个关键点特征拉近，而在潜在空间中则使手部特征与物体特征保持距离（如图1所示）。

由于遮挡区域中手部与物体的姿态高度相关，它们在图像中的交互与表现形式可以为彼此提供有价值的上下文信息。考虑到手部（灵活且非刚性）与物体（相对刚性）的不同特性，我们设计了两种不同的特征融合模块——手部融合模块（HF）与物体融合模块（OF），通过充分利用它们在图像中隐含的交互上下文，实现双向信息的互补。具体来说，HF模块会动态选择并整合通道与空间信息，以增强手部特征的表现；而OF模块则通过双分支结构高效融合局部与全局特征，进而提升物体特征的表现。

在基准数据集上的实验表明，我们的方法优于现有先进技术，尤其在涉及复杂交互和严重遮挡的场景中表现更佳。主要贡献如下。

• •
  我们提出了一种新颖的双分支架构，该架构同时利用手部-物体交互中的可见与遮挡上下文信息，从而提升从单张RGB图像中重建手部姿态的性能。
• •
  我们提出了一种对比学习方案，利用可见关键点的可靠信息，通过将手部关节特征向手部中心特征靠拢，同时将其与物体特征在潜在空间中分离，从而实现关节感知。
• •
  我们设计了两种特征融合模块——用于手部的手部融合模块（HF）与用于物体的物体融合模块（OF），通过相互互补机制自适应地挖掘并融合遮挡区域中的上下文信息，从而提升特征表现。

章节摘要

相关工作

3D手部-物体姿态估计目前用于该任务的方法可分为两类：基于优化的方法与基于学习的方法。前者通过聚焦手部与物体之间的接触面，并遵循物理约束[12]、[13]、[14]，迭代优化姿态。相比之下，后者近年来更为流行，通常借助基于学习的模型来生成用于建模的判别性特征，然后再使用参数化的手部模型。

概述

图2展示了所提方法的整体架构。该模型以单张RGB图像作为输入。首先，我们基于ResNet-50网络构建了一个用于特征提取的提取器。该提取器能够在中间层（第3阶段和第4阶段）同时处理作为前景的手部与物体，同时在浅层与上层共享参数。这样的设计旨在在保持较低参数总量的同时，减少两者之间的竞争。

数据集与评估指标

HO3D [25]是一种广泛使用的3D手部-物体数据集，包含10名受试者与10种物体进行各种交互动作的数据。该数据集为训练提供了55个序列共66,034个样本，为测试提供了13个序列共11,524个样本。

Dex-YCB [26]是一个大规模的3D手部-物体数据集，包含1000个序列，展示10名受试者操作20种不同物体，这些物体是从8个不同视角拍摄的。在我们的实验中，我们使用默认的“S0”训练/测试划分方式。

结论

准确的关节识别对于从单张图像中实现可靠的3D姿态估计至关重要。为应对这一挑战，我们提出了一种简单而有效的双分支架构，该架构能够充分利用交互过程中涉及的可见与遮挡上下文信息。通过对比损失函数，我们可以有效地将手部特征聚类在一起，同时使其与物体特征保持距离，反之亦然，从而提升模型对关节空间位置与关系的理解能力。

利益冲突声明

作者声明，他们不存在任何可能影响本文所述工作的已知财务利益或个人关系。

梁盛磊|李娜|崔佳|齐萌