深度图曲率作为RGB-D物体识别的姿态不变特征

《Signal Processing: Image Communication》：Depth map curvatures as pose-invariant features for RGB-D object recognition

　　

• •
  提出了一种使用主曲率进行深度图着色的新预处理方法。
• •
  证明了二阶几何特征（曲率）比一阶表面法线具有更优越的形状信息保留能力。
• •
  在Washington RGB-D数据集上实现了93.6%的准确率，比现有最佳方法提高了3.1%。
• •
  使用包含多种几何形状和各向异性纹理的合成数据集验证了泛化能力。

引言

深度学习方法在计算机视觉的广泛应用领域中变得越来越重要：从自动驾驶车辆[1]到特定行业的功能，再到农业领域的物体检测与识别[2]。在大多数应用场景中，通常仅使用RGB图像，就能为各种下游任务获得良好的结果。然而，在某些情况下，仅凭颜色信息是不够的，还需要额外的深度信息，这就需要使用RGB-D数据。在这种情况下，深度模态及其应用变得尤为重要。在许多机器人应用中，物体多为近似球形、圆柱形和平面形，如水果、球体、管子、罐头、纸张、桌子等，因此我们开发了一种方法来充分利用物体的几何特性。在这项工作中，我们的研究重点是将物体识别作为物体检测或分割的初步步骤，这些后续工作将分别展开。

尽管最近Vision Transformers（ViT）架构[3]兴起，但最常用的方法仍然是基于卷积神经网络（CNNs）[4]。然而，无论使用哪种方法，在处理RGB-D图像时，都会遇到数据可用性的问题。本文提出的方法采用迁移学习来处理RGB和深度两种模态。虽然CNN在处理彩色图像时被视为主流方法，但当涉及到多模态RGB-D数据时，任务难度会增加，因为“大规模”的数据集（例如ImageNet[5]）仅包含RGB信息。为了解决这个问题，Eitel等人[6]和其他研究者[7]、[8]提出了使用预训练的RGB流的方法。具体来说，在[6]的研究中，使用了两种流，每种模态一个流，并通过精心设计的微调阶段来适应相应的数据分布。这个阶段非常重要，它依赖于范围图像的着色作为预处理步骤。这一过程可以非常简单，如Eitel等人所提出的，使用Jet颜色映射来表示深度值；也可以考虑深度模态提供的几何特性，基于表面法线坐标进行着色，正如Aakerberg等人[9]提出的SurfNorm方法（本文中提到）。后一种方法是前一种方法的扩展，它们都采用了相同的架构，分别处理RGB和深度图像，然后通过融合模块将结果合并。两个流的backbone都在ImageNet上进行了预训练，基于CaffeNet CNN[10]。不过，Aakerberg等人提出使用VGG16[11]作为RGB流的模型。这两种方法都是为物体识别设计的，并使用Washington RGB-D数据集进行了微调和评估。

在本文中，我们提出了一种更进一步的深度值编码方法，通过估计表面的主曲率来实现姿态不变性。为了进行恰当的比较，我们采用了Aakerberg等人提出的架构和训练步骤。在性能评估阶段，我们引入了基于基本形状（球形、立方体、圆柱形）的新超类。这种选择是为了创建一种鲁棒的几何预处理方法，以便在光学信息不足的情况下识别具有复杂纹理和表面变形的物体。

此外，为了在包含更多几何形状的数据集上正确比较两种方法，我们使用Blender[13]创建了一个参数化的合成数据集。该数据集包含9个类别，图像数量与Washington RGB-D大致相同，同时解决了后者类别不平衡的问题。这个合成数据集展示了具有挑战性纹理、表面噪声和全局形状变形的物体。

第一部分介绍了相关的工作，接着是关于基础SurfNorm方法的说明以及我们提出的预处理方法的解释。随后展示了在Washington RGB-D数据集和我们的合成数据集上评估的结果并进行了讨论。

章节片段

相关工作

在RGB物体识别任务中，注意力机制和视觉变换器（ViT）[3]被广泛使用，但最近的研究[14]表明，仅依赖光学信息存在局限性，尤其是在物体密度高和光照条件差的场景中。RGB-D数据对此类问题不那么敏感，因为深度图提供了不受光照条件影响的几何信息。此外，随着RGB-D相机的发展，CNN[4]也被广泛使用

提出的预处理方法

我们的目标是探索并改进深度模态的几何特性在物体识别任务中的应用，通过曲率估计来实现这一目标。主曲率是一阶导数的组合，具有姿态不变性，这一点与原始深度或表面法线不同。在这项工作中，处理流程基于Aakerberg等人提出的方法，该方法利用表面法线来编码深度值。

结果

所有实验均使用PyTorch进行，为了便于比较，Aakerberg等人的表面法线训练实现方案已从原始的Caffe框架转换过来。对于曲率方法，参数设置如下：

• •
  一阶导数运算符，其中：
  ${\sigma }_1=0.3$

•

二阶导数运算符，其中：

${\sigma }_2=5.0$

•

边缘模糊滤波器，其中：

${\sigma }_b=2.5$

•

用于掩码权重的缩放因子，其中：

${\sigma }_m=5$

•

可接受的曲率值范围，其中：

$[k_{\text{最小值}},k_{\text{最大值}}]$

•

讨论

结果表明，与简单的RGB或深度流相比，融合架构具有重要意义。尽管在Washington RGB-D数据集上并没有提高准确率，但引入曲率后增强了基于形状的分类能力。这证明了曲率在需要区分少数类别的任务中的重要性，其中物体的几何形状是重要的信息来源。然而，

结论

关于在Washington RGB-D数据集上进行的物体识别任务，SurfNorm方法的结果已经很令人信服。通过使用主曲率对深度值进行着色，我们也得到了类似的结果，尽管略低。然而，在基于物体整体几何形状对现有类别进行重新分类的形状导向识别任务中，这种方法表现出了更好的效果。

CRediT作者贡献声明

Maxime Morisset：撰写——原始草案、可视化、软件开发、方法论、概念化。Marc Donias：撰写——审核与编辑、可视化、验证、监督、方法论、概念化。Christian Germain：撰写——审核与编辑、验证、监督、项目管理、资金筹措、概念化。

利益冲突声明

作者声明以下可能被视为潜在利益冲突的财务利益/个人关系：本工作是在“Vision 3D Agricole”项目中完成的，该项目得到了法国2030计划（BPI France）的资助。如果还有其他作者，他们声明没有已知的财务利益或个人关系可能影响本文所述的工作。

致谢

本工作是在“Vision 3D Agricole”项目中完成的，该项目得到了法国2030计划（BPI France）的资助。

Maxime Morisset|Marc Donias|Christian Germain