利用法向量图像和自适应多模态融合技术增强六维物体姿态估计

《Mechatronics》：6D object pose estimation enhanced with normal vector images and adaptive multimodal fusion

6D物体姿态估计通过融合RGB、点云、掩膜及法线向量数据，结合内模态与外模态自适应加权模块提升几何特征提取能力，在LineMOD和YCB-Video数据集上验证显著优于现有方法。

　　

Xifan Yao | Zhenhong Jiang | Tingbo Xie | Junting Meng

福建理工大学智能制造与未来技术学院，福州，中国

摘要

精确的6D物体姿态估计对于机器人抓取、增强现实和自动驾驶至关重要。现有方法通常仅依赖于RGB或深度数据，这限制了它们充分利用可用信息的能力。我们提出了一种改进的方法，通过加权多模态特征融合整合了RGB、点云、掩码和法向量数据。通过引入法向量图像，我们的方法从深度数据中捕获了更丰富的几何细节。模内和模间特征加权模块对多模态特征进行自适应加权与融合，显著提升了性能。在LineMOD和YCB-Video数据集上的评估证实，我们的方法优于现有最先进技术，显示出在现实世界应用中的强大潜力。

引言

精确的6D物体姿态估计对于机器人操控、增强现实和自主系统至关重要[1]。尽管深度学习在姿态估计方面取得了进展，但仅依赖RGB或深度数据的方法往往未能充分利用可用信息。RGB-D方法虽然提高了性能，但在有效融合多模态特征方面面临挑战[2,3]。

我们提出了一种改进的RGB-D方法，通过加权多模态融合整合了RGB、点云、掩码和法向量数据。通过引入法向量图像，我们从深度数据中捕获了更丰富的几何细节。两个新颖的模块：模内和模间特征加权模块（IntraMFWM & InterMFWM）对特征进行自适应加权与融合，显著提升了性能。我们的主要贡献如下：

(1)

引入法向量图像以增强几何特征提取。

(2)

模内和模间特征加权模块（IntraMFWM & InterMFWM）用于多模态特征的自适应加权与融合。

(3)

在基准数据集上表现优异。

章节摘录

从RGB数据估计6D姿态

基于RGB的方法分为直接方法和间接方法。间接方法通过关键点[4]或密集映射[5]建立2D-3D对应关系，并使用PnP[6]求解姿态。它们能够很好地处理遮挡问题，但在处理无纹理物体时可能会遇到困难。直接方法[[7], [8], [9]]使用CNN直接回归姿态，对无纹理物体具有鲁棒性，但在处理旋转空间非线性时面临挑战。例如，SSD-6D[8]采用视图分类来避免

概述

我们的网络估计目标物体的6D姿态（一个旋转矩阵$R\in SO\left(3\right)anatr\mathrm{an}\mathrm{al}onv\mathrm{ec}\mathrm{ot}rt\in R^3)$

从RGB数据估计6D姿态

基于RGB的方法分为直接方法和间接方法。间接方法通过关键点[4]或密集映射[5]建立2D-3D对应关系，并使用PnP[6]求解姿态。它们能够很好地处理遮挡问题，但在处理无纹理物体时可能会遇到困难。直接方法[[7], [8], [9]]使用CNN直接回归姿态，对无纹理物体具有鲁棒性，但在处理旋转空间非线性时面临挑战。例如，SSD-6D[8]采用视图分类来避免

数据集

我们在两个标准的6D姿态估计基准数据集上评估了我们的方法：LineMOD[21]和YCB-Video[9]数据集。

LineMOD包含13个物体的13个RGB-D视频（15,783帧），这些视频具有无纹理表面、杂乱环境和光照变化等挑战。YCB-Video数据集包括来自92个室内场景的RGB-D视频，其中包含21个物体，并提供了6D姿态和掩码注释。

对于这两个数据集，我们遵循了先前研究中使用的标准训练和测试划分[17,8,15,18,3,9]。

评估指标

结论

本文提出了一种针对单张RGB-D图像的新的6D姿态估计网络。该方法使用法向量图像来增强几何特征提取。模内和模间加权模块自适应地融合多模态输入并聚合上下文信息。在LineMOD和YCB-Video数据集上的评估表明，我们的方法优于大多数现有方法，并且对深度噪声和光照变化具有鲁棒性。

虽然最近的研究范式已经转向

CRediT作者贡献声明

Xifan Yao：撰写——审稿与编辑、监督、资源管理、项目管理、方法论、资金获取、正式分析。Zhenhong Jiang：撰写——初稿撰写、验证、软件开发、调查、数据管理、概念构思。Tingbo Xie：验证、软件开发。Junting Meng：软件开发、数据管理。