《Image and Vision Computing》：MVG-Net: Robust RGB-D 6D pose estimation via multi-kernel visual attention and geometry-aware fusion
编辑推荐：
摘要在非结构化环境中，鲁棒的 6D 物体姿态估计仍然具有挑战性，这是因为 RGB 外观不可靠且深度几何不完整，这往往导致多模态表示不一致。为解决这一问题，我们提出了多核视觉与几何网络 (MVG-Net)，这是一种端到端的 RGB-D 框架，能够联合优化模态特定的表示学习和跨模
摘要
在非结构化环境中，鲁棒的 6D 物体姿态估计仍然具有挑战性，这是因为 RGB 外观不可靠且深度几何不完整，这往往导致多模态表示不一致。为解决这一问题，我们提出了多核视觉与几何网络 (MVG-Net)，这是一种端到端的 RGB-D 框架，能够联合优化模态特定的表示学习和跨模态特征交互。MVG-Net 引入了视觉细化分支、几何感知点特征学习分支以及自适应跨模态融合策略。具体来说，多核通道注意力 (MKCA) 模块通过整合多尺度特征细化和逐通道特征校准来增强 RGB 表示。几何感知双注意力网络 (GADA-Net) 通过自适应邻域建模和几何感知特征增强来改善几何表示。此外，双流门控跨模态融合 (DGCF) 模块通过自适应模态特定的校准和全局上下文建模，实现了 RGB 与点云特征之间的有效交互。在 LineMOD、Occlusion-LineMOD 和 YCB-Video 数据集上的广泛实验表明，MVG-Net 在无需迭代细化的情况下实现了具有竞争力的姿态估计性能，同时保持了单阶段推理。
引言
在增强现实 (AR) [1], [2], [3]、机器人抓取 [4], [5] 和自动驾驶 [6], [7], [8] 等应用中，6D 物体姿态估计——预测物体的 3D 旋转和平移——被视为环境理解和智能交互的核心技术。准确的姿态信息为机器人操作、精密装配和复杂环境中的自主决策提供了必要的几何约束。因此，开发在真实条件下同时实现高精度和鲁棒性的姿态估计模型仍然是一个重要的研究目标。
尽管 RGB-D 传感器的普及促进了纹理和几何特征的联合利用，但在真实场景中的鲁棒姿态估计仍然具有挑战性。首先，视觉退化现象普遍存在：RGB 分支提取判别性外观线索受到弱纹理、反射表面和光照变化的阻碍，而遮挡进一步加剧了特征的不稳定性。其次，观察到几何损伤：深度测量中的局部几何结构受到遮挡、缺失值和传感器噪声的影响，导致点云分布稀疏或失真。因此，这些特定的模态退化引入了语义外观线索与几何信息之间的不一致，限制了现有 RGB-D 姿态估计方法在杂乱和高噪声环境中的鲁棒性。
RGB-D 特征融合已成为克服单模态方法局限性的主流方法。然而，有效的语义 - 几何交互仍然困难，因为 RGB 图像和点云在表示上存在显著差异：图像组织在规则网格上，而点云由无序且稀疏的点集组成。现有的 RGB-D 融合框架，如 DenseFusion [9]，采用像素级特征融合和迭代姿态细化。随后的方法通过关键点投票和双向特征交互进一步增强了语义和几何表示 [10], [11]。最近，基于注意力的方法如 TPSFusion [12] 探索了多层次跨模态交互以提高特征互补性。尽管取得了这些进展，但有效利用视觉语义和几何结构之间的互补关系仍然具有挑战性，特别是当任一模态严重退化时。此外，传统的点云编码器主要关注置换不变表示学习，因此可能不足以建模密集对应估计所需的显式局部拓扑。因此，许多现有方法依赖于迭代细化 [13]，这增加了计算成本并降低了推理效率。
为解决这些局限性，我们提出了多核视觉与几何网络 (MVG-Net)，这是一个统一的 RGB-D 框架，通过协调模态特定的表示学习和自适应跨模态交互，无需迭代细化即可实现准确的 6D 物体姿态估计。
对于 RGB 分支，我们设计了一个多核通道注意力 (MKCA) 模块，以在纹理和光照变化下增强视觉表示。MKCA 通过建模多尺度上下文信息和通道响应来执行自适应语义特征细化。
对于点云分支，我们开发了一个 GADA-Net 模块，该模块结合了几何感知邻域聚合和基于注意力的增强，以建模局部和上下文几何信息。通过将空洞邻域聚合与基于注意力的特征增强相结合，GADA-Net 加强了局部几何结构和更广泛上下文依赖的建模。
对于跨模态交互，我们引入了一个双流门控跨模态融合 (DGCF) 模块，以自适应地集成 RGB 和点云特征。DGCF 构建了一个共享的多模态上下文，并执行模态特定的门控校准，从而实现比直接特征拼接更有效的语义 - 几何交互。
总之，本工作的主要贡献如下：
- •
我们提出了 MVG-Net，一个统一的 RGB-D 姿态估计框架，无需迭代细化即可联合优化视觉细化、几何表示学习和跨模态特征交互。
- •
我们为 RGB 语义细化设计了 MKCA，通过协调通道重校准、多尺度聚合和外观变化下的特征校准。
- •
我们开发了 GADA-Net，通过几何感知邻域聚合和基于注意力的上下文建模来增强点云几何表示。
- •
我们引入了 DGCF，通过共享上下文构建和模态特定的门控校准，实现自适应的 RGB-D 特征交互。
章节摘要
基于 RGB 数据的姿态估计
基于单目 RGB 的方法通常分为两种主要范式：直接回归和基于关键点的方法。在早期的整体工作中，如 PoseCNN [14]，卷积神经网络 (CNNs) 被用于直接回归 6D 姿态参数。 however，由于旋转空间的内在非线性，这些方法往往难以实现高精度。随后，代表性基于关键点的方法显著提高了性能，例如
方法
我们提出了一种端到端的 RGB-D 姿态估计框架，如图 1 所示。该框架通过三个协调组件增强语义 - 几何表示学习：改进的视觉特征提取、几何感知点云建模和跨模态特征交互。通过联合利用外观语义和几何结构，我们的方法无需额外的迭代细化即可实现可靠的姿态估计。
数据集
我们在三个公认的基准数据集上评估了所提出的方法：LineMOD [37]、遮挡-LineMOD (LM-O) [38] 和 YCB-Video [14]。
LineMOD 数据集。 被视为 6D 姿态估计领域的标准基准，该数据集包含 13 个低纹理物体。提供了在杂乱背景和不同光照下记录的多视图视频序列，并伴有准确的 6D 姿态和实例掩码标注。我们采用了与 中相同的训练和测试分割协议
讨论与局限性
MVG-Net 通过跨模态表示学习利用 RGB 语义信息和点云几何的互补特性。所提出的框架通过集成模态特定的特征学习和语义 - 几何交互，提高了姿态估计的鲁棒性。
特别是，DGCF 结合了基于卷积的局部特征提取和基于 Transformer 的全局依赖建模，实现了 RGB 语义特征和点云 之间的互补交互
结论
在本文中，我们提出了 MVG-Net，一个用于 RGB-D 6D 物体姿态估计的语义 - 几何协作框架。所提出的框架通过协调模态特定的特征学习和跨模态融合，解决了视觉判别力不足、几何表示不完整以及 RGB-D 特征交互弱的局限性。具体来说，MKCA 通过多尺度通道细化改善了外观变化下的 RGB 表示，GADA-Net 增强了几何
CRediT 作者贡献声明
Wenjun Zhu: 写作 – 回顾与编辑，资源，项目管理，资金获取，概念化。 Hongsheng Han: 写作 – 初稿，可视化，软件，方法论，形式分析，数据整理。 Peng Shan: 写作 – 回顾与编辑，软件，方法论，调查。 Yang Yi: 验证，监督，概念化。 Mengyi Zhang: 调查，数据整理。 Yimin Mu: 写作 – 回顾与编辑，验证。
竞争利益声明
作者声明，他们没有已知的竞争财务利益或个人关系，这些利益或关系可能会被认为影响了本文报道的工作。
致谢
这项工作得到了中国 江苏省重点科技计划项目 (Grant BG2024008) 的部分支持，以及中国 江苏省省市联合科技基金 (Grant BK20243018) 的部分支持。
Wenjun Zhu|Hongsheng Han|Peng Shan|Yang Yi|Mengyi Zhang|Yimin Mu
电气与控制工程学院，南京工业大学，南京，211816，中国
