引言
物体姿态估计是机器人感知的重要环节,使制造业和服务机器人等领域得以实现相关应用Huang, Zeng, Cheng, & Yang (2023); Liu et al. (2024); Wen, Lian, Bekris, & Schaal (2022),并且构成智能系统所需感知与推理能力的重要组成部分Akhtar et al. (2025)。在喷漆、箱式抓取和装配等工业任务中,精确的姿态数据对于无碰撞运动规划和高精度执行至关重要。在服务机器人中,可靠的姿态估计支持操作和人与机器人交互。在机器人之外,6D 姿态估计也是增强现实和自动驾驶的基础,后者要求在杂乱、遮挡和光照变化的条件下实现一致的物体定位。因此,精确且高效的 6D 姿态估计对于部署在真实环境中的智能机器人系统而言至关重要。
实例级 6D 姿态估计已被广泛研究 methodsFeng, Xu, Liu, Liu, & Wei (2023); Labbé et al. (2022); Wu & Greenspan (2024); Wu, Zand, Etemad, & Greenspan (2022b); Zhang et al. (2024); Zhou, Chen, Xu, Dou, & Qin (2023)。这些方法通常需要高质量的 CAD 模型作为目标参考,并通过基于对应的配准、关键点定位或直接回归等方式将观测到的 RGB 或 RGB-D 数据与模型对齐来估计姿态。当可靠的 CAD 模型可用时,实例级方法能提供最优性能,并且在严重遮挡条件下仍保持鲁棒Nguyen, Groueix, Salzmann, & Lepetit (2024)。然而,对 CAD 模型的依赖限制了其部署广度:每一个新物体都需要采集或建模 3D 几何数据,且支持的实例数量有限,不适合开放世界或长期机器人操作场景。
为降低这种依赖,类别级姿态估计Chen et al. (2024); Lin, Wei, Zhang, & Jia (2023); Yu, Zhai, Guan, & Xia (2023); Yu, Zhai, & Xia (2024); Zheng et al. (2023); Zou, Huang, Gu, & Wang (2024)已成为一个关键研究方向,它能够实现类别内未见实例的泛化,并更好地支持开放世界应用。类别级方法不再将每个观测对齐到特定的 CAD 模型,而是利用类别内共享的几何结构来预测新物体的姿态和尺寸。然而,由于类内形状变化大、部分可观测性以及合成数据与真实数据之间的域偏移,在特定类别内估计目标物体的姿态要困难得多。
为应对这些挑战,基于先验的方法Chen & Dou (2021); Lin, Wei, Ding, & Jia (2022); Tian, Ang, & Lee (2020); Yu et al. (2023, 2024); Yu, Zhai, Yin, & Xia (2025b); Zou et al. (2024)引入了类别级形状先验,如规范点集、网格或可学习嵌入,并将其适配到每个观测实例。通过提供额外的几何线索,这些先验有助于网络推理被遮挡或缺失的区域,并提高对稀疏或有噪点云的鲁棒性。例如,PENetYu et al. (2025b)将类别级信息编码为可学习先验,并使用基于 Transformer 的形变和对齐模块将其适配到观测物体,在标准基准和真实机器人抓取任务上取得了优异性能。类似地,基于形状形变的方法如 CatDeformYu et al. (2023)通过学习形变规范形状先验使其对齐观测实例,同时弥合合成训练数据与真实场景之间的域差距。然而,先验往往只能粗略近似类别内多样的形状,这可能导致次优对齐和残余几何偏差。
无先验方法有效地解决了上述缺陷,简化了网络结构,提高了计算效率。图 1 展示了无先验方法流水线与其他方法流水线的区别。一种代表性策略是将输入观测变换到规范坐标系中,如归一化物体坐标空间(NOCS)Wang et al. (2019)。在此基础上,研究人员开发了仅使用点云Chen et al. (2021); Di et al. (2022); Wen, Mitash, Ren, & Bekris (2020); Zheng et al. (2023)或仅使用 RGB-D 信息Lin et al. (2021); Wang, Chen, & Dou (2021b); Yu, Yin, Zhai, & Xia (2025a); Zaccaria et al. (2023)的无先验方法,展现了高计算效率和对未见实例的良好泛化能力。其他工作探索了基于 RGB 的流程,先从单张图像恢复深度或几何信息,然后进行自适应精化以完成姿态估计Yang et al. (2025)。然而,由于缺乏先验知识,其精度低于基于先验的方法,特别是在几何复杂的类别和严重遮挡条件下。
近期的无先验两阶段方法取得了显著精度提升,已与基于先验的方法相当。这促使我们深入研究无先验方法有效的机制。在 Lin et al. (2023)的工作中,使用球面特征图,通过球面 FPN/SPA-SConv 在第一阶段将旋转分解为视点(V-Branch)和面内(I-Branch)分量,同时在第二阶段使用 PointNet++ 分别估计平移和尺寸,实现了高无先验姿态精度。由于 VI-NetLin et al. (2023)依赖于学习的球面特征,而形状多样性显著,特征可能存在歧义。Chen et al., secondpose 提出了 HP-PPF,通过显式编码多尺度形状结构来聚合局部到全局的几何信息,并引入来自 DINOv2 的语义流以提高姿态估计精度。但 SecondposeChen et al. (2024)仅优化第一阶段的特征空间,而忽略了旋转预测与实际实例之间的 3D 空间错位,因此即使是微小的角度误差也可能导致显著的空间差异。
然而,上述两种两阶段架构都存在阶段间协调不足的问题。因此,现有的两阶段估计器主要通过分离的参数空间目标来分别监督旋转、平移和尺寸。这些目标并未显式评估每个预测分量所带来的空间后果。具体来说,即使较小的参数误差也可能在将预测姿态应用于观测物体后产生显著的几何错位。为解决两阶段无先验类别级 6D 物体姿态估计中的误差积累和几何不一致问题,我们提出了 SGA-Pose,一种基于强 VI-Net 基线的形状引导姿态学习框架。SGA-Pose 专注于在训练过程中引入显式的 3D 空间一致性。具体而言,在旋转精化和平移/尺寸估计中分别引入针对性的几何约束,使预测姿态不仅通过参数级回归误差进行优化,还通过与底层 3D 物体几何的一致性来优化。
尽管 3DSA 和 OGA 采用了不同的几何构造,但它们遵循与两阶段姿态分解一致的通用设计原则。不是对完整姿态施加单一通用的几何正则化,而是每个模块针对其对应阶段的几何误差特征进行优化。具体而言,3DSA 隔离了第一阶段中由旋转引起的空间错位,而 OGA 引入方向感知的正交几何来监督第二阶段的平移和尺寸估计。两者的结合因此提供了与两阶段估计过程相匹配的互补几何监督。在 REAL275 和 CAMERA25 数据集上的实验结果表明,SGA-Pose 相比基线取得了稳定的性能提升,验证了所提几何监督的有效性。
综上所述,我们的主要贡献总结如下。
(1)我们为两阶段无先验类别级 6D 物体姿态估计提出了形状引导的几何学习策略。通过在旋转精化和平移/尺寸估计中引入显式的 3D 空间约束,所提方法缓解了误差传播和跨阶段不一致性,同时保持了高效的推理过程。
(2)我们提出了 3DSA,一种基于变换后 3D 物体表示之间体积重叠的旋转精化目标。与传统的参数级旋转损失不同,3DSA 直接正则化预测旋转的几何效果,从而在无需引入测试时变换泄漏的情况下提供几何感知的旋转监督。
(3)我们提出了一种几何约束,预测两个正交的包围盒平面法向量并强制其角度一致性。该约束将旋转与包围盒级几何耦合,稳定了平移和尺寸估计,减少了两个阶段之间的错位。
(4)我们在 REAL275 和 CAMERA25 数据集上进行了广泛的实验,包括消融研究和对比评估。结果表明,3DSA 和 OGA 都对最终性能有所贡献,且它们的组合在标准评估指标下一致提高了类别级 6D 物体姿态估计精度。
为提供清晰的文章路线,其余各节的安排如下。第 2 节回顾了实例级和类别级物体姿态估计的相关工作。第 3 节介绍了所提方法,包括流水线概述、3D 空间感知模块、正交几何对齐模块以及整体训练目标。第 4 节展示了实验设置、与现有方法的对比以及消融研究。最后,第 5 节对论文进行总结。