《Neurocomputing》：OctDiffPose: A diffusion framework for category-level 9-DoF object pose estimation with octree-based condition
编辑推荐：
•面向9自由度位姿推断的概率扩散框架。•概率分析与不确定性估计。•基于层次八叉树表示的多模态条件建模。•形状感知锚定以约束推断空间。•基于Transformer的去噪器以实现一致的条件传播。•在歧义条件下具有鲁棒的性能以及跨数据集泛化能力。引言目标位姿估计旨在从视觉观测中预测
- •
面向9自由度位姿推断的概率扩散框架。
- •
概率分析与不确定性估计。
- •
基于层次八叉树表示的多模态条件建模。
- •
形状感知锚定以约束推断空间。
- •
基于Transformer的去噪器以实现一致的条件传播。
- •
在歧义条件下具有鲁棒的性能以及跨数据集泛化能力。
引言
目标位姿估计旨在从视觉观测中预测目标的9自由度（9-DoF）位姿，包括其3D旋转、平移和尺寸。根据是否可获得目标的精确CAD模型，目标位姿估计通常可分为实例级和类别级范式。实例级方法利用已知实例的预定义CAD模型来估计目标位姿，并在受控的工业场景中取得了显著的精度。然而，其应用往往受限于对精确目标模型的需求以及有限的泛化能力。相比之下，类别级9-DoF位姿估计旨在无需精确CAD模型的情况下，从已知类别中估计未见实例的位姿和尺寸，使其更适用于开放世界中的机器人操作和具身智能应用。
尽管深度学习推动了巨大进步，但类别级9-DoF位姿估计仍然充满挑战，原因在于类别内部的几何变化、模糊的视觉观测以及有噪声的深度测量。这些因素使得单次RGB-D观测可能与多个合理的位姿假设相兼容。大多数现有方法将位姿估计建模为确定性回归问题，将观测映射到单一位姿估计。虽然这在许多场景下有效，但此类建模方式未能显式地刻画位姿分布中固有的不确定性和多模态性，在观测不完整或存在歧义时可能导致不稳定或过度自信的预测。
传统位姿估计方法主要依赖人工选取的特征和几何对齐，如PnP [1] 和ICP [2]。近期的学习类方法则从视觉和几何观测中推断目标位姿，显著提升了复杂场景中的鲁棒性。然而，大多数现有方法仅产生单一确定性估计，且对物体对称性、类内变异和局部观测所引发的歧义特征刻画有限。扩散模型通过迭代去噪对位姿分布进行建模，为位姿估计提供了一个自然的框架。
将扩散模型应用于类别级9-DoF位姿估计仍然充满挑战。旋转、平移和尺寸在几何特性和数值范围上各不相同，而类内变异和不完整的RGB-D观测削弱了条件引导能力。因此，需要结构化的几何条件和适当的位姿搜索空间约束来引导反向扩散过程。
为应对上述挑战，我们提出了OctDiffPose——一种面向类别级9-DoF目标位姿估计的新型基于扩散的框架。如图1所示，OctDiffPose从RGB-D观测中构建层次八叉树表示，以在多个空间分辨率上捕捉稀疏的几何结构。所得的八叉树特征与视觉特征和点云特征相结合，形成统一的用于位姿生成的多模态条件。此外，基于归一化物体坐标空间（NOCS）[3] 的形状感知锚定策略提供了类别级的几何引导，并约束了可行的位姿生成空间。在该共享的多模态条件下，三个分支专用的Transformer去噪器分别预测与旋转、平移和尺寸相关的噪声，在反向扩散过程中逐步细化位姿。
我们的贡献可总结如下：
- •
我们将类别级9-DoF目标位姿估计建模为条件生成建模问题，并提出了OctDiffPose——一种通过迭代去噪估计旋转、平移和尺寸的基于扩散的框架。
- •
我们开发了自监督八叉树自编码器以提取层次化几何表示，并将其与RGB和点云特征相结合，构建用于位姿去噪的统一多模态条件。
- •
我们引入了基于NOCS的形状感知锚点为扩散过程提供几何引导。此外，采用三个分支专用的Transformer去噪器，在同一多模态条件下分别预测与旋转、平移和尺寸相关的噪声。
- •
在CAMERA25和REAL275上的大量实验展示了与代表性类别级位姿估计方法相比具有竞争力的性能。与匹配的DirectReg-Transformer基线的对比实验验证了迭代扩散的优势，进一步的实验分析了精度与效率之间的权衡以及采样不确定性与位姿估计误差之间的关系。
本文其余部分组织结构如下。第2节综述相关文献。第3节介绍所提出的OctDiffPose框架。第4节报告实验结果及相关分析。最后，第5节总结全文并讨论未来研究方向。
章节摘要
类别级目标位姿估计
类别级目标位姿估计旨在无需精确CAD模型的情况下，从已知语义类别中估计未见目标实例的位姿。根据应用需求的不同，现有方法估计3D旋转和平移，而部分方法还额外预测目标尺寸或尺度。本文聚焦于9-DoF设置，即位姿由3-DoF旋转、3-DoF平移和一个3D尺寸向量组成。
现有方法通常可归类为
概述
我们介绍了OctDiffPose——一种基于扩散的概率框架，用于估计9-DoF位姿 ，其中 、 和 分别表示旋转、平移和3D尺寸。如图1所示，位姿估计任务被建模为条件生成推断过程，即位姿估计从含噪位姿变量出发，在结构化多模态条件的引导下，通过迭代反向扩散过程生成。
遵循去噪扩散概率模型（DDPM）
实验
在CAMERA25和REAL275基准数据集上进行了大量实验。在介绍实验设置和评估协议后，我们将OctDiffPose与代表性的类别级位姿估计方法进行比较，并通过消融研究评估其主要组件的有效性。我们进一步分析了扩散推理的有效性和效率、基于采样的不确定性，以及类别特有的失效案例。
结论
本文介绍了OctDiffPose——一种面向类别级9-DoF目标位姿估计的条件扩散框架。该方法通过迭代去噪估计旋转、平移和3D尺寸，由多模态RGB-D特征、层次八叉树表示和基于NOCS的形状感知条件共同引导。
在CAMERA25和REAL275上的实验表明，该方法在3D包围盒重叠度和旋转-平移标准下均具有竞争力的性能。消融研究验证了
CRediT作者贡献声明
李旭豪：撰写 – 初稿，方法论。李凌霄：验证，软件。张悦：可视化，软件。孙雨翔：撰写 – 审阅与编辑。高立夫：撰写 – 审阅与编辑，监督。曹惠斌：监督，项目管理。
利益冲突声明
作者声明不存在已知的竞争财务利益或个人关系，这些利益或关系可能影响本文所报告的工作。
致谢
本工作受中国国家科技重大专项（项目编号：2026ZD1613800）资助。
李旭豪 于2019年在中国南京获得南京邮电大学学士学位，2023年在中国合肥获得安徽大学硕士学位。目前在中国合肥中国科学技术大学攻读博士学位。其研究方向包括计算机视觉、目标位姿估计和模式识别。
李旭豪|李凌霄|张悦|孙雨翔|高立夫|曹惠斌
