MaskPose：一种新颖的无需学习的基于单目RGB的6D姿态估计方法，消除数据依赖

《Expert Systems with Applications》：MaskPose: A Novel Learning-Free Monocular RGB-Based 6D Pose Estimation Method Eliminating Data Dependency

　　

摘要

在现代感知系统中，6D位姿估计已成为机器人操作和增强现实等应用的关键组成部分。然而，大多数现有方法强烈依赖大规模数据集和计算资源，限制了其实际部署。为此，本工作提出了MaskPose，一种基于单目RGB的6D位姿估计无学习框架。MaskPose以RGB图像、目标对象的带纹理度量3D模型、给定的对象掩码、相机内参和粗略初始深度作为输入，直接估计6D位姿，无需训练数据、学习先验或参考图像。该方法采用三阶段流水线，包括位姿假设生成、基于RANSAC-EPnP的精细调整，以及基于可微渲染的优化（MIPO和MSPO），从而形成了一种纯几何驱动的6D位姿估计范式。为了能够在没有预定义掩码的场景中部署，我们进一步将MaskPose扩展为一个名为Mask-LangSAM-Pose（MLSP）的系统，该系统集成了外部掩码提取模块（LangSAM），从而将核心估计器与系统级部署流水线区分开来。在LINEMOD基准上的全面评估表明，MaskPose具有竞争力，达到63.6%的ADD(-S)精度。据我们所知，这是首批在此基准上达到该性能的全无学习且无需训练数据的RGB-based 6D位姿估计方法之一。该方法特别适用于结构化工业环境中的位姿引导机器人操作，并已在实验室设置和现实世界铁路接触网维护系统中得到验证，展示了其有效性和实际优势。总体而言，本工作建立了一种几何驱动且严格无学习的6D位姿估计范式，为普遍的学习方法提供了一种可解释、无需训练数据的替代方案，具有强大的现实部署潜力。

引言

在现代感知系统中，6D位姿估计已成为关键组成部分，在机器人操作和增强现实等应用中发挥着至关重要的作用[Chen et al. (2025); Hoque, Xu, Maiti, Wei, & Arafat (2023); Liang et al. (2026); Liu et al. (2024)]。特别是，它在位姿引导的机器人操作中扮演着越来越重要的角色，近期工作甚至专门针对这一方向[Liu et al. (2026)]。近年来，已提出多种高效的6D位姿估计方法，特别是基于RGB-D的方法，该方法将颜色图像与深度信息相结合，提供更全面的场景感知[Caraffa, Boscaini, Hamza, & Poiesi (2024); Caraffa, Boscaini, & Poiesi (2025); Chen et al. (2025); dos Santos Júnior, Silva do Monte Lima, & Teichrieb (2021); Lin, Liu, Lu, & Jia (2024); Wen, Yang, Kautz, & Birchfield (2024); Yi, Wang, & Ding (2025); Zhang et al. (2026)]。然而，对深度信息的依赖限制了这类方法的广泛应用[Liu et al. (2024)]。虽然深度传感器可以提供有价值的几何信息，但它们通常成本较高，且更容易受到环境干扰，这限制了其在许多工业场景中的部署。相比之下，RGB相机更加成熟、稳定和成本效益高。因此，基于RGB的6D位姿估计近年来引起了越来越多的关注。已提出多种基于RGB的方法，取得了快速进展，并在广泛使用的基准数据集如LINEMOD和YCB-Video上取得了令人鼓舞的结果[Bortolon, Tsesmelis, James, Poiesi, & Del Bue (2024); Kehl, Manhardt, Tombari, Ilic, & Navab (2017); Labbé, Carpentier, Aubry, & Sivic (2020); Li, Wang, Ji, Xiang, & Fox (2018); Peng et al. (2022); Rad & Lepetit (2017); Xu, Lin, Zhang, Wang, & Li (2024)]。然而，这些方法通常依赖于针对大规模数据集的大量训练或针对特定场景的参考数据先验收集，这大大限制了其在实际应用中的可行性。

为了克服上述限制，许多近期方法[Lin et al. (2024); Nguyen, Groueix, Salzmann, & Lepetit (2024); Wen et al. (2024)]利用大规模数据集，包括真实世界和合成渲染数据，通过大量训练来提高深度网络的泛化能力。虽然这些方法取得了令人印象深刻的成绩，但其性能仍然高度依赖渲染数据的质量和多样性，并且不可避免地需要大量的计算资源进行训练。此外，这些方法中的大多数[Lin et al. (2024); Wen et al. (2024)]还依赖深度信息，这进一步限制了其适用性。FreeZe系列[Caraffa et al. (2024, 2025)]代表了一项重要进展，提出了基于RGB-D输入的无需训练、零样本6D位姿估计方法。然而，这些工作并未完全解决该问题：它们[Caraffa et al. (2024, 2025)]依赖从其他研究中通过大量训练获得的预训练网络，因此并非完全摆脱数据依赖。为解决这些挑战，本工作开发了一种通用的、无学习且无需训练数据的6D位姿估计算法，该算法使用单目RGB图像、对象掩码、相机内参、带纹理的度量3D对象模型和粗略初始深度。为帮助读者更好地理解该主题，我们接下来概述6D位姿估计方法，特别强调基于RGB的方法。

6自由度位姿估计一直是近年来非常活跃的研究主题，由此产生了众多具有影响力的方法。从这些工作中可以看出，深度信息已被证明是一种高度有效的模态，许多基于RGB-D的方法[Caraffa et al. (2024, 2025); Lin et al. (2024); Wen et al. (2024)]展示了强大的性能。然而，在现实场景中获取可靠的深度测量往往具有挑战性。深度传感器通常价格昂贵，且对反射表面、变化光照条件和遮挡等环境干扰敏感。这些限制促使仅基于RGB的位姿估计方法取得进步[Bortolon et al. (2024); Kehl et al. (2017); Labbé et al. (2020); Li et al. (2018); Peng et al. (2022); Rad & Lepetit (2017); Xu et al. (2024)]。其中，实例级6自由度位姿估计已相对成熟，方法大致分为四类：基于对应的方法、基于模板的方法、基于投票的方法和基于回归的方法[Liu et al. (2024)]。此外，主流位姿估计技术也可分为直接方法和间接方法[Liu et al. (2024); Maji, Nagori, Mathew, & Poddar (2024)]。

直接方法通过直接预测对象位姿参数或通过估计初始假设与目标位姿之间的相对变换来进行迭代精化，从而估计6D位姿。代表性例子包括PoseCNN[Xiang, Schmidt, Narayanan, & Fox (2018)]、DeepIM[Li et al. (2018)]、CosyPose[Labbé et al. (2020)]、SSD-6D[Kehl et al. (2017)]，以及更新的6DGS[Bortolon et al. (2024)]。具体而言，PoseCNN[Xiang et al. (2018)]是先驱性工作之一，直接从RGB图像回归对象位姿，引入了一种专为6D位姿估计定制的卷积神经网络架构。DeepIM[Li et al. (2018)]扩展了这一思想，提出了一种迭代匹配网络，通过学习相对变换来精化初始位姿假设，从而在不显式对应关系的情况下提高精度。最近，6DGS[Bortolon et al. (2024)]利用高斯泼溅技术进行位姿估计，在标准基准上取得了竞争力。

相比之下，间接方法建立2D-3D对应关系，并通过最小化重投影误差来恢复位姿。在这一类别中，一些方法利用稀疏特征对应关系进行位姿回归。例如，BB8[Rad & Lepetit (2017)]和YOLO-6D[Maji et al. (2024)]估计3D包围盒角点的2D投影，然后求解透视n点（PnP）问题以恢复位姿。HybridPose[Song, Song, & Huang (2020)]扩展了这一策略，通过回归混合表示，结合关键点、边缘向量和对称对应关系。PVNet[Peng et al. (2022)]引入了一种基于投票的机制来定位关键点，对遮挡具有鲁棒性，从而实现更精确的回归。

其他方法则专注于稠密对应估计。值得注意的是NOCS[Wang et al. (2019)]，它预测归一化对象坐标空间以建立2D像素与3D对象点之间的稠密映射。类似地，CDPN[Li, Wang, & Ji (2019)]和GDR-Net[Wang, Manhardt, Tombari, & Ji (2021)]通过直接预测稠密的2D-3D对应映射来进行位姿恢复，展示了改进的精度。在LineMOD数据集上最先进的基于RGB的方法RNNPose[Xu et al. (2024)]进一步推动了这一工作，通过联合预测稠密对应特征图并应用Levenberg-Marquardt（LM）优化进行迭代精化。尽管取得了成功，但这些间接方法通常依赖于针对每个目标对象收集大规模数据集和大量网络训练，这显著限制了其可扩展性，阻碍了在现实应用中的部署。

为克服这些限制，已开发出若干方法以提高位姿估计方法的泛化能力。在此背景下，基于RGB-D的方法受益于冗余深度信息，进展更快并取得了显著的泛化性能，如FoundationPose[Wen et al. (2024)]和SAM6d[Lin et al. (2024)]等代表性工作所示。然而，其性能严重依赖渲染数据的质量和多样性，并且需要大量训练[Caraffa et al. (2024)]。为缓解这种依赖，FreeZe系列（FreeZeV1和FreeZeV2）[Caraffa et al. (2024, 2025)]引入了无需训练、零样本的位姿估计方法，消除了额外训练的需求，并展示了强大的泛化和竞争精度。尽管这是一项重要进步，但并未完全解决问题。在实践中，FreeZe方法仍然依赖从其他大量训练模型获得的预训练网络，因此不能被视为完全摆脱数据依赖。

最近，也有努力提高基于RGB的位姿估计的泛化能力。例如，Gen6D[Liu et al. (2022)]聚合多视角信息以提高不同视角之间的位姿一致性。OnePose及其扩展OnePose++[He et al. (2022); Sun et al. (2022)]利用参考图像集的运动恢复结构（SfM）构建逐像素稠密2D-3D对应关系，从而能够在不需要CAD模型的情况下进行新对象的位姿估计。GigaPose[Nguyen et al. (2024)]进一步引入了一种基于单一对应关系的新对象位姿估计快速鲁棒方法。然而，与基于RGB-D的方法类似，这些方法的性能仍然严重依赖渲染或参考数据的质量和多样性，以及大量网络训练。尽管它们展示了改进的泛化能力，但仍需要针对目标场景收集大规模数据和进行大量先验准备。

与此同时，一条研究路线探索了利用大规模预训练模型进行零样本6D位姿估计，例如基于扩散的方法等[Ausserlechner, Haberger, Thalhammer, Weibel, & Vincze (2023); Gimborn, Ausserlechner, Vincze, & Thalhammer (2024); ?rnek et al. (2024)]。这些方法旨在在测试时直接估计对象位姿，无需特定任务的训练或微调，展示了强大的泛化能力。然而，尽管其零样本形式，这类方法从根本上仍属于数据驱动范式，因为其性能严重依赖大规模预训练、高容量模型和大量计算资源（如GPU加速），这可能限制其在资源受限或特定领域场景中的适用性。

为克服先前6D位姿估计方法的限制，本工作专注于开发一种基于单目RGB的无学习且无需训练数据的位姿估计框架。为实现这一想法，近年来在可微渲染方面的进展[Laine et al. (2020); Liu, Li, Chen, Li, 2019, 2020; Ravi et al. (2020)]提供了有希望的基础，因为它们允许直接从对象模型和观察图像中提取监督信号，而无需训练数据。基于这一洞察，本工作提出了一个三阶段优化和选择流水线作为MaskPose的核心框架。首先，基于对象掩码和3D模型，生成一组位姿假设??。然后，将每个假设下渲染的图像与观察图像通过特征匹配进行比较，选择前K个候选项并使用RANSAC-EPnP进行粗略精化。最后，这些候选项通过可微渲染进一步优化，其中应用多初始化位姿优化（MIPO）策略，随后是多尺度位姿优化（MSPO）策略，以获得最优位姿假设h*。

•无学习几何驱动的RGB 6D位姿估计范式：
本工作提出了MaskPose，一个完全几何驱动且无学习的基于RGB的6D位姿估计框架，消除了对训练数据、学习先验、参考图像或特定任务微调的依赖。与许多利用预训练、学习视觉表示或RGB-D输入的零样本和单样本方法相比，MaskPose将基于RGB的6D位姿估计推进到完全无预训练的设置。

具体来说，给定单张RGB图像、对应的物体掩码、相机内参、带纹理的度量3D物体模型以及粗略初始深度，本文提出的方法将位姿估计表述为观测到的RGB证据与渲染位姿假设之间的显式几何一致性优化问题。在此设定下，MaskPose在标准基准上取得了具有竞争力的性能，同时为基于单目RGB的6D位姿估计提供了一个实用且可解释的框架。•不确定初始化下的可微渲染位姿细化：本文改进了不确定初始化下的无学习可微渲染细化。虽然可微渲染已被广泛应用于位姿细化，但其性能通常对初始化高度敏感，且容易受到局部极小值的影响。为了解决这一问题，本文提出了一种多候选可微渲染细化策略，由多初始化位姿优化（MIPO）和多尺度位姿优化（MSPO）组成。 specifically，MIPO对多个有前景的位姿假设执行并行多起点细化，以提高对糟糕初始化的鲁棒性，而MSPO则在最佳候选周围进一步探索多个优化步长尺度，以提高最终精度。进一步分析表明，所提出的策略有效地缓解了可微渲染对不确定初始化和局部极小值的敏感性，在消融研究中展现出位姿细化性能的显著提升。•面向现实世界应用的部署适配：本文进一步将所提出的免预训练位姿估计框架适配到现实世界应用中，包括CAD模型可用但位姿标注数据难以获得的工业场景。为支持实际部署，本文通过一个称为Mask-LangSAM-Pose（MLSP）的部署流水线，将核心估计器与掩码获取分离，其中集成了外部掩码提取模型（LangSAM）。铁路维护和日常物体演示表明，所提出的框架可以作为CAD可用、掩码可控且人类可解释场景中的实用即插即用解决方案。所提出的方法在LINEMOD数据集以及包括铁路自动化维护中的机器人操作任务在内的现实世界场景中进行评估。结果表明了所提出框架的有效性、鲁棒性和实际适用性，如图1所示。章节片段RGBD方法具有泛化能力RGB-D-based 6D位姿估计近年来在精度和泛化方面取得了显著进展 Caraffa et al. (2024, 2025); Lin et al. (2024); Wen et al. (2024)。代表性工作如FoundationPose Wen et al. (2024)和SAM-6D Lin et al. (2024)展示了显著的跨数据集泛化能力。然而，其性能仍然严重依赖于渲染训练数据的质量和多样性，并且需要大量训练 Caraffa et al. (2024)。FreeZe系列（FreeZeV1和框架概述本文提出MaskPose，一个无学习的基于单目RGB的6D位姿估计框架。给定输入RGB图像I、对应的物体掩码M、相机内参K、带纹理的度量3D物体模型Mo，以及粗略初始深度zs，目标是估计相机坐标系下的物体位姿h=(R,t)。如图2所示，MaskPose遵循统一的三阶段流水线：(1)粗位姿假设生成，(2)假设过滤和粗略实验本文的实验包括三个部分：LINEMOD数据集评估、使用精细掩码的进一步评估，以及现实世界应用，包括日常场景部署和铁路工程应用。结果表明了本文的效率、鲁棒性、泛化能力和实际潜力。讨论本文提出MaskPose，一种具有强可解释性和操作透明度的无学习基于RGB的6D位姿估计方法。据我们所知，先前没有任何工作报告过一种在LINEMOD数据集上达到如此高精度且完全无学习、无需训练数据的基于RGB的6D位姿估计方法。此外，我们引入了Mask-LangSAM-Pose（MLSP）系统，将MaskPose与LangSAM相结合进行掩码提取，实现了对新型Conclusion结论本文提出MaskPose，一种实现准确且鲁棒的位姿估计的无学习基于RGB的6D位姿估计方法，具有强可解释性和可操作性。所提出的方法在LINEMOD数据集上展示了具有竞争力的性能，取得了与实例级和单样本方法相当的结果。据我们所知，这是首个在LINEMOD上达到如此高精度且完全无学习、无需训练数据的基于RGB的6D位姿估计方法之一。CRediT作者贡献声明梁怡萱：概念构思、方法论、软件、验证、形式化分析、调查研究、数据整理、可视化、写作——初稿撰写、写作——审阅与编辑。王泽：资源、监督、项目管理、资金支持。王云安：概念构思、监督、资金支持、写作——审阅与编辑。金钊：验证、调查研究、写作——审阅与编辑。严继周：调查研究、资源、验证、写作——审阅与编辑。利益冲突声明作者声明他们没有任何已知的竞争性经济利益或个人关系可能对本论文所报道的工作产生影响。梁怡萱|王泽|王云安|金钊|严继周|胡楚雄