边缘引导半监督6D姿态估计（ESS6D）：虚拟-现实域协同优化在机器人抓取中的突破性应用

本文提出ESS6D方法，通过边缘引导模块（EGM）和虚拟-现实域混合机制（VRDM），实现虚拟标注数据与真实无标注数据的跨域协同，显著提升6D姿态估计精度。该方法在减少真实数据标注依赖的同时，有效解决域间特征差异问题，为机器人抓取提供高精度视觉感知方案。

　　

Highlight

• 受人类大脑对物体轮廓特异性感知机制启发，从双域提取低级边缘信息以生成更具鲁棒性的域不变特征。该方法突出跨域物体的结构细节并确保其特征一致性。

• 提出通过隐式与显式适应相结合的虚拟-现实域混合（VRDM）机制，显著缩小域间差异。从标注虚拟图像中学到的姿态相关特征可有效迁移至真实场景，避免繁琐的人工标注。

• 实验表明，所提出的ESS6D在公开数据集（LM-V与LM-R、LM-V与Occ-LM-R）上以4.1%和7.2%的显著优势超越对比方法，其有效性在真实场景姿态估计与机器人抓取任务中得到验证。

Deep Learning based Pose Estimation

随着深度学习的快速发展，数据驱动方法显著提升了6D姿态估计的精度与鲁棒性。Peng等人（2019）提出基于关键点的PVNet方法，通过预测指向物体关键点的矢量，使网络能够有效处理遮挡问题。He等人（2020）提出的PVN3D融合关键点方法与点云特征以进一步提升精度。近年来，混合方法被探索用于结合多模态数据的优势。

Overview

图2展示了我们提出的边缘引导半监督6D姿态估计方法的基本框架，分别给出了训练与测试流程。训练过程包含三个连续阶段：数据生成、跨域特征优化和姿态估计。第一阶段通过3D扫描仪获取真实物体的CAD模型，并在Blender中进行物理渲染以生成多样化的虚拟图像。

Cross-domain Dataset Construction

为促进跨域实验对比，我们从BOP数据集（Hodan等人，2018）中选取与真实LineMod数据集（LM-R）完全相同的13个物体，构建了新型虚拟数据集LineMod-Virtual（LM-V）。此外引入遮挡LineMod数据集（Occ-LM-R）以评估算法在挑战性场景下的性能。图4展示了LM-V、LM-R和Occ-LM-R中不同物体的图像数量分布。

Conclusion

本研究提出的ESS6D是一种面向机器人抓取的新型半监督6D姿态估计方法，通过域自适应学习利用未标注真实图像，显著降低对真实标注数据的依赖。该方法运用边缘监督与跨域对齐机制提取域不变特征，弥合虚拟与真实数据的鸿沟，实现鲁棒且精确的姿态估计。在公开数据集与真实场景中的大量实验验证了其有效性。