真实场景驱动的生成式增强技术，用于6D物体姿态估计

《Expert Systems with Applications》：Real-Gen: Real-Scene-Grounded Generative Augmentation for 6D Object Pose Estimation

　　

Pihong Hou|Yongfang Zhang|Boxuan Ye

• •
  Real-Gen能够为6D姿态数据提供基于真实场景的增强功能。
• •
  在姿态约束条件下，Real-Gen可扩展光照、外观和视角范围。
• •
  Real-Gen能在真实场景变化时提升6D姿态估计的性能。

章节节选

引言

6D物体姿态估计是机器人感知领域中的核心问题，在抓取、操作、增强现实以及具身交互等方面有着广泛的应用（Tu, Wang, Zhang, Chen, Zhang, 2025, Wen, Yang, Kautz, Birchfield, 2024）。在开放环境里，物体的外观、光照和视角可能发生很大变化，因此该技术的实际应用依然面临挑战（Lin, Liu, Lu, Jia, 2024, Ren, Yang, Zhang, Zhang, 2025）。所以，有效的姿态估计方法需要

真实世界6D姿态数据集

真实世界数据集仍是6D姿态估计最可靠的基础，因为它们与实际应用环境最为接近。诸如LineMod（Hinterstoisser等人，2012年）、LineMod-Occlusion（Brachmann等人，2014年）、YCB-Video（Xiang等人，2017年）以及T-LESS（Hodan等人，2017年）这类经典基准数据集，都是基于扫描得到的物体模型、受控的图像采集以及半自动标注方式构建的。而较新的数据集，包括Housecat6D（Jung等人，2024年）和Wild6D（Fu & Wang，2022年），

方法

我们的目标是通过用可控生成的资产替代真实物体，同时保留真实场景的背景信息，从而构建出具有姿态意识的训练数据。给定一个目标物体的RGB视频序列${\left\{I_i\right\}}_{i=1}^N$，该流程旨在生成对应的增强序列${\left\{{\stackrel{?}{I}}_i\right\}}_{i=1}^N$，同时这些姿态标签要么从原始拍摄资料中提取，要么直接沿用基准数据集的标注结果。我们用${\mathbf{T}}_{c\leftarrow m}^{\left(i\right)}$来表示第i帧的物体到相机的姿态，其中模型坐标

实验

我们设计了多项实验，从数据构建到下游任务性能多个方面对Real-Gen进行评估。首先，验证仅依靠RGB标注以及标准化处理是否能为新收集的真实场景视频生成可用嘅BOP风格姿态标签。其次，评估三种生成式增强模块的效果：语义重光照、纹理替换以及基于视频的视角扩展。最后，测试生成的数据是否能提升后续的6D姿态估计性能

结论

在本文中，我们提出了Real-Gen，这是一种基于真实世界的生成框架，用于构建和增强6D姿态数据。Real-Gen通过基于真实场景的增强方式，为现有的基准数据集提供了更丰富的光照、外观和视角变化，从而为实际应用提供了有力支持。实验结果表明，该框架提升了数据的光度兼容性，增强了外观的多样性，扩大了姿态覆盖范围，同时还提高了后续任务的性能和稳定性

作者贡献说明

Pihong Hou：概念设计、方法论、软件开发、验证、形式化分析、研究工作、数据整理、初稿撰写、修订编辑、可视化处理；Yongfang Zhang：资源协调、指导监督；Boxuan Ye：软件开发、验证、研究工作、数据整理、可视化处理、修订编辑。

未引用图表

图3。

利益冲突声明

作者声明，他们不存在任何可能影响本文研究结果的已知财务利益关系或个人关系。