扩散模型是用于人体网格重建的高效数据生成工具

《IEEE Transactions on Pattern Analysis and Machine Intelligence》：Diffusion Models are Efficient Data Generators for Human Mesh Recovery

现有3D人体姿态与形状估计（HPS）方法依赖室内动捕或渲染数据，存在身份多样性不足、真实场景缺失问题。本文提出基于扩散模型的合成数据生成方法HumanWild，通过SMPL-X参数模型生成高精度2D关键点、深度图及法线图，结合分割模型过滤噪声数据，实现适用于复杂场景和广角拍摄的多样化人类图像生成，显著减少人工标注需求。

　　

摘要：

尽管在3D人体姿态和形状估计（HPS）问题上取得了显著进展，但目前最先进的方法仍然严重依赖于有限的室内动作捕捉数据集或由计算机图形（CG）渲染引擎生成的数据集。这两类数据集在提供准确的人体特征和真实野外背景场景方面都存在不足，而这些对于模拟真实世界的分布至关重要。在这项工作中，我们展示了由生成模型创建的合成数据可以与CG渲染的数据相结合，从而在各种真实世界场景中实现出色的泛化性能。我们提出了一种基于最新扩散模型的有效数据生成流程，称为HumanWild，该流程能够轻松生成人体图像及其对应的3D网格注释。具体来说，我们首先收集了一个包含全面注释的大规模以人为中心的数据集，例如文本描述、深度图和表面法线图像。为了生成具有初始标签的各种人体图像，我们训练了一个定制的多条件ControlNet模型。这一过程的关键是使用3D参数模型（如SMPL-X），通过使用特定的相机参数渲染3D网格来轻松创建精确的2D关键点、深度图和表面法线图像[id=PR]。由于初始标签中不可避免地存在噪声，我们应用了一个现成的基础分割模型来过滤负面数据样本，并使用SMPLify来校正SMPL-X参数。我们的数据生成流程既灵活又可定制，适用于各种真实世界任务，例如复杂场景中的人体交互以及通过广角镜头捕捉的人体。仅依靠生成模型，我们就可以生成大规模的、真实环境中的人体图像，并附带高质量的注释，大大减少了手动收集图像和注释的工作量。生成的数据集涵盖了广泛的...

显示更多