HARDER:通过蒸馏技术和显式表示方法实现3D人类形象重建

《Computers & Graphics》:HARDER: 3D human avatar reconstruction with distillation and explicit representation

【字体: 大 中 小 】 时间:2026年01月30日 来源:Computers & Graphics 2.8

编辑推荐:

  3D人体重建模型HARDER通过单张RGB图像生成可实时动画的完整衣装人体,采用Score Distillation Sampling技术结合Feature-Specific Image Captioning和Region-Aware Differentiable Rendering模块,支持消费级GPU运行。

  
余春豪(Chun-Hau Yu)| 陈宇翔(Yu-Hsiang Chen)| 余正贤(Cheng-Yen Yu)| 傅立辰(Li-Chen Fu)
台湾国立大学计算机科学与信息工程系,台北,台湾

摘要

近年来,3D人体虚拟形象重建已成为一个热门的研究领域。尽管许多研究取得了显著成果,但现有方法要么对数据有过于严格的要求(如深度信息或多视图图像),要么在某些特定领域性能下降严重。为了解决这些问题,我们提出了HARDER方法。我们将得分蒸馏采样(Score Distillation Sampling, SDS)技术与设计的模块相结合,包括特征特定图像字幕生成(Feature-Specific Image Captioning, FSIC)和区域感知可微渲染(Region-Aware Differentiable Rendering, RADR),使潜在扩散模型(Latent Diffusion Model, LDM)能够指导重建过程,尤其是在未见区域。此外,我们还开发了多种训练策略,包括个性化LDM、延迟SDS、聚焦SDS和多姿态SDS,以提高训练效率。
我们的虚拟形象采用了与现代计算机图形管线兼容的显式表示方法。整个重建和实时动画过程可以在单个消费级GPU上完成,使得该应用更加易于使用。

引言

由于AR/VR技术在教育、社交活动、数字娱乐和远程协作等领域的潜在应用,近年来受到了广泛关注。在所有这些场景中,都需要一个3D人体虚拟形象来代表虚拟空间中的每个用户。
为了更好地充当用户的代理,我们需要一个具有完整纹理和穿着的3D人体虚拟形象,以提供更加沉浸式的虚拟体验,并允许用户更真实地与虚拟世界互动。此外,实时可动画的人体虚拟形象可以实现更灵活的动作,促进用户之间或与虚拟对象之间的自然交互。在数据需求方面,我们认为仅使用一张容易获得的RGB图像进行重建将显著提高该应用的可用性。
因此,我们提出了HARDER方法,该方法能够在给定单张RGB图像的情况下重建出一个具有完整纹理、穿着且可实时动画的3D人体虚拟形象。
虽然已经有一些方法[1]、[2]能够生成逼真的3D人体模型,但仍有几个挑战尚未解决。首先,单张RGB图像无法提供所有必要的重建信息,导致未见身体区域的性能下降。其次,大多数现有方法无法同时保持可动画性和逼真度。此外,那些能够重建逼真3D人体的方法通常需要极高的计算硬件要求,这对资源有限的许多用户来说可能不切实际。
鉴于上述未解决的挑战,我们的目标如下:
  • •
    将得分蒸馏采样(SDS)技术引入重建任务中,利用潜在扩散模型[3]来指导未见身体区域的优化过程。
  • •
    设计一种方法,能够重建外观多样的3D人体虚拟形象并赋予其动画功能。
  • •
    提出一种方法,仅使用单张RGB图像,在仅配备消费级GPU的计算环境中重建出一个具有完整纹理、穿着且可实时动画的3D人体虚拟形象。

相关工作

基于图像的3D人体重建方法大致可以分为“隐式”和“显式”两种方法。

方法

在本章中,我们将详细介绍HARDER框架,并展示HARDER如何仅基于单张RGB图像重建出一个具有完整纹理、穿着且可实时动画的3D人体虚拟形象。图1展示了整个系统的概览。

动画

可以使用SMPL-X参数集来动画化HARDER虚拟形象,或者将其与人体姿态估计器(如[9]、[10]、[31])结合,以实现图像或视频驱动的动画。
为了实现实时动画的目标,我们将HARDER虚拟形象的顶点数量设置为25k。目前,在单个RTX 4090 GPU上,HARDER虚拟形象的动画帧率约为30 fps。图6展示了动画结果。

服装编辑

我们可以通过修改提示来实现服装编辑

实验

在本章中,我们通过对各个模块进行消融研究来证明HARDER的有效性。我们还对HARDER与最先进的3D人体重建方法(包括PIFu [4]和PaMIR [6])进行了定性和定量比较。

局限性

HARDER虚拟形象的性能仍然高度依赖于各种预处理步骤的准确性,例如人体姿态估计、法线估计等。因此,如果任何模块预测不准确,HARDER也可能无法重建出良好的虚拟形象。

结论

我们提出了HARDER方法,该方法仅使用单张RGB图像和消费级GPU即可重建出一个具有完整纹理、穿着且可实时动画的3D人体虚拟形象。我们设计了FSIC和RADR模块、损失函数以及多种训练策略,包括延迟SDS、聚焦SDS和多姿态SDS。这些组件通过消融研究证明有助于提高人体重建的性能。此外,我们的实验结果也表明

CRediT作者贡献声明

余春豪(Chun-Hau Yu):撰写——原始草案、可视化、验证、软件开发、项目管理、方法论、调查、形式分析、概念化。陈宇翔(Yu-Hsiang Chen):撰写——审阅与编辑。余正贤(Cheng-Yen Yu):撰写——审阅与编辑。傅立辰(Li-Chen Fu):监督。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文所述的工作。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号