3DGA:通过可变形高斯散布技术从单目视频生成3D虚拟角色动画

《Pattern Recognition》:3DGA: 3D Avatar Animation from Monocular Video via Deformable Gaussian Splatting

【字体: 大 中 小 】 时间:2026年01月06日 来源:Pattern Recognition 7.6

编辑推荐:

  提出基于3D高斯喷涂的3DGA框架,通过SMPL引导的LBS参数监督和KL散度双条件密集化策略解决运动伪影与冗余高斯点问题,实现20分钟内完成高精度人体建模与140FPS实时渲染。

  
尹振宇|史晓强|张飞卿|李东|聂琳|秦莉
中国科学院沈阳计算技术研究所,中国辽宁省沈阳市110168

摘要

用于VR/元宇宙的单目人体建模在平衡动态精度和计算效率方面面临挑战。基于神经辐射场(NeRF)的方法由于逆向皮肤映射存在不明确的对应关系和效率问题,而3D高斯拼接(3DGS)则通过正向皮肤映射实现实时渲染。然而,基于3DGS的人体化身建模仍面临两个核心问题:(i)由于线性混合皮肤(LBS)估计不准确导致的运动伪影;(ii)仅依赖梯度密度化的方法会导致冗余高斯点的产生和局部结构退化。我们提出:(1)利用随机采样的SMPL网格点及其LBS权重作为监督信息来改进LBS参数估计;(2)引入密度化机制以抑制无效点的生成。我们的方法在20分钟内实现了高保真建模,能够以140 FPS的帧率进行实时渲染,并在新的姿势/视角下保持优越的结构精度。代码可在GitHub找到。

引言

从单个视频摄像头创建逼真的3D人体化身是计算机视觉领域最具挑战性的任务之一,对虚拟现实、游戏和数字内容创作具有变革潜力。从多摄像头采集系统到单目重建的转变取得了重大突破,但在重建质量、计算效率和实际应用需求之间仍存在根本性矛盾。
单目人体化身重建领域主要受到两种不同范式的主导,每种范式都有其独特的优势和局限性。基于神经辐射场(NeRF)的方法[1], [2], [3], [4], [5], [6], [7], [8], [9], [10], [11], [12]开创了隐式3D表示方法,利用逆向皮肤映射将观测数据转换为标准坐标。尽管这些方法实现了出色的逼真度,但它们存在对应关系不明确的问题以及高昂的计算成本,使得实时应用变得不切实际。
3D高斯拼接(3DGS)[13]的出现推动了向显式表示的转变[14], [15], [16], [17], [18], [19], [20], [21], [22],提供了正向皮肤映射机制,消除了对应关系的不确定性并实现了实时渲染。然而,当前的基于3DGS的人体建模方法面临两个关键瓶颈:(i)由于线性混合皮肤(LBS)参数估计不准确导致的运动伪影;(ii)简单的高斯点管理策略导致冗余原子的产生和细粒度结构细节的丢失。图1(a)显示,仅依赖高斯点固有属性进行密度化操作会产生冗余的高斯点。
针对这些根本性限制,我们提出了3DGA这一新框架,通过原理性的LBS参数估计创新和智能高斯点管理创新解决了这两个瓶颈。我们的方法首先使用SMPL引导在标准空间初始化3D高斯点,然后通过可学习的前向皮肤映射将这些原子映射到观测空间。推动我们LBS改进的关键见解是,来自SMPL网格采样的直接监督提供了重要的几何约束:我们随机采样标准SMPL表面上的点,并利用其真实的皮肤映射权重来监督基于MLP的LBS偏移预测网络。这种基于网格的监督策略有效弥合了参数化身体模型和学习到的变形场之间的差距。
为了进一步完善我们的LBS改进,我们引入了一种革命性的双条件密度化策略,将高斯点管理从反应式的基于梯度的分割转变为主动的结构感知分配。传统方法[14], [15], [16], [17], [18], [19], [21], [22]是孤立操作的,仅考虑单个高斯点的属性而忽略了与相邻原子的关键空间关系。我们的创新在于通过KL散度分析量化局部结构密度:通过测量每个高斯点与其K个最近邻居之间的分布相似性,我们识别出需要结构增强的区域和那些过度表示的区域。这种基于密度的机制仅在同时满足几何梯度和结构不足条件时触发克隆/分割操作,从而显著减少了高斯点的数量(减少了12倍),同时提高了重建质量。
通过实验验证,本研究提出的方法相比现有最先进技术表现出更优越的性能,在显著缩短的训练时间内实现了更高的重建质量。具体来说,我们的方法仅需20分钟即可完成高质量3D化身重建,并达到140 FPS的渲染速度,这比其他现有方法有了显著提升。图2展示了我们的方法在自定义数据集上的有效性。我们的核心贡献可以总结如下:
  • •
    基于SMPL的LBS监督:我们提出了一种原理性的网格采样策略,利用真实的SMPL皮肤映射权重来监督基于MLP的LBS参数学习,显著减少了关节区域的运动伪影。
  • •
    基于KL散度的双条件密度化:我们提出了一种智能的高斯点管理机制,通过分布相似性分析量化局部结构密度,实现选择性密度化,消除了冗余原子并提高了结构保真度。
  • •
    卓越的效率与质量平衡:我们的框架实现了最先进的重建质量,同时大幅减少了训练时间(20分钟 vs. 小时),实现了实时渲染性能(140 FPS),并将高斯原子的数量减少了12倍,使得高保真化身建模适用于实际应用。
  • 相关研究

    相关工作

    在3D人体重建领域,传统技术长期以来依赖多台摄像头[23], [24]或深度传感器[25], [26]来生成高质量图像。尽管这些方法取得了良好的结果,但高昂的成本限制了其应用范围,主要限于专业领域。最近的进展[27], [28], [29]专注于从单个视频源重建3D人体。通过利用SMPL[30]等模型,它们将标准人体网格适配到视频中的2D特征点以实现

    提出的方法

    本文提出的方法主要用于从单目视频重建3D人体化身。该方法所需的输入包括使用校准过的摄像头拍摄的单目视频、拟合的SMPL参数和人体分割掩膜。所提出方法的整体流程如图3所示。

    ZJU-MoCap

    ZJU-MoCap [10]是一个多视图数据集,使用超过20个同步摄像头的系统捕捉多个人体动态视频。我们从ZJU-MoCap数据集中选取了六个序列(377, 386, 387, 392, 393, 394)用于训练和测试,并遵循HumanNeRF [4]的数据集分割方法。我们使用“Camera 1”拍摄的图像作为输入,并利用其他22个摄像头进行评估。数据集提供的相机矩阵、身体姿势和分割信息直接

    限制和失败情况

    尽管整体性能强劲,但我们的方法仍存在一些限制。首先,我们的方法依赖于SMPL初始化:不准确的SMPL姿势/形状(例如快速运动、严重遮挡)可能导致LBS监督效果不佳以及关节区域(手腕、肘部、臀部)周围出现残余运动伪影。其次,非刚性服装和配饰(如宽松的裙子、外套)、长发或手持物体没有被明确建模,可能会导致纹理拉伸或

    结论

    本文提出了3DGA,这是一种利用可变形3D高斯拼接从单目视频重建高保真3D人体化身的新框架。我们的方法通过两项互补的创新解决了基于3DGS的人体建模中的根本问题:使用SMPL网格采样监督进行准确的LBS参数估计,以及基于KL散度的双条件密度化进行智能高斯点管理。该方法展示了显著的优势,包括

    CRediT作者贡献声明

    尹振宇:撰写 – 审稿与编辑、监督、资源管理、项目协调、资金获取、形式分析、概念构思。史晓强:撰写 – 审稿与编辑、初稿撰写、可视化、软件开发、方法论设计、调查分析、概念构思。张飞卿:撰写 – 审稿与编辑、验证、形式分析、数据整理、概念构思。李东:监督、调查分析、形式分析。聂琳:资源管理、形式分析

    利益冲突声明

    作者声明他们没有已知的财务利益冲突或个人关系可能影响本文报告的工作。

    致谢

    本工作得到了辽宁省科技重大项目“智能设计关键技术与应用开发(2024JH1/11700043)”的支持。
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号