从单个视频摄像头创建逼真的3D人体化身是计算机视觉领域最具挑战性的任务之一,对虚拟现实、游戏和数字内容创作具有变革潜力。从多摄像头采集系统到单目重建的转变取得了重大突破,但在重建质量、计算效率和实际应用需求之间仍存在根本性矛盾。
单目人体化身重建领域主要受到两种不同范式的主导,每种范式都有其独特的优势和局限性。基于神经辐射场(NeRF)的方法[1], [2], [3], [4], [5], [6], [7], [8], [9], [10], [11], [12]开创了隐式3D表示方法,利用逆向皮肤映射将观测数据转换为标准坐标。尽管这些方法实现了出色的逼真度,但它们存在对应关系不明确的问题以及高昂的计算成本,使得实时应用变得不切实际。
3D高斯拼接(3DGS)[13]的出现推动了向显式表示的转变[14], [15], [16], [17], [18], [19], [20], [21], [22],提供了正向皮肤映射机制,消除了对应关系的不确定性并实现了实时渲染。然而,当前的基于3DGS的人体建模方法面临两个关键瓶颈:(i)由于线性混合皮肤(LBS)参数估计不准确导致的运动伪影;(ii)简单的高斯点管理策略导致冗余原子的产生和细粒度结构细节的丢失。图1(a)显示,仅依赖高斯点固有属性进行密度化操作会产生冗余的高斯点。
针对这些根本性限制,我们提出了3DGA这一新框架,通过原理性的LBS参数估计创新和智能高斯点管理创新解决了这两个瓶颈。我们的方法首先使用SMPL引导在标准空间初始化3D高斯点,然后通过可学习的前向皮肤映射将这些原子映射到观测空间。推动我们LBS改进的关键见解是,来自SMPL网格采样的直接监督提供了重要的几何约束:我们随机采样标准SMPL表面上的点,并利用其真实的皮肤映射权重来监督基于MLP的LBS偏移预测网络。这种基于网格的监督策略有效弥合了参数化身体模型和学习到的变形场之间的差距。
为了进一步完善我们的LBS改进,我们引入了一种革命性的双条件密度化策略,将高斯点管理从反应式的基于梯度的分割转变为主动的结构感知分配。传统方法[14], [15], [16], [17], [18], [19], [21], [22]是孤立操作的,仅考虑单个高斯点的属性而忽略了与相邻原子的关键空间关系。我们的创新在于通过KL散度分析量化局部结构密度:通过测量每个高斯点与其K个最近邻居之间的分布相似性,我们识别出需要结构增强的区域和那些过度表示的区域。这种基于密度的机制仅在同时满足几何梯度和结构不足条件时触发克隆/分割操作,从而显著减少了高斯点的数量(减少了12倍),同时提高了重建质量。
通过实验验证,本研究提出的方法相比现有最先进技术表现出更优越的性能,在显著缩短的训练时间内实现了更高的重建质量。具体来说,我们的方法仅需20分钟即可完成高质量3D化身重建,并达到140 FPS的渲染速度,这比其他现有方法有了显著提升。图2展示了我们的方法在自定义数据集上的有效性。我们的核心贡献可以总结如下:
•基于SMPL的LBS监督:我们提出了一种原理性的网格采样策略,利用真实的SMPL皮肤映射权重来监督基于MLP的LBS参数学习,显著减少了关节区域的运动伪影。
•基于KL散度的双条件密度化:我们提出了一种智能的高斯点管理机制,通过分布相似性分析量化局部结构密度,实现选择性密度化,消除了冗余原子并提高了结构保真度。
•卓越的效率与质量平衡:我们的框架实现了最先进的重建质量,同时大幅减少了训练时间(20分钟 vs. 小时),实现了实时渲染性能(140 FPS),并将高斯原子的数量减少了12倍,使得高保真化身建模适用于实际应用。