Topo4D++：基于物理的真实4D头部捕捉技术，采用保持拓扑结构的高斯散布算法和表情先验模型

《IEEE Transactions on Pattern Analysis and Machine Intelligence》：Topo4D++: Realistic Physically Based 4D Head Capture With Topology-Preserving Gaussian Splatting and Expression Priors

4D头捕捉自动生成动态面部网格与8K BRDF纹理，提出Topo4D++框架优化高斯分割模型，结合JHead基准验证其在多系统、多身份及极端表情下的优越性。

　　

摘要：

4D头部捕捉旨在生成具有相同拓扑结构的动态面部网格及其对应的UV贴图，这需要3D头部模型之间的时间对应关系。现有的处理流程要么依赖艺术家的手动操作，要么使用地标跟踪和光流等约束方法，但难以在准确性和效率之间取得平衡。为改进这一过程，我们提出了Topo4D++，这是一个新颖的自动几何和纹理重建框架，能够直接从校准过的多视图视频中优化密集对齐的4D头部和8K BRDF（双向反射分布函数）贴图。我们的核心思想是将面部模型表示为一组具有固定拓扑结构的动态3D高斯点，其中高斯点的中心与网格顶点相连接。这种方法利用3D高斯散射（3DGS）的逆向渲染能力，能够准确追踪所有面部顶点（而不仅仅是稀疏的顶点），同时实现超高分辨率的纹理生成。为了在动态3DGS优化过程中保持面部结构，我们提出按帧在物理和拓扑约束下交替优化几何和纹理，并采用基于blendshape的表情先验来处理极端表情。接着，我们从学习到的高斯点中提取出具有规则排列和高保真细节的动态面部网格及纹理。最后，我们训练了一个基于扩散的模型来生成BRDF纹理贴图，以实现基于物理特性的渲染效果。由于缺乏通用的评估标准，我们构建了JHead这一新的基准测试工具，用于全面评估4D头部捕捉方法。在多个数据集上的广泛实验表明，我们的方法适用于不同的捕捉系统、人物和表情，并在网格和纹理质量方面均优于当前最先进的头部重建方法。

引言

4D头部捕捉的目标是获取具有固定拓扑结构的连续面部数据，包括网格和纹理。该技术广泛应用于娱乐媒体领域，如电脑游戏、电影和交互式AR/VR，能够生成动态且逼真的面部动画，从而提升沉浸感和视觉效果。要创建引人入胜的4D面部资产，需要解决以下关键挑战：1）忠实再现具有固定拓扑结构和UV贴图的面部；2）在不同帧之间保持时间稳定性，尤其是在极端表情下；3）重建高保真的几何细节和高质量的BRDF纹理贴图；4）在考虑运行时间和自动化程度的同时，确保框架的高效率。