GAT-NeRF：一种基于几何感知的Transformer增强型神经辐射场技术，用于生成高保真度的4D面部虚拟形象

《ACM Transactions on Multimedia Computing, Communications, and Applications》：GAT-NeRF: Geometry-Aware-Transformer Enhanced Neural Radiance Fields for High-Fidelity 4D Facial Avatars

针对单目视频高保真4D动态人脸重建的挑战，提出GAT-NeRF框架，融合Transformer与MLP，通过几何感知模块和多模态输入融合提升高频细节建模，实验验证其在视觉质量与细节恢复上的优越性，推动虚拟现实人像应用。

　　

摘要

从单目视频中重建高保真度的4D动态面部头像是一项至关重要但具有挑战性的任务，这一需求随着沉浸式虚拟人应用的日益增长而变得更加迫切。虽然神经辐射场（NeRF）在场景表示方面取得了显著进展，但它们在捕捉高频面部细节（如动态皱纹和细微纹理）方面仍存在不足，尤其是在信息受限的单目视频流中。为了解决这一难题，我们提出了一种新颖的混合神经辐射场框架——几何感知Transformer增强型NeRF（GAT-NeRF），用于实现高保真度和可控性的4D面部头像重建。该框架将Transformer机制集成到了NeRF流程中。GAT-NeRF巧妙地结合了坐标对齐的多层感知器（MLP）和轻量级的Transformer模块（称为几何感知Transformer，GAT），后者能够处理包含显式几何先验的多模态输入。GAT模块通过融合多种输入特征（包括3D空间坐标、3D可变形模型（3DMM）表达参数以及可学习的潜在编码）来有效学习和增强与精细几何结构相关的特征表示。Transformer强大的特征学习能力被用来显著提升对复杂局部面部特征（如动态皱纹和痤疮疤痕）的建模效果。全面的实验结果无疑证明了GAT-NeRF在视觉保真度和高频细节恢复方面的领先性能，为创建用于多媒体应用的真实动态数字人物开辟了新的途径。