RealTalk：基于 3D 先验引导身份对齐的实时音频驱动人脸生成

《Pattern Recognition》：RealTalk: Real-time audio-driven face generation with 3D prior-guided identity alignment

　　

• 实时说话人脸生成，引入改进的人脸先验引导。
• 音频与人脸历史信息联合提升唇形同步精度。
• 高质量人脸生成，强身份保持。

**引言**

近年来，音频驱动的人脸生成因其在实际应用中巨大的潜力而备受关注。生成逼真且富有表现力的说话人脸面临的主要挑战包括：(1) 确保唇音同步，使口型动作与音频输入相匹配。(2) 达到逼真的视觉质量，保留面部的细节和纹理。(3) 保持身份一致性，确保表情和面部特征与原个体保持一致。(4) 提升效率，实现快速且鲁棒的人脸生成，尤其是面向真实场景的应用。

现有人类通用的说话人脸生成方法大致可分为两类：实时方法和非实时方法，如表1所示。在实时方法中，Wav2Lip [1] 利用同步专家网络来改善唇形同步性能，实现精确的口型动作。TalkLip [2] 提出了一个高效框架，通过利用唇读专家来解决口型可读性问题。这些方法推理速度快，但通常存在生成效果不佳的问题，例如 Wav2Lip 中的模糊人脸或 TalkLip 中的面部伪影。

对于第二类方法，PC-AVS [3] 在说话人脸生成中引入解耦学习来处理身份、语音内容和姿态。DINet [4] 设计了变形部分和修复部分，以实现精确的口部运动和纹理细节。StyleTalk [5] 利用隐式风格码控制全局头部和面部运动。IP-LAP [6] 利用先验地标和外观信息的引导，提出了一个两阶段框架，包含音频到地标生成器和地标到视频生成模型。MuseTalk [8] 采用两阶段框架，在VAE潜在空间中进行时空采样以实现实时视频配音，平衡视觉保真度与唇形同步精度。LatentSync [7] 引入了一个端到端的唇形同步框架，使用音频条件潜在扩散模型生成高分辨率视频，其视觉效果优于实时方法，但耗时较长，不适用于真实场景。

为了同时实现实时效率和高质量说话人脸效果，本文提出了一种新颖的框架，称为 RealTalk，由一个将输入音频转换为3D表情系数的音频到表情Transformer和一个从估计的3D表情生成高保真说话人脸的表情到人脸渲染器组成。具体而言，RealTalk 有三个关键设计来提升性能和效率：

(1) **改进的人脸先验**：在音频到表情Transformer中引入跨模态注意力机制。之前的研究 [9], [10] 观察到并讨论了人脸外观受两个因素影响：身份和个体内变化（如表情、姿态、光照）。受此启发，我们通过在音频查询之外对3D形状和历史表情系数进行跨模态操作来丰富输入的人脸先验。其中，形状代表身份，而来自历史帧的表情捕捉了个体内的口型幅度变化。

(2) **可学习的人脸掩码**：作为连接两个网络的桥梁。不同于之前遮挡半个面部或采用固定位置黑色方块的方法，我们的方法利用从音频到表情Transformer中学习的3D表情，将其转换为自适应的人脸掩码，从而更好地根据输入音频估计输出面部结构，在面部轮廓生成和口型运动精度方面表现出更好的性能。

(3) **高效且有效的网络设计**：在表情到人脸渲染器中。我们强调了 FIA 模块在推理速度方面的优势，它主导了整体运行时间。不同于近期方法 [4], [6] 需要从多张参考图像中提取耗时的特征以提升视觉质量，我们的 FIA 模块精心设计了仅需1张图像即可实时生成高质量纹理。具体而言，不同于使用光流 [6] 或变形模块 [4] 的方法，我们设计了一个新颖的面部身份对齐（FIA）模块，以实现高保真的说话人脸合成。

总体而言，我们的贡献总结如下：
• 所提出的 RealTalk 通过对面部的形状和变化特征应用跨模态注意力机制，充分利用了改进的3D人脸先验，帮助预测更准确的面部表情。
• 所提出的 FIA 模块展现出强大的口型运动控制和纹理参考能力，从而在不牺牲效率的情况下产生高质量的面部图像。
• 所提出的 RealTalk 在说话人脸生成的准确性和效率（即30 FPS）方面是最具竞争力的选择之一，如图1所示。

**相关工作**

**音频驱动说话人脸生成。** 现有的音频驱动人脸生成方法主要可分为两类：个人特定方法和个人通用方法。个人特定方法 [11], [12], [13] 在推理前需要对特定个体进行训练或微调，而个人通用方法 [1], [3], [14], [15], [16], [17] 可以直接为未见过的个体生成说话人脸视频。

**方法概述**

我们的目标是在保持原始视频中面部身份一致性的同时，生成一个与目标音频片段唇形同步的视频。图2展示了我们的方法，包含两个阶段。在第一阶段，我们利用形状和历史表情作为条件，通过提出的音频到表情Transformer将音频映射为3D表情系数。在第二阶段，我们设计了一个轻量级的人脸渲染器，包含面部

**实验设置**

**实现细节。** 在我们的实验中，N=16，T=16，l=32。训练和推理时随机选择N个历史表情。我们在256 × 256分辨率下训练表情到人脸渲染器。身份参考图像设置为视频片段的第1帧。编码器和解码器的级数d为4，每级包含2个堆叠的残差块。具体而言，使用D3DFR模型 [28] 从视频帧中提取3DMM系数，包括形状、表情和

**结论**

我们提出了一种新颖的音频驱动框架 RealTalk，集成了音频到表情Transformer和高保真表情到人脸渲染器。我们改进的人脸先验通过在身份特征和个体内变化特征上进行跨模态注意力机制，能够灵活调整语音内容同时保持身份一致性。专门设计的可学习掩码解决了与改变面部结构相关的挑战。我们的FIA模块结合了AdaIN和跨注意力结构，实现了精确的

**CRediT作者贡献声明**

Zhihong Xu：撰写—初稿，可视化，软件，方法论，调研，形式分析，数据整理，概念化。Xiaozhong Ji：撰写—初稿，软件，方法论，调研，形式分析，数据整理，概念化。Peng Tang：撰写—审阅与编辑，验证，概念化。Xiaobin Hu：撰写—审阅与编辑，监督，项目管理，方法论，调研，形式分析，概念化。Jiangning Zhang：

**生成式AI使用声明**

作者声明在稿件准备的任何阶段，包括撰写、数据分析、图表生成或稿件编辑中，均未使用任何生成式AI工具或AI辅助技术。稿件的全部内容均由作者独立创作。

**利益冲突声明**

作者声明不存在可能影响本文所述工作的已知财务利益冲突或个人关系。

**致谢**

本工作得到国家自然科学基金（项目编号：62320106007）的资助。

Zhihong Xu | Xiaozhong Ji | Peng Tang | Xiaobin Hu | Jiangning Zhang | Ke Lu