GHOST 2.0：基于生成技术的高保真一次性头部图像迁移技术

《AI Open》：GHOST 2.0: Generative high-fidelity one shot transfer of heads

　　亚历山大·格罗谢夫|阿纳斯塔西娅·亚申科|帕维尔·帕拉莫诺夫|丹尼斯·迪米特罗夫|安德烈·库兹涅佐夫
俄罗斯AIRI的FusionBrain实验室

**摘要**
尽管面部交换任务最近在研究领域引起关注，但相关的头部交换问题却基本未被探索。除了肤色转移之外，头部交换还带来了额外的挑战，例如在合成过程中需要保持整个头部的结构信息，并修复头部与背景之间的缝隙。在本文中，我们通过GHOST 2.0来解决这些问题。GHOST 2.0包含两个针对特定问题的模块：首先，我们引入了改进的对齐模型用于头部重演，该模型能够在多个尺度上保留身份信息，并且对极端的姿势变化具有鲁棒性；其次，我们使用了Blender模块，该模块通过转移肤色和修复不匹配的区域，将重演后的头部无缝集成到目标背景中。这两个模块在相应任务上的表现均优于基线方法，从而实现了头部交换领域的最新成果。我们还处理了一些复杂情况，例如源头部和目标头部的发型差异较大。

**1. 引言**
虚拟人类的应用已经超越了单纯的娱乐范围，应用于电影和广告制作、虚拟试穿、深度伪造检测以及肖像编辑等领域。头部交换（即将目标图像中的头部替换为源图像中的头部）在这些应用中起着关键作用。这需要将源头部的动作重新模拟到目标头部，并将其与目标背景无缝融合。目前，关于头部头像的生成和动画化的研究正在进行中，主要利用了变形技术、生成对抗网络（GANs）和扩散模型（Drobyshev等人，2022年；Kirschstein等人，2023年；Siarohin等人，2019年；Zhang等人，2023a年）。然而，如何将生成的头部与周围环境融合的问题仍然没有得到充分解决。

最近，在面部交换相关任务方面取得了显著进展（Chen等人，2020年；Groshev等人，2022年；Zhu等人，2021年；Zhao等人，2023年）。这项任务要求在面部区域内保持源身份的完整性。由于忽略了头部形状和头发的信息，因此面部交换相比整个头部的交换来说是一个较为简单的问题。首先，用于控制身份传递的面部识别模型（Alansari等人，2023年；Deng等人，2019年）通常是在狭窄的面部图像上训练的，因此无法用于嵌入整个头部的身份信息，这就需要考虑其他模型来实现这一目标。其次，头部生成还涉及头发的生成，由于头发的高频纹理和多样化的样式，这是一个复杂的任务。最后，面部形状的变化通常比头部形状的变化要小，这意味着头部替换后可能需要更大的修复区域。与面部交换类似，目标头部的肤色也需要仔细地转移到生成的头部上，以获得真实的效果。

目前，关于头部交换任务的论文仍然很少。DeepFaceLab（Perov等人，2020年）迈出了第一步，该方法需要对每个源身份进行微调。后续的工作（StylePoseGAN，Sarkar等人，2021年）倾向于修改目标的背景和肤色。HeSer（Shu等人，2022年）是一项部分解决了上述问题的开创性工作，它将生成过程分为头部重演阶段和基于参考的融合阶段。随后出现了基于扩散的方法（Baliah等人，2025年；Han等人，2023年）。然而，最新的方法仍然存在头部生成质量和颜色传递方面的问题。

在本文中，我们提出了GHOST 2.0，这是一个用于头部交换的一次性高保真框架。它包含两个模块：用于头部重演的对齐器（Aligner）和用于将结果自然融合到目标背景中的Blender。对齐器包含一组编码器，用于获取源身份和目标运动的信息，这些信息随后用于条件化基于StyleGAN的生成器，以获得对齐的头部。这种架构选择确保了在实际应用中的良好性能，即使在极端姿势下也能支持高质量的生成。Blender创建头部颜色转移和背景修复的参考，并使用它们通过UNet（Ronneberger等人，2015年）将生成的头部与背景融合在一起。对于颜色转移，参考的组成基于生成头部和驱动头部各自部分之间的相关性。背景参考是通过屏蔽由于头部形状差异产生的潜在缝隙来确定的。这些参考用于条件化UNet，从而输出最终结果。

**我们的贡献包括：**
- 我们引入了一种新的头部重演模型，在多个指标上超越了现有方法。与仅关注面部区域的先前工作不同，该模型生成了完整的人头，同时考虑了低频和高频细节，并在不同尺度上保留了身份信息。此外，在使用相同的数据集进行训练时，它在极端姿势下的生成效果更优。
- 我们通过提高融合模块对极端情况的鲁棒性来提高最终生成的质量。具体来说，这包括源头部和目标头部的发型差异较大的情况，这种情况之前会导致头发转移不一致。此外，我们还考虑了目标头部缺乏源头部颜色参考的情况，从而导致颜色转移效果不佳。最后，我们改进了背景修复，以实现更无缝的融合。
- 我们为头部交换任务专门训练了一个新的分割模型。与现有的分割模型不同，我们对数据进行了标注，将胡须和面部毛发分为不同的类别，这对于正确的颜色转移是必要的。

**2. 相关工作**
**面部交换**
有大量的面部交换方法。概念上，它们可以分为几组。第一组方法（Chen等人，2020年；Groshev等人，2022年；Wang等人，2021年）提取源面部的身份向量和一些其他特征，并使用生成模型将它们与目标的属性融合在一起。这些方法通常依赖于ArcFace（Deng等人，2019年）模型和3D形状感知的身份提取器，后者可以编码面部的3D几何结构。还有一些方法（Zhu等人，2021年）基于StyleGAN2（Karras等人，2020年）。它们提出将源图像和驱动图像转换为潜在空间，然后送入StyleGAN2生成器中进行交换。这种方法可以获得更高分辨率的结果，但对输入数据敏感，在图像强烈旋转或细节较小时表现不佳。随着扩散模型的发展，出现了使用这种方法进行面部替换的方法（Chen等人，2024年；Zhao等人，2023年）。扩散模型可以产生高质量的结果，但通常速度较慢，需要大量的计算资源和足够的VRAM。

**头部交换**
关于头部交换的任务，相关的研究较少。DeepFaceLab（Perov等人，2020年）是第一个实现这一能力的方法。然而，它需要大量的源数据进行训练，并且在颜色转移和生成头部与背景的融合方面表现不佳。StylePoseGAN（Sarkar等人，2021年）通过根据姿势和结合的纹理图条件化StyleGAN（Karras等人，2020年）来进行头部交换，同时使用来自目标的身体部分和来自源的头部。尽管如此，它仍然倾向于修改目标的背景和肤色。HeSer（Shu等人，2022年）通过为每个任务设计单独的模块来解决这些问题。首先，它使用基于（Burkov等人，2020年）的头部重演模型来对齐源头部和目标的姿势和表情。在第二阶段，根据相同头部部分的像素之间的相关性创建颜色转移的参考。结合背景修复先验，这些参考用于条件化UNet（Ronneberger等人，2015年），从而将头部与背景融合在一起。虽然这种方法优于竞争对手，但它存在目标身份泄露的问题，并且无法为源图像中存在但在驱动图像中缺失的头部部分着色。虽然之前的方法基于GANs（Goodfellow等人，2014年），但也有人尝试使用扩散模型（Baliah等人，2025年；Han等人，2023年；Wang等人，2022b年；Ho等人，2020年）。然而，目前这些方法在姿态可控性、目标肤色的保留以及生成头部的整体真实性方面仍存在问题。

**头部重演**
头部重演方法大致可以分为基于变形的方法（Drobyshev等人，2022年；Siarohin等人，2019年；Wang等人，2022a年；Zakharov等人，2020年；Zhang等人，2023a年）和基于重建的方法（Chu等人，2024年；Deng等人，2024年；Li等人，2023年；Qian等人，2024年；Zielonka等人，2022年）。基于变形的方法利用目标的面部和表情描述符来变形源图像。这些描述符可以基于关键点（Siarohin等人，2019年；Zakharov等人，2020年）、来自参数模型的混合形状（Ren等人，2021年；Yin等人，2022年）或潜在表示。后者通常能够实现更好的表达性，但需要仔细分离目标和外观的运动。这可以通过使用特殊的损失函数（Drobyshev等人，2022年；Drobyshev等人，2024年；Pang等人，2023年）或嵌入到架构中的额外正则化来实现（Pang等人，2023年）。然而，基于变形的方法通常只有在源和目标姿势差异较小时才能表现良好。基于重建的方法（Chu等人，2024年；Deng等人，2024年；Li等人，2023年；Qian等人，2024年；Zielonka等人，2022年）构建源头部的潜在模型，因此对较大的姿势偏差具有鲁棒性。这些方法通常使用隐式表示（如TriPlanes（Ma等人，2023年；Ye等人，2024年）和NeRF（Bai等人，2023年；Zheng等人，2022年；Zielonka等人，2022年）或显式表示（如体素（Xu等人，2023年）、点云（Zheng等人，2023年）和网格（Grassal等人，2022年；Khakhulin等人，2022年），最近使用高斯拼接（Giebenhain等人，2024年；Qian等人，2024年）获得了特别真实的效果。然而，这些方法需要额外的步骤来估计每帧的相机参数，这会增加运行时间。此外，由于渲染的计算成本较高，输出图像的分辨率不超过256 × 256，更高分辨率的放大是通过额外的网络完成的。

**3. 方法**
我们的流程包含两个模块：对齐器（Aligner）和Blender。对齐器用于通过将目标运动转移到源头部来进行交叉重演。多个编码器从输入图像中提取不同尺度的相关信息，然后在解码器网络中融合这些信息。对两个头部进行位置对齐后，可以进行进一步的融合。它基于识别需要修复的区域，并为它们构建颜色参考。头部的颜色参考是通过相关性学习获得的，而对于背景，我们使用LaMa修复网络（Suvorov等人，2022年）。这些参考信息被提供给UNet网络，该网络将重演后的头部最终融合到目标背景中。

**下载：**
下载高分辨率图像（143KB）
下载全尺寸图像

**图1. 对齐器架构。**
两个外观编码器Epor和Eid获取源头部IS和面部裁剪IS的图像，并生成嵌入fpor和fid。运动编码器Emotion用于从目标图像IT中获取相应的嵌入fmtn。嵌入fpor、fid和fmtn被串联起来，并通过AdaIN（Huang和Belongie，2017年）层条件化生成器G。生成器以可学习的张量T作为输入，输出重演后的头部IA和二进制掩码Mreenact。

**3.1. 对齐器**
由于我们的目标是实际应用场景中的模型使用，我们选择了基于重建的头部重演方法以增强对大范围姿势变化的鲁棒性。为了更快、更轻量级的解决方案，我们采用了简单的架构，基于2D而不是3D体积表示，从而无需进行相机估计、渲染和额外的放大到更高分辨率。然而，原则上任何重演模型都可以在这个阶段使用，只要它能重建整个头部即可。

**对齐器架构。**
基于（Shu等人，2022年）的对齐器模块如图1所示。它包含一组编码器，用于从源图像和目标图像中提取相关信息，然后传递给生成器进行条件化。两个编码器Eid和Epor用于在多个尺度上编码源的身份。本地信息通过Eid编码，Eid是一个预训练的面部识别网络（Deng等人，2019年）。它以中心脸部裁剪图Crop(IS)作为输入，并输出面部嵌入fid∈R512。全局信息，包括头发和头部形状，由Epor提取，Epor接收完整的源图像并输出fpor∈R512。这种外观编码器的组合允许获得更细粒度的头部重建，同时对更具区分性的面部特征给予特别关注。为了嵌入驾驶时头部的姿势和面部表情，我们使用了运动编码器Emotion。给定完整的增强目标图像IT，它生成运动嵌入fmtn∈R256。我们通过在将其提供给Emotion之前，沿水平和垂直轴独立拉伸IT来解决运动与外观的解耦问题。通过这种方式，我们改变了人物的身份，同时保留了头部姿势和表情。获得的描述符fid、fpor和fmtn被连接起来，并通过AdaIN（Huang和Belongie，2017年）用于条件化StyleGAN风格的生成器G。该生成器以可学习的张量T∈R512×4×4作为输入，并通过一系列卷积块进行处理以获得最终图像IA，在每一步中注入外观和运动信息。为了稳定训练，生成器输出二进制头部掩码Mreenact以及重新呈现的头部。

本地信息由Eid编码，这是一个预训练的面部识别网络（Deng等人，2019年）。它以中心脸部裁剪图Crop(IS)作为输入，并输出面部嵌入fid∈R512。全局信息，包括头发和头部形状，由Epor提取，Epor接收完整的源图像并输出fpor∈R512。这种外观编码器的组合允许获得更细粒度的头部重建，同时对更具区分性的面部特征给予特别关注。为了嵌入驾驶时头部的姿势和面部表情，我们使用了运动编码器Emotion。给定完整的增强目标图像IT，它生成运动嵌入fmtn∈R256。我们通过在将其提供给Emotion之前，沿水平和垂直轴独立拉伸IT来解决运动与外观的解耦问题。通过这种方式，我们改变了人物的身份，同时保留了头部姿势和表情。获得的描述符fid、fpor和fmtn被连接起来，并通过AdaIN（Huang和Belongie，2017年）用于条件化StyleGAN风格的生成器G。该生成器以可学习的张量T∈R512×4×4作为输入，并通过一系列卷积块进行处理以获得最终图像IA，在每一步中注入外观和运动信息。为了稳定训练，生成器输出二进制头部掩码Mreenact以及重新呈现的头部。

HeSer（Shu等人，2022年）的原始Aligner架构包括独立的姿势编码器Epose和表情编码器Eexp。然而，我们遇到了目标身份泄露的问题，导致输出图像IA中目标身份和源身份混合。为了更深入地了解这个问题，我们进行了消融研究，以了解每个编码器嵌入了哪些信息（见图2）。我们使用Epose的典型姿势嵌入作为输出，并允许Eexp从目标图像中获取表情嵌入，从而生成Ipose。在这种情况下，头部仍然是以目标的姿势生成的，而不是典型的姿势。总体来说，与完整结果Ifull非常相似，除了肤色现在更接近源图像的肤色。另一方面，通过使用典型的表情和基于图像的姿势表示，我们获得了几乎具有典型表情和姿势的最终生成Iexp。这种消融表明Eexp学习了表情和姿势的嵌入，而Epose主要传输了目标的外貌。

接下来，我们决定对每个编码器进行规范化，以便将运动信息分割成有意义的独立嵌入。为此，我们尝试了不同的方法：（1）减小编码器的大小；（2）使用Drobyshev等人（2022年）、Pang等人（2023年）提出的解耦和循环损失；（3）使用Drobyshev等人（2022年）、Feng等人（2021年）提出的预训练编码器。然而，这些实验的性能都低于单一运动编码器Emotion的性能，后者将姿势和表情都嵌入到单个向量fmtn∈R256中。相关的消融结果见结果部分。

为了训练Aligner，我们使用了铰链对抗损失Ladv、特征匹配损失LFM（Salimans等人，2016年）、L1重建损失LL1、基于VGG的感知损失LpercVGG（Simonyan和Zisserman，2014年）以及dice损失Ldice（Sudre等人，2017年）。为了提高源身份的保留效果，我们引入了余弦LcosID和感知LpercID损失，这些损失比较了使用我们的预训练编码器Eid获得的IA和IS的嵌入和特征图。我们还注意到，使用新的组合运动编码器Emotion后，表达力降低了，而且嘴巴和眼睑的闭合不符合目标。我们引入了额外的情绪损失Lemo（Danecek等人，2022年）和关键点闭合损失，该损失比较了生成头部和驾驶头部之间嘴唇和眼睑的距离：(1) Lkpt=∑kilower∈Klower|kilower?kiupper|，其中Klower是下眼睑或嘴唇上的关键点集，kilower和kiupper分别是上下眼睑或嘴唇上的对称关键点。由于重新呈现的质量也受到诸如注视方向等微妙因素的影响，我们还在第1000个训练周期后引入了感知注视损失（Drobyshev等人，2022年）。有关损失的更多细节见附录（见图3、图5）。

下载：下载高分辨率图像（95KB）
下载：下载全尺寸图像

图2. 通过姿势编码器Epose和表情编码器Eexp学习的表征的消融结果。

接下来，我们决定对每个编码器进行规范化，以将运动信息分割成有意义的独立嵌入。为此，我们测试了不同的方法：（1）减小编码器的大小；（2）使用Drobyshev等人（2022年）、Pang等人（2023年）提出的解耦和循环损失；（3）使用Drobyshev等人（2022年）、Feng等人（2021年）提出的预训练编码器。然而，这些实验的性能都低于单一运动编码器Emotion的性能，后者将姿势和表情都嵌入到单个向量fmtn∈R256中。相关消融结果见结果部分。

为了训练Aligner，我们使用了铰链对抗损失Ladv、特征匹配损失LFM（Salimans等人，2016年）、L1重建损失LL1、基于VGG的感知损失LpercVGG（Simonyan和Zisserman，2014年）以及dice损失Ldice（Sudre等人，2017年）。为了提高源身份的保留效果，我们引入了余弦LcosID和感知LpercID损失，这些损失比较了使用我们的预训练编码器Eid获得的IA和IS的嵌入和特征图。我们还注意到，使用新的组合运动编码器Emotion后，表达力降低了，而且嘴巴和眼睑的闭合不符合目标。我们引入了额外的情绪损失Lemo（Danecek等人，2022年）和关键点闭合损失，该损失比较了生成头部和驾驶头部之间嘴唇和眼睑的距离：(1) Lkpt=∑kilower∈Klower|kilower?kiupper|，其中Klower是下眼睑或嘴唇上的关键点集，kilower和kiupper分别是上下眼睑或嘴唇上的对称关键点。由于重新呈现的质量也受到诸如注视方向等微妙因素的影响，我们还在第1000个训练周期后引入了感知注视损失（Drobyshev等人，2022年）。有关损失的更多细节见附录（见图3、图5）。

下载：下载高分辨率图像（112KB）
下载：下载全尺寸图像

图3. 数据预处理阶段获得的掩码。

下载：下载高分辨率图像（48KB）
下载：下载全尺寸图像

图4. 修复掩码MAI增强的示例。

下载：下载高分辨率图像（235KB）
下载：下载全尺寸图像

图5. Blender架构。重新呈现的IA和目标IT图像经过预处理，以获得灰度动画头部IAGH、目标背景ITBG以及定义头部和背景修复区域的掩码MAH和MAI。此外，IA和IT还被传递到参考创建模块，以获得头部颜色参考IT→AHR，用于颜色转移。背景参考IT→AIR是通过外部修复模块（Suvorov等人，2022年）获得的。这些输入被传递到Blending UNet以获得最终结果IB。

3.2. Blender
我们的Blender基于Shu等人（2022年）的相应模块。它包括数据预处理、颜色参考创建和混合步骤。

数据预处理阶段为颜色转移和背景修复准备输入。特别是，第一个问题被视为将灰度重新呈现的头部重新着色为目标头部的颜色。为此，从重新呈现的图像IA中获取头部区域的分割掩码MA和二进制头部掩码MAH。同样，从目标图像IT中获取目标分割MT和头部MTH掩码。然后获取需要着色的头部灰度图像IAGH=Gray(IA?MAH)。此外，我们需要定义由于源和目标头部形状差异而需要修复的背景区域。为此，将重新呈现的MAH和目标MTH头部掩码的并集MU扩大为扩大的头部掩码M?AH。然后需要修复的区域表示为MAI=M?AH?MAH。作为背景修复的颜色参考的区域定义为MTI=M?TH?MTH，其中M?TH是扩大的目标头部掩码MTH。最后，可以获得无头部的背景ITBG=IT?(1?M?AH)。此外，我们引入了修复掩码MAI的增强，以增强大面积不匹配区域的修复效果（见图4）。

颜色参考创建。下一步是为背景修复和头部颜色转移提供颜色参考。这些参考的创建基于学习输入IA和目标IT图像相应语义区域之间的相关性。在训练相应的参考创建（RC）模块时，相同的图像同时作为输入IA和目标IT。为了防止网络仅从相同位置复制像素，对IA应用随机颜色增强C′，对IT应用随机水平翻转F。基于使用特征金字塔网络（FPN）（Lin等人，2017年）为IA和IT获得的表示，在潜在空间中进行相关性学习：(2) fA=FPN(C′(IA)) (3) fT=FPN(F(IT))。接下来，计算每个空间位置的特征fA和fT之间的相关性。这用于在接下来的步骤中重采样时对像素进行加权。对于每个语义区域r∈{面部、耳朵、眼睛、眉毛、鼻子、嘴唇、嘴巴、牙齿、胡子、头发、眼镜、帽子、耳机、耳环}，计算相关矩阵Γr∈RNAr×NTr，其中NAr和NTr是输入IA和目标IT图像中区域r的像素数量。因此，每个元素Γr(u,v)的计算方式为：(4) Γr(u,v)=f?Ar(u)Tf?Tr(v)‖f?Ar(u)‖‖f?Tr(v)‖，u∈MAr，v∈MTr，其中f?Ar(u)和f?Tr(v)是位置u和v处的通道中心化特征fA和fT。然后通过softmax对Γr(u,v)进行归一化，并用于确定IT中每个像素v对头部参考图像IT→Ar(u)中像素u的颜色贡献：(5) IT→Ar(u)=∑u∈MTrsoftmaxv(Γr(u,v)/τ)?IT(v)，u∈MAr，其中τ是温度系数。总体而言，头部颜色参考IT→AHR的计算基于以下输入：(6) IT→AHR=RC(fA,MA,fT,MT,IT?MTH)。然而，在推理过程中，如果重新呈现的图像IA中存在某个区域但目标图像IT中不存在，则可能发生标签不匹配的情况。在这种情况下，由于没有给定该区域的颜色参考，Blending UNet不会对该区域进行着色。为了解决这个问题，我们提出从IT的其他语义相关区域分配颜色。如果找不到这样的区域（例如，IA中有帽子但IT中没有），或者该区域太小而无法提供可靠的参考，我们就从原始图像IA中复制颜色。

为了创建颜色修复参考IT→AIR，我们使用了LaMa模型（Suvorov等人，2022年），该模型基于修复掩码MAI。我们发现这个解决方案比使用RC模块创建的质量更高。

3.3. 分割
为了使我们的模型正常工作，需要一个高质量的分割模型——它将用于Blender模块以及在预处理阶段选择头部。该模型有两个主要要求：它必须能够将发型和面部毛发作为单独的类别进行分割，并且必须是可叠加的，即分割方式应允许我们将各个部分组合成完整的头部。此外，每个区域在颜色上应该是均匀的——例如，“胡子”类别不应与“皮肤”类别重叠，因为这些区域将用于后续的颜色转移。为了训练模型，我们收集并标注了20,000张FullHD图像的数据集（Kapitanov等人，2023年），并基于此训练了一个分割模型。我们选择了Segformer-B5（Xie等人，2021年）作为面部解析和分割模型。结果，该模型可以分割以下类别：背景、人物、皮肤、左眉毛、右眉毛、左眼睛、右眼睛、嘴巴、牙齿、嘴唇、左耳朵、右耳朵、鼻子、脖子、胡子、头发、帽子、耳机、眼镜、耳环。图8展示了我们模型与BiSeNet（Yu等人，2018年）的视觉比较。表1展示了在512 × 512和256 × 256分辨率下头部重演的定量结果。方法：自我重演（256 × 256）；跨重演（256 × 256）；空单元格。CSIM ↑；LPIPS ↓；PSNR ↑；SSIM ↑；CSIM ↑；FID ↓；X2Face：0.79；0.20；19.66；0.72；0.64；41.95；FOMM：0.85；0.13；21.83；0.78；0.63；28.12；PIRender：0.83；0.17；19.46；0.70；0.67；19.95；双层 Networks：0.79；0.20；20.33；0.77；0.65；32.70；DaGAN：0.79；0.21；19.19；0.71；0.58；44.00；DPE：0.85；0.16；20.92；0.77；0.61；50.61；LIA：0.84；0.13；22.11；0.79；0.66；24.19；TPSMM：0.84；0.12；21.86；0.80；0.65；22.06；我们的方法：0.75；0.12；22.30；0.82；0.62；36.89。

方法：自我重演（512 × 512）；跨重演（512 × 512）；空单元格。CSIM ↑；LPIPS ↓；PSNR ↑；SSIM ↑；CSIM ↑；FID ↓。HeSer：0.78；0.14；22.99；0.86；0.61；35.33；StyleHEAT：0.79；0.57；8.79；0.58；0.67；75.86；我们的方法：0.75；0.14；22.04；0.85；0.63；29.57。

4. 实验
4.1 实验设置
我们使用VoxCeleb2（Chung等人，2018年）数据集在512 × 512和256 × 256分辨率下训练和评估我们的模型。由于一些视频的质量较低，我们使用图像质量评估方法（Su等人，2020年；Wang等人，2023年）对数据进行了过滤，保留了原始数据集的大约70%。我们还通过裁剪面部和头部区域以及使用Feng等人（2021年）的方法计算关键点来预处理数据。最终的训练集和测试集分别包含135500个和5500个视频。数据分割的目的是为了避免训练集和测试集中的身份重叠。在训练期间，我们从同一个视频中采样源视频和目标视频，而在推理阶段，它们可以具有不同的身份。

4.2 对齐器评估
为了评估我们的对齐器和Blender与基线的性能，我们使用LPIPS（Zhang等人，2018年）、SSIM（Wang等人，2004年）和MS-SSIM（Wang等人，2003年）来评估感知质量，并使用PSNR来衡量重建误差。对于对齐器，为了比较源身份的保留情况，我们计算了面部识别模型（Deng等人，2019年）的嵌入之间的余弦距离（CSIM）。在跨重演中，我们还使用了Frechet-Inception距离（FID）（Heusel等人，2017年）。此外，对于Blender，我们还测量了背景修复的PSNR（PSNRinpainting）和头部颜色传输的PSNR（PSNRhead）。

4.3 对齐器评估基线
我们的对齐器在512 × 512和256 × 256分辨率下与开源基线进行了比较。我们注意到，大多数竞争模型都是针对狭窄的面部区域进行训练的，因此无法重建整个头部和头发。在512 × 512分辨率下，只有少数2D重演模型可用。我们与基于StyleGAN（Karras等人，2019年）反转的StyleHEAT（Yin等人，2022年）进行了比较。此外，我们还在512 × 512分辨率下训练了HeSer（Shu等人，2022年）的基线模型，用于完整头部的合成。在256 × 256分辨率下，我们与以下基于变形的方法进行了比较：一阶运动模型（FOMM）（Siarohin等人，2019年）、PIRenderer（Ren等人，2021年）、深度感知生成对抗网络（DaGAN）（Hong等人，2022年）、姿态和表情解耦（DPE）模型（Pang等人，2023年）、潜在图像动画器（LIA）（Wang等人，2022a）和薄板样条运动模型（TPSMM）（Zhao和Zhang，2022年）。我们还包括了基于潜在面部重建和目标运动的方法：X2Face（Wiles等人，2018年）和快速双层神经合成（Zakharov等人，2020年）。所有这些方法只生成狭窄的面部区域，而不是整个头部。

表1展示了在512 × 512和256 × 256分辨率下自我和跨重演场景的结果。在512 × 512分辨率下，HeSer（Shu等人，2022）在自我重演方面几乎在所有指标上都优于其他方法。这主要是由于目标身份泄漏到最终生成结果中，提供了关于期望结果的额外信息。然而，在跨重演方面，它的表现不如GHOST 2.0。如图9所示，GHOST 2.0在保留源身份和皮肤颜色方面表现明显更好，而HeSer产生的身份是源身份和驾驶员身份的混合。与StyleHEAT相比，我们的模型在极端姿势下的生成更加稳定，尽管在正面视角下的身份保留方面可能稍逊一筹。在256 × 256分辨率下，我们在自我重演方面在LPIPS、PSNR和SSIM上优于其他方法。这在很大程度上归因于我们的方法在困难姿势下的生成稳定性。基于变形的方法只在小位移情况下表现良好，否则会导致严重的面部变形和伪影。然而，它们通常在身份保留方面表现出色，这一点通过CSIM在自我和跨重演上的成绩得到了证明。请参阅补充材料以获得模型的视觉比较。

我们还在256 × 256和512 × 512分辨率下对我们的对齐器与竞争对手进行了并排比较。我们请用户根据以下标准选择表现最好的模型：源身份保留（UAPP）、目标运动传输（UMTN）和整体生成质量（UQLT）。表2和表3展示了每种模型被选择的例子百分比。由于在256 × 256分辨率下我们有大量的模型进行比较，我们首先将它们分成三组，然后在每组内部进行比较，然后再比较这些组的胜者。平均而言，测试数据集中的每张图像都展示了给41位用户。

我们的方法在运动保留和生成质量方面大幅优于竞争对手，并且在身份保留方面也明显优于大多数方法。一些方法，如DPE（Pang等人，2023年）或LIA（Wang等人，2022a），在处理大角度头部旋转时无法生成图像，产生空白输出。我们的方法对各种头部姿势和表情表现出鲁棒性。

我们进行了消融研究来证明我们结合运动编码器Emtn的设计。我们比较了不同的策略，通过特殊损失和架构变化来解耦姿态和面部表情描述符。结果如表4所示。除了FID和CSIM，我们还使用平均关键点距离（AKD）来衡量运动传输。

表4展示了不同解耦策略在目标运动和身份之间的跨重演结果。
方法：FID ↓；CSIM ↑；AKD ↓
HeSer：28.63；0.57；0.010
较小的编码器：28.38；0.62；0.011
DECA编码器：35.41；0.63；0.016
DPE损失：31.70；0.60；0.010
结合的Emtn：26.83；0.62；0.010

在HeSer中，使用了两个独立的MobileNetV2（Sandler等人，2018年）编码器来捕捉姿态和表情。我们还进行了实验，将它们的通道数量减半，迫使它们只学习相关信息。在其他实验中，我们用DECA（Feng等人，2021年）的预训练编码器替换了它们，并尝试使用DPE（Pang等人，2023年）的循环损失来解耦表示。我们的结合编码器Emtn在所有指标上都取得了最佳质量。关于其他消融和AKD计算的更多细节，请参阅补充材料。

表5展示了头部融合的定量结果。
方法：原始数据；空单元格
LPIPS ↓；SSIM ↑；MSSIM ↑；PSNR ↑；PSNRinpainting ↑；PSNR
头部 ↑：基线：0.03；0.97；0.99；33.86；35.13；42.13
REFace：0.24；0.89；0.78；23.45；36.72；29.29
InstantID + SDXL修复：0.10；0.94；0.91；29.49；38.54；30.38
外部修复：0.02；0.98；0.99；36.65；37.98；45.83

方法：掩码增强和源颜色抖动
空单元格
LPIPS ↓；SSIM ↑；MSSIM ↑；PSNR ↑；PSNRinpainting ↑；PSNR
头部 ↑：基线：0.09；0.93；0.95；27.76；28.15；41.25
外部修复：0.06；0.95；0.95；28.21；28.45

表5展示了我们的方法在头部交换任务上的GHOST 2.0的结果。我们的方法实现了重演头部与目标背景的自然融合，皮肤颜色、光照和对比度与图像的其余部分相匹配。

4.3 Blender评估
为了评估我们的Blender并证明其中的外部修复用法，我们在相同的数据上训练了基线HeSer Blender。此外，我们还将它与基于扩散的头部交换方法进行了比较，例如REFace（Baliah等人，2025年）和InstantID（Wang等人，2024年）。对于后一种解决方案，我们首先使用InstantID（Wang等人，2024年）根据面部关键点生成源头部，然后使用SDXL（Podell等人，2023年）修复模型将结果头部融合到目标背景中。应该注意的是，这两种解决方案经常无法保留身份和目标皮肤颜色。我们在补充材料中进一步详细讨论了使用常见的图像编辑方法进行头部交换。如表5所示，我们的版本在使用外部修复时在几乎所有指标上都优于基线和竞争对手。此外，对于外部修复和基线，我们还展示了在使用额外数据增强进行训练时的结果。我们的解决方案在这个场景中也表现更好，即使在源和目标有显著差异的困难情况下也没有失败（见图10）。此外，我们在补充材料中的图H.7中展示了我们的模型在真实生活和户外照片上的推理结果。尽管我们的模型在大多数情况下都能很好地应对，但有时Kandinsky模型在后期处理时会产生幻觉，并可能在修复多余头发时产生额外的属性，如领子。此外，重新演出的源头部的头发仅在裁剪区域内生成。如果目标人物的头发较短，那么在结果图像中源头部的头发可能会不自然地从下方被裁剪掉。

我们还尝试了基于扩散的修复模型，如Kandinsky 2.2（Shakhmatov等人，2023年）和Stable Diffusion XL（Podell等人，2023年）。结果的讨论可以在补充材料中找到。

5. 结论
我们提出了一种两阶段方法，用于真实场景中的头部交换。我们通过将姿态和表情编码器合并到单个运动编码器中来改进对齐器架构，从而解决了驾驶员身份泄漏的问题。我们的头部重演模型在定性和定量指标上均优于其他方法，并且对大角度变化更加鲁棒。我们还在融合过程中引入了额外的改进，以提高头部传输和修复的质量，从而获得了比基线解决方案更好的结果。我们模型的局限性如下：在某些情况下，我们的方法无法再现源外观的细节。这可以通过在对齐器中使用更强的外观编码器来解决。关于Blender，如果相应颜色参考区域较小，某些面部部分可能无法均匀着色。此外，通过减少额外服装属性（如领子）的生成和改善头发处理，可以改进融合阶段。复杂的照明条件在融合过程中也可能产生较差的结果。

CRediT作者贡献声明：
Alexander Groshev：可视化、软件、方法学。
Anastasiia Iashchenko：写作——原始草稿、可视化、方法学、数据管理、概念化。
Pavel Paramonov：可视化、软件、方法学、数据管理。
Denis Dimitrov：监督、项目管理。
Andrey Kuznetsov：监督、项目管理。