基于细粒度文本描述的人脸生成评估

《Pattern Recognition Letters》：Face Generation Evaluation Based on Fine-grained Textual Descriptions

　　

• •
  我们提出了一个基准，用于评估从细粒度文本生成人脸的公平性。
• •
  我们量化了现有方法的偏差，并分析了背后的原因。
• •
  该基准可作为数据集，用于改进人脸生成模型。

引言

从细粒度文本描述中生成具有特定特征的人脸是一项有意义的任务。其中最突出的应用之一是电子面部识别技术（E-FIT）[1]，在这项技术中，法证艺术家需要根据目击者的详细描述（如大眼睛/小眼睛、宽鼻子/窄鼻子等）制作人脸图像。

近期的图像生成方法 [3]、[4] 在图像合成方面取得了实质性进展，并有潜力完全自动化 E-FIT。然而，现有方法 [5]、[6] 主要局限于粗粒度描述，对细粒度层面描述的探索仍然有限。

为了充分释放现有人脸生成方法的潜力，需要一个能够提高训练和评估任务粒度的基准。这样的基准可以更忠实地评估生成模型的性能，更重要的是，它可以作为数据集来改进文本到人脸的生成模型。构建这样的基准涉及提供具有相应细粒度面部特征描述的人脸图像。更重要的是，需要公平的指标来指示生成的人脸是否与提供的描述相匹配 [7]。

在本工作中，我们做出了几项贡献，以推进从细粒度文本描述生成人脸的应用。首先，基于人脸重建方法和真实数据的统计，我们为真实人脸图像标记了相应的面部特征文本描述。我们还提出了两个指标，用于测量生成人脸与文本描述之间的实例级和分布级语义相似度。我们将此基准称为 ETGF（细粒度评估文本到人脸生成），它使得能够量化当前方法的偏差。最后，我们表明，在 ETGF 基准上训练扩散模型，在给定更详细的描述时，生成的具有更多期望特征的人脸，如图 1 所示。我们的代码和数据已提供²。

总之，我们的贡献是：

• •
  我们提出了一个基准，包含人脸图像和细粒度文本描述对，以及用于公平评估人脸生成模型的两个指标。
• •
  所提出的基准提供了一个数据集，事实证明它在改进生成人脸的期望特征方面是有效的。
• •
  我们量化了现有方法的偏差，并解析地展示了它们的缺陷。

章节摘要

相关工作

随着生成模型 [8]、[9] 的进步，文本驱动的人脸生成引起了广泛关注。目前的主流方法主要包括基于生成对抗网络（GANs）[10]、[11] 和扩散模型 [12]、[13] 的架构。尽管当前的文本驱动人脸生成模型在图像质量、多样性和语义对齐方面取得了显著改进，但仍有两个核心挑战存在：细粒度文本注释不足以及一个

方法

在本工作中，我们提出了一个基准，通过从三维几何特征派生的细粒度文本描述来丰富现有的人脸数据集，并引入了两个指标，用于在实例和分布层面评估人脸生成模型。有关基准的概览，请参见图 2。

实施细节

数据集 我们在第 3.1 节中详述的那样，通过为每个人脸图像添加细粒度属性标签，扩展了 CelebA-HQ 数据集 [29]。请注意，我们的方法也可以应用于其他人脸数据库。

扩散模型训练 为了展示我们基准的有效性，我们采用潜在扩散模型 [12] 作为人脸图像生成框架，并在我们基准的数据集上进行训练，称为 ours（我们的）。整体训练流程如图 4 所示。具体来说，我们

CRediT 作者贡献声明

Anni Zhang：撰写 – 审查与编辑，撰写 – 初稿，方法论，调查，形式化分析。Chunlu Li：撰写 – 审查与编辑，撰写 – 初稿，验证，方法论，构思。Yi Yu：方法论，构思。Feipeng Da：监督，项目管理，资金获取。Shaoyan Gai：监督，项目管理，资金获取。

利益冲突声明

作者声明他们没有已知的相互竞争的经济利益或个人关系，这些关系可能影响本文报告的工作。

Anni Zhang|Chunlu Li|Yi Yu|Feipeng Da|Shaoyan Gai