综述：AFTI：属性指导下的高泛化人脸模板反演

《Neural Networks》：AFTI: High-generalized Facial Template Inversion under Attribute Guidance

　　

• •
  新颖的属性引导面部模板反演策略：我们提出了一种简单而高效的方法，通过面部属性引导面部模板反演模型训练。该策略为反演过程引入了显式的语义约束，解决了模板到图像映射的模糊性问题。
• •
  轻量化反演网络实现最先进的性能：我们设计了UCNet，一个精简的深层网络，在LFW基准测试中取得了突破性性能。配备我们的属性引导后，UCNet在I类攻击下于1%假阳性率（FAR）时实现了0.9972的真正识率（TAR），在II类攻击下于1% FAR时实现了0.9673的TAR。值得注意的是，在更严格的0.1% FAR（II类攻击）条件下，其性能比NbNet [6]高出30%以上，比M-StyleGAN3 [16]高出约18%。
• •
  对SOTA反演框架的增强：将我们的属性引导策略与最先进的M-StyleGAN3相结合，取得了显著的性能提升：在ArcFace上于0.1% FAR时TAR提升30%，在II类攻击下对未见过的面部识别模型（AdaFace/MagFace）提升约40%。这展现了卓越的跨模型泛化能力——这对现实世界的攻击场景至关重要。

引言

近年来，生物特征已被广泛应用于现实世界应用中的身份识别。在这些特征中，面部特征因其非接触性、易用性和相对较低的实施成本而广受欢迎。它们在多个领域有着广泛的应用，如门禁控制（Ibrahim and Zin, 2011）、考勤追踪（Rekha and Ramaprasad, 2017）、地铁安全检查（Abdul-azeez et al., 2019）和移动支付（Feng et al., 2017）。尽管便捷，面部识别系统也存在显著的安全隐患。

在面部识别系统中，从注册的面部图像中提取一个模板（通常为特征向量）。该模板与个人身份密切相关，并且固有地包含关于个人的敏感信息。然而，为了便于身份验证，这些模板通常在没有加密或足够安全措施的情况下存储在数据库中。如果通过存储泄漏、传输拦截或内部威胁被攻破，这些模板可能会带来严重的隐私风险。在本文中，我们聚焦于针对面部识别系统的面部模板反演攻击，并提出了一种高泛化性的属性引导面部模板反演（AFTI）策略来重建面部图像（样本见图1）。图2展示了面部模板反演攻击的总体框图。通常，如果攻击者获得了面部模板的未授权访问权限，他可以通过三个阶段来攻破面部识别系统。首先，攻击者使用目标面部识别系统生成训练对，由面部图像及其对应的模板组成。随后，攻击者使用这些对训练一个反演器。最终，攻击者能够从相应的面部模板重建面部图像。这种攻击可以称为面部模板反演（Fredrikson et al., 2015）或面部重建（Mai et al., 2018）。重建的图像对隐私构成重大威胁，甚至可能使攻击者绕过面部识别系统。具体而言，潜在风险包括：

• •
  攻击者可以从重建的面部图像中推断出个人的软生物识别信息，如性别、年龄、种族等。
• •
  攻击者可以利用搜索平台（如Clearview AI¹或百度搜索引擎）搜索关于该个人的更多详细信息，包括其姓名、家庭住址和其他个人信息。
• •
  此外，攻击者可以利用重建的面部图像获得该个人所注册的面部识别系统的未授权访问权限，可能导致进一步的危害。

许多研究深入探讨了面部模板反演领域（Adler, 2003, Cole, Belanger, Krishnan, Sarna, Mosseri, Freeman, 2017, Dong, Jin, Guo, Teoh, 2021, Dong, Miao, Ma, Shen, Jin, Guo, Teoh, 2023, Duong, Truong, Luu, Quach, Bui, Roy, 2020, Fredrikson, Jha, Ristenpart, 2015, Mai, Cao, Yuen, Jain, 2018, Mignon, Jurie, 2013, Otroshi Shahreza, Marcel, 2024, Shahreza, Hahn, Marcel, 2024, Shahreza, Marcel, 2023b, Truong, Duong, Le, Savvides, & Luu, Vendrow, Vendrow, 2021），旨在重建能够绕过目标识别系统的面部图像。然而，如图3所示，现有方法往往无法在重建图像中保留关键面部属性（例如眼睛、鼻子、嘴巴），限制了其感知保真度和攻击成功率。通常，面部识别系统中的模板预计与面部属性高度关联，以更好地代表面部身份。具有相似面部属性的重建图像可能具有更好的泛化能力来绕过面部识别系统。

为解决该领域现有的研究空白，我们提出AFTI——一种利用面部属性施加显式语义约束的策略。本工作的主要贡献总结如下：

• 1.
  新颖的属性引导反演机制：我们整合了一个预训练的FANet来计算面部模板反演的属性损失，增强重建图像与原图像之间面部属性（例如眼睛、鼻子和嘴巴）的相似度。该设计施加了显式语义约束，缓解了模板到图像映射的模糊性。在属性引导下，反演器重建的面部图像能够高保真地保留40个面部属性。据我们所知，这是首次尝试将面部属性纳入面部模板反演，这显著提高了机器和人类视觉中的相似度。
• 2.
  用于有效反演的高效UCNet：我们设计了UCNet，一个由上采样、卷积和激活算子组成的精简深层网络，以验证AFTI的有效性。尽管结构简洁，UCNet重建的图像成功攻破了目标面部识别系统。具体而言，在LFW数据集上，UCNet在1%假阳性率下于I类攻击中实现了0.9972的真正识率，在II类攻击中实现了0.9673。这表明一个简单的网络在面部属性引导下也能实现有效的面部模板反演。
• 3.
  对SOTA方法的可泛化增强：我们将提出的属性损失整合到两种最先进的（SOTA）面部模板反演方法中（Otroshi Shahreza, Marcel, 2024, Shahreza, Hahn, Marcel, 2024）。消融实验和对比评估证实，我们的属性损失始终提升这些基线方法的性能——特别是在具有挑战性的II类攻击场景和跨未见过的识别模型方面——验证了其强大的泛化能力和对多样化反演框架的普遍适用性。

本文其余部分组织如下。第2节回顾了面部模板反演的相关工作。第3节概述了系统模型和安全模型。第4节详细介绍了我们提出的方法，随后在第5节呈现实验结果。最后，在第6节总结研究结论。

章节片段

相关工作

面部模板反演的研究已有超过二十年的历史。2003年，Adler（2003）提出了一种使用特征脸根据主体身份重建面部图像的方法。该算法包含四个步骤：1）建立一组图像并计算300个特征脸；2）通过访问面部识别系统，从图像集中选择与目标ID匹配分数最高的初始图像；3）将每个特征脸乘以一个小常数，将结果添加

系统与安全模型

本节定义了场景和问题，包括系统模型、攻击者的知识和攻击者的目标。

所提方法

面部模板反演方法旨在训练一个生成网络g_θ，从面部模板重建面部图像。作为基于深度学习的方法，其关键组件包括网络架构、损失函数和训练数据。先前的工作设计了复杂的网络架构，并在大规模、成熟的面部图像数据集上进行训练。虽然现有方法能够生成绕过目标面部识别系统的重建面部图像，但这些图像往往

实验结果

为验证我们提出方法的有效性，我们使用传统评估指标对重建图像与原图像之间的相似度进行了全面评估。此外，我们将重建图像输入到目标和未见过的面部识别系统中，以评估其身份保持性能。

结论

本文提出AFTI（属性引导面部模板反演），通过显式建模关键面部属性（眼睛、鼻子和嘴巴）来应对面部模板反演的挑战。我们设计了属性损失，并将其整合到两个互补的反演模型中：轻量化网络UCNet和利用生成能力进行高保真重建的M-StyleGAN3。两个模型都通过AFTI得到增强：UCNet的轻量化设计强调了${\mathcal{L}}_{att}$

未引用图表

表7，表8

CRediT作者贡献声明

Zixuan Shen：撰写 – 审阅与编辑，撰写 – 初稿，可视化，验证，指导，软件，资源，项目管理，方法论，调查，形式分析，数据整理，概念构思。Junheng Luo：软件，数据整理。Zhihua Xia：撰写 – 审阅与编辑，指导，项目管理，资金获取，形式分析，概念构思。Xi Yang：撰写 – 审阅与编辑。Kaikai Gan：验证，数据整理。Peipeng Yu：

利益冲突声明

作者声明他们不存在可能影响本文报告工作的已知竞争性经济利益或个人关系。

Zixuan Shen|Junheng Luo|Zhihua Xia|Xi Yang|Kaikai Gan|Peipeng Yu