用于更宽视角人脸识别攻击的3D对抗性对象生成技术

《Knowledge-Based Systems》：3D adversarial objects generation for wider-view face recognition attacks

　　

孟凌壮|邵明文|桥远健|吕翔|万叶聪|苏航

中国石油大学（华东）计算机科学与技术学院软件研究院，青岛，266580，山东，智能油气工业软件关键技术实验室

摘要

现有的针对面部识别的对抗性攻击方法主要研究在单视角面部图像上生成2D对抗性对象以欺骗面部识别系统。然而，当面部视角发生变化时，这些方法就无法发挥作用，这限制了它们在3D场景中的有效性。为了克服这一限制，我们提出了一种新的3D对抗性对象生成方案（3DAO），以欺骗更广泛视角下的面部识别。具体而言，3DAO利用3D高斯扩散的显式建模能力生成具有精确结构表示和多视图一致性的对抗性对象，该方案包括两个核心设计：对象初始化和对象优化。前者通过专门的高斯定位策略识别与目标对象最相关的高斯分布，从而准确初始化对抗性对象的高斯分布，避免由冗余高斯分布引起的伪影。随后，后者利用设计的约束来优化对抗性对象，从而在保证视觉质量的同时实现对抗效果。得益于上述精心设计，生成的对抗性对象不仅能够成功从多个视角发起攻击，而且保持了自然的外观。大量实验表明，我们3DAO生成的对抗性对象（例如眼镜和口罩）在更广泛的视角范围内表现出优于现有最先进技术的效果，并具有更好的隐蔽性。

引言

由神经网络驱动的面部识别系统被广泛应用于各种领域，如访问授权、移动支付和安全身份验证[1]。然而，对抗性攻击的兴起对这些多媒体系统构成了严重的安全威胁。即使图像中的微小扰动也可能导致面部识别系统的错误判断[2]、[3]。这类漏洞在金融交易或处理机密信息等敏感领域尤其危险。因此，研究针对面部识别系统的对抗性攻击对于识别潜在弱点[4]、[5]、[6]以及开发强大的防御策略[7]至关重要。

早期的面部识别攻击专注于2D图像，采用像素级[8]、[9]、[10]、[11]、[12]或片段级[13]、[14]、[15]、[16]、[17]的修改来欺骗识别系统。例如，杨等人[18]研究了传统梯度攻击在面部识别中的有效性，证明微小的像素级扰动可以成功欺骗面部识别系统。为了提高攻击的隐蔽性，一些方案采用了风格转换来实现攻击，例如添加化妆品[10]或修改面部图像的风格[8]。这些方法通过模仿自然面部特征带来了更自然的视觉效果。然而，噪声扰动难以转移到现实世界中，限制了它们在现实场景中的实用性。为了克服这一限制，研究人员探索了添加各种对抗性补丁的方法，如对抗性眼镜[13]、[19]和对抗性帽子[15]，这些方法提供了更加自然且可实现的攻击。

这些对抗性对象能够更无缝地与面部区域融合，并且在打印并在现实世界中使用后仍然保持对抗效果。然而，上述2D对抗性对象通常在3D世界中无法发动攻击[20]，因为由于视角变化导致的错位和失真，扰动变得无效。此外，在实际应用中，面部识别系统部署在动态环境中，图像是从不同的视角、姿势和相机配置下捕获的。在这种条件下，局限于单一视角的对抗性扰动在视角改变时往往无法保持其有效性。因此，确保多视图一致性对于构建在多种观察条件下仍有效的对抗性攻击至关重要。

为了生成更强大的对抗性对象，已经提出了几种基于3D网格的面部识别攻击方案[21]、[22]、[23]。这些方法根据参考图像的3D结构构建3D网格形式的对抗性口罩，使攻击者能够实际佩戴口罩来欺骗面部识别系统。例如，杨等人[22]、[23]利用3D变形模型[24]重建参考图像的面部几何形状，并设计了一种带有对抗性纹理的3D网格作为对抗性对象，克服了2D对抗性对象的平面限制，在现实世界中实现了显著的攻击效果。然而，上述方案仅生成固定视角面部图像的对抗性对象，忽略了面部视角变化的影响，这大大限定了3D场景中不同视角下的攻击成功率。

为了解决上述限制，我们提出了一种新的3D对抗性对象生成方案（3DAO），如图1所示，可以从更广泛的视角欺骗面部识别系统。具体来说，3DAO基于3D高斯扩散（3DGS）生成对抗性对象，通过其显式建模能力实现精确的结构表示和多视图一致性。我们的框架包括两个核心设计：对象初始化和对象优化。在初始化阶段，我们首先生成具有所需对象（例如眼镜和口罩）的多视图一致图像，用于确定对象的正确位置和形状。然后，我们提出了一种高斯定位策略来识别相关的高斯分布，并通过提取这些相关的高斯分布来初始化对抗性对象。在优化阶段，为了提高对象的视觉质量，我们提出了场景和对象渲染损失，分别约束整个场景和单个对象的渲染图像，使其接近自然外观。同时，为了避免高斯分布从对象表面分离，我们设计了一种高斯位置损失来约束异常高斯分布。此外，基于元学习的对抗性损失旨在提高攻击在多个网络上的泛化能力。得益于上述设计，我们的3DAO生成了具有多视图攻击效果的3D对抗性对象，并具有吸引人的外观。大量实验表明，我们的3DAO在更广泛的视角范围内欺骗面部识别的效果优于现有方案，并提供了更自然的可视化效果。

主要贡献总结如下：

• •
  我们提出了一种新的3D对抗性对象生成方案（3DAO），可以从更广泛的视角欺骗面部识别系统。据我们所知，我们是第一个基于3DGS生成对抗性对象来攻击面部识别的团队。
• •
  为了准确初始化对象，我们设计了一种高斯定位策略，该策略根据场景和对象之间的映射关系识别相关的高斯分布。
• •
  为了在保证对抗性对象视觉质量的同时实现有效攻击，我们设计了场景和对象渲染损失、高斯位置损失以及对抗性损失来优化3D对抗性对象。
• •
  大量实验表明，与现有的最先进技术（SOTA）相比，我们的3DAO在更广泛的视角范围内有效欺骗了面部识别，并具有更好的隐蔽性。

部分摘录

面部识别的2D攻击

面部识别系统主要依赖于深度学习模型，这使它们容易受到对抗性攻击[11]、[25]、[26]、[28]。因此，传统的基于2D梯度的攻击方法（如FGSM [29]和PGD [30]）仍然能够在欺骗常见面部识别网络方面发挥效果[18]。最近关于面部识别对抗性攻击的研究越来越强调提高扰动的隐蔽性和对抗性样本的转移能力[17]。

方法论

我们提出了一种基于3DGS的对抗性对象生成方案，可以从更广泛的视角欺骗面部识别系统。在第3.1节中，我们介绍了必要的基础知识，包括面部识别攻击和3D高斯分布。第3.2节概述了我们的方法框架，而第3.3节高斯定位和第3.4节对象优化分别介绍了高斯定位策略和设计的优化函数。

实验设置

数据集。我们选择了2个数据集中的4个面部场景（包括InstructNeRF2NeRF [45]和NeRF-Art [46]）进行测试，包括“面部”（64个视图）、“女孩”（35个视图）、“fangzhou”（100个视图）和“人”（64个视图）。这些场景涵盖了不同的性别、视角数量和视角距离，从而全面评估了我们的方法在不同场景中的有效性。每个场景都使用vanilla 3DGS进行了30,000次迭代优化。

目标模型。目标面部

结论与未来工作

在本文中，我们提出了一种基于3DGS的新3D对抗性对象生成方案，可以从更广泛的视角欺骗面部识别系统。与仅生成固定视角对抗性对象的现有方法不同，我们的方法首次使用3DGS生成在不同视角下都有效的3D对抗性对象。具体来说，3DAO包含两个核心设计：对象初始化和对象优化。前者

CRediT作者贡献声明

孟凌壮：撰写 - 原稿编写、软件开发、方法论研究、数据整理。邵明文：撰写 - 审稿与编辑、监督、概念化。桥远健：方法论研究、数据整理。吕翔：可视化、方法论研究。万叶聪：验证、资源收集。苏航：方法论研究、调查。

利益冲突声明

作者声明他们没有已知的会影响本文工作的竞争财务利益或个人关系。

致谢

本工作部分得到了中国国家重点研发计划（编号：2021YFA1000102）和国家自然科学基金（编号：62376285、61673396）以及山东省自然科学基金（编号：ZR2022MF260）的资助。

孟凌壮于2022年从山东科技大学计算机科学与工程学院获得硕士学位。他目前正在中国石油大学（华东）计算机科学与技术学院，在邵教授的指导下攻读博士学位。他的主要研究方向包括对抗性示例生成、对抗性攻击和深度学习。