基于多参数增强的对抗性人脸伪装

《Neural Networks》：Adversarial face camouflage based on multi-parameter enhancement

　　•我们提出了多初始化增强聚合（MEA）方法，以提高对抗性样本的迁移能力。•MIAE通过多层初始化和检查点保存来增强替代模型的多样性。•EAA通过扰动高级特征并调整扰动步长，以提高模型稳定性。•MEA结合对抗性伪装技术，进一步提升人脸图像的不可感知性和迁移能力。大量实验表明，我们的方法优于现有的对抗性攻击方法。

引言
近年来，基于深度神经网络的人脸识别系统取得了显著进展，现已广泛应用于各种场景。然而，随着人脸识别系统功能的不断扩展，公众对其可能带来的面部隐私威胁的担忧也在增加。特别是，人脸识别系统能够通过分析社交媒体上的大量人脸图像，在未经同意的情况下对个人进行非法监控（Boutros, Grebe, Kuijper, Damer, 2023, Suzuki, 2022）。因此，找到有效的方法来保护面部隐私免受人脸识别系统的非法攻击变得极为重要。同时，也有迫切需要提高人脸识别模型对对抗性人脸样本的鲁棒性，以发现并解决这些潜在的安全漏洞。

为此，许多研究聚焦于这一领域，开发了各种对抗性攻击方法，旨在创建具有不可感知性（Cherepanova, Goldblum, Foley, Duan, Dickerson, Taylor, & Goldstein, Hu, Liu, Zhang, Li, Zhang, Jin, Wu, 2022）、迁移性（Li, Yin, Yao, Guo, Ding, Chen, Liu, 2023b, Zhong, Deng, 2020）以及物理攻击能力（Li, Li, Dai, Guo, Xiao, 2023a, Yang, Liu, Xu, Wang, Dong, Chen, Su, Zhu, 2023）等特征的对抗性人脸样本。这些研究旨在提高人脸识别中对抗性攻击的效率。不过，目前的对抗性攻击在迁移性方面仍存在局限。增强型攻击被认为是提高对抗性攻击迁移性的最有效方法之一。如图1所示，增强型对抗性攻击可分为三种类型：基于输入的（Long, Zhang, Zeng, Gao, Liu, Zhang, Song, 2022, Wang, He, Wang, Wang, 2024）、基于特征的（Zhong, Deng, 2020, Zhou, Ling, Shi, Chen, Li, 2024）以及基于参数的（Gubri, Cordy, Papadakis, Traon, Koushik, 2022, Wu, Ou, Wu, Zheng, 2024）。

大多数增强型对抗性攻击方法都致力于通过基于输入的增强来提高攻击的迁移性。以往的研究强调了对抗性攻击中使用的替代模型与训练任务中的输入数据之间的对称性（Dong, Liao, Pang, Su, Zhu, Hu, Li, 2018, Lin, Song, He, Wang, & Hopcroft）。数据增强已被证明可以有效提升模型在训练过程中的泛化能力。利用这种对称性，通过扩展模型来生成对抗性样本，可以得到更具迁移性的样本。基于输入的增强就是一种仅关注输入层的模型扩展方法，它在提高迁移性方面取得了显著效果。

尽管基于输入的增强已被证明有效，但更深层次的模型扩展——如基于特征和基于参数的增强——则能带来更直接的改进。尽管这些方法取得了令人满意的成果，但关于深层增强的研究仍然相对较少（Gubri, Cordy, Papadakis, Traon, Koushik, 2022, Zhou, Ling, Shi, Chen, Li, Li, 2023）。作为基于参数的深层增强方法的典型代表，LGV（Gubri等人，2022）通过使用预训练的替代模型，并在额外的训练周期中收集多个参数集，同时采用更高的恒定学习率，有效提升了样本的迁移性。

虽然这些基于参数的增强方法（Gubri, Cordy, Papadakis, Traon, Koushik, 2022, Wu, Ou, Wu, Zheng, 2024）取得了良好的效果，但它们存在两个主要问题：(1) 静态替代模型初始化：这些方法仅通过预训练参数来扩展替代模型，这限制了替代模型参数的多样性，进而影响了对抗性样本的迁移性；(2) 无法获取原始预训练的人脸识别模型头部：当前的人脸识别训练流程通常包括对主干模型和头部模型同时进行训练（Deng, Guo, Xue, Zafeiriou, 2019, Wang, Wang, Zhou, Ji, Gong, Zhou, Li, Liu, 2018）。训练完成后，只有主干模型被用于推理，而头部模型则保持封闭状态或无法访问。因此，在很多情况下，我们无法获取头部模型的预训练参数。依赖预训练参数的传统基于参数的增强方法（Gubri, Cordy, Papadakis, Traon, Koushik, 2022, Wu, Ou, Wu, Zheng, 2024），在针对众多公开可用的人脸识别模型生成对抗性样本方面的能力有限。与现有的基于增强的攻击方法相比，我们的方法有所不同，它从参数初始化阶段就引入了替代模型多样性，而不仅仅依赖于输入变换、特征扰动或来自单一预训练路径的检查点。

为了解决现有方法的局限性，我们提出了一种新的对抗性攻击方法——多初始化增强聚合（MEA），旨在提高精心设计的对抗性人脸样本的迁移性。与传统基于参数的增强型对抗性攻击方法不同，后者往往忽视了多样化参数初始化的潜力（Gubri, Cordy, Papadakis, Traon, Koushik, 2022, Wu, Ou, Wu, Zheng, 2024），我们通过将随机初始化与预训练值相结合来实现参数初始化的多样化。这增强了模型的多样性，从而提高了对抗性样本在跨模型场景下的迁移性，尤其是在黑盒攻击环境中。

从技术层面来看，我们提出的对抗性攻击方法包含两个关键阶段：多初始化对抗性增强（MIAE）和增强型对抗性聚合（EAA）。在MIAE阶段，我们采用以多样性为导向的检查点保存方法，确保在训练过程中保存的模型具有最大的多样性。我们引入了多层初始化方案，从多个层面促进多样性，尤其是通过增强主干模型和头部模型的多样性，促使模型在训练过程中探索更广阔的参数空间，从而生成多样化的替代模型。这种方法有效地提高了对抗性样本的迁移性。

在EAA阶段，我们仅扰动高级特征，以避免低级扰动带来的过度噪声。此外，我们还根据梯度稳定性自适应调整扰动步长，从而提高模型的稳定性。我们对替代模型进行加权聚合，根据每个模型的可靠性调整其在损失函数中的权重，确保更可靠的模型对最终结果产生更大影响，进一步提升对抗性样本的迁移性。我们的创新方法有效解决了传统对抗性攻击方法所面临的缺乏多样化初始化以及无法访问人脸识别模型头部的问题。与现有方法相比，图1显示了我们的方法在提高迁移性方面的显著优势。通过为替代模型采用不同的初始化方案，我们可以扩大模型的参数空间，大幅提高对抗性样本的迁移性。

我们的主要贡献如下：
•我们提出了多初始化增强聚合（MEA）方法，旨在提高对抗性人脸样本的迁移性。与传统的模型整合、随机权重平均以及基于快照的参数增强方法不同，MEA从多个初始化分支引入多样性，包括预训练参数和随机初始化参数，从而构建出更多样化的替代模型库。
•我们设计了多初始化对抗性增强（MIAE）模块，该模块通过多个初始化分支和以多样性为导向的检查点选择来扩展替代模型的参数空间。这种设计降低了替代模型之间的相关性，为对抗性优化提供了更多样化的梯度。
•我们提出了增强型对抗性聚合（EAA）方法，该方法通过扰动高级特征来避免低级扰动带来的噪声。同时，根据梯度稳定性自适应调整扰动步长，提高模型稳定性。通过根据每个模型的可靠性为其分配权重并对替代模型进行聚合，并将其纳入损失函数，我们进一步提升了对抗性样本的迁移性。
•我们将多初始化增强聚合（MEA）攻击与对抗性伪装技术相结合，从初始图像生成对抗性伪装，进一步提升了人脸图像的不可感知性，有效提高了人脸识别系统中对抗性样本的迁移性。
•大量实验表明，与现有的对抗性攻击方法相比，本文提出的方法性能更优。

片段摘录
对抗性攻击
对抗性攻击的主要目标是通过在良性图像中引入微小的扰动来欺骗机器学习系统，使其产生错误的预测（Goodfellow, Shlens, & Szegedy, Szegedy, Zaremba, Sutskever, Bruna, Erhan, Goodfellow, & Fergus）。对抗性样本的存在对现代机器学习系统构成了严重的安全威胁。因此，为了提高这些系统的鲁棒性（Ge, Shang, Liu, Liu, Wan, Feng, Wang, 2023, Liang，）

问题描述
设Fvctpx:Rd→Rm表示受害者用于从人脸图像x1中提取嵌入的特征识别模型。我们用xs和xt分别表示源图像和目标图像。我们所研究的对抗性攻击的目标是操纵Fvctpx，使得对抗性样本xadv被误判为目标图像xt，同时确保其与源图像xs具有相似的视觉特征。以下公式可以表达本文所述的对抗性攻击目标：

实验设置
数据集。我们从MT数据集（Gu等人，2019）中随机选取200张伪装图像用于微调，该数据集包含2719张伪装图像和1115张非伪装图像。对于对抗性伪装迁移，我们从CelebA-HQ数据集（Zhong和Deng，2019）中随机抽取200张图像进行微调。为了评估MEA的效果，我们采用CelebA-HQ和LADN（Qian等人，2024）作为测试数据集。对于CelebA-HQ，我们选择了1000张图像的子集，并将其分为四组。

结论
本文提出了一种基于对抗性伪装的新型人脸识别攻击方法，称为MEA，该方法通过结合MIAE和EAA模块，提高了对抗性样本的攻击效果和迁移性。与传统的基于噪声的扰动方法相比，MEA利用伪装风格迁移来生成更加自然且难以察觉的对抗性样本。实验结果表明，MEA在多种场景下均实现了较高的攻击成功率以及黑盒环境下的迁移性。

CRediT作者贡献声明
DaPeng Men：撰写——初稿、可视化、验证、监督。JingYu Wang：资金获取、数据整理。XiaoLin Zhang：验证、资金获取。Lixin Liu：撰写——审阅与编辑、资金获取。YongPing Wang：资金获取。

利益冲突声明
作者声明他们没有已知的可能会影响本文所述工作的财务利益或个人关系。

致谢
本研究得到了中国国家自然科学基金（项目编号62466045）以及内蒙古自治区自然科学基金（项目编号2024LHMS06014、2025LHMS06023、2025MS06018）的支持。

DaPeng Men|JingYu Wang|XiaoLin Zhang|Lixin Liu|YongPing Wang