基于扩散模型的自适应对抗插值方法用于面部隐私保护

《Knowledge-Based Systems》：Adaptive adversarial interpolation for diffusion-based facial privacy protection

　　摘要：基于深度学习的面部识别系统在准确率和效率方面取得了显著进展，但其大规模应用引发了关于未经授权的身份追踪和隐私侵犯的担忧。为防止此类系统被滥用，以往的研究提出了多种对抗性攻击方法来保护面部图像。受扩散模型生成能力的启发，近期方法开始利用这些模型生成对抗性面部图像以实现隐私保护。然而，扩散模型的净化效应可能会削弱其保护性能。尽管有一些研究试图缓解这一问题，但仍然需要大量的对抗性迭代才能达到理想的隐私保护效果。在本文中，我们提出了一种基于自适应对抗性插值的面部隐私保护方法。与直接优化扩散潜表示的方法不同，我们的方法通过优化插值矩阵，在原始图像和目标图像的扩散潜表示之间进行插值，从而构建出受保护的图像潜表示。为了在保持图像结构和质量的同时实现有效的隐私保护，我们设计了一种由多个替代面部识别模型构成的对抗性损失函数，以及通过自注意力模块实现的结构一致性损失函数。实验结果表明，在相同的数据集和条件下，我们的方法平均保护成功率为86.84%，同时FID得分仅为12.5，充分证明了该方法在面部隐私保护方面的有效性。

引言：得益于深度学习技术的快速发展，面部识别模型在效率和准确性方面取得了显著提升[1]。这一进步为生物特征识别[2]、监控[3]以及刑事侦查[4]等领域带来了巨大益处。然而，这些先进的面部识别技术也带来了新的安全风险。攻击者可以利用这些系统快速追踪特定个体在社交媒体平台上的互动行为[5]、[6]，从而对个人隐私构成严重威胁。因此，迫切需要探索有效的方法来保护面部隐私，以应对那些不可预测且可能具有恶意性的面部识别系统。面部隐私保护研究的一个新方向是利用对抗性攻击来阻止面部识别系统识别面部图像。与传统的数值隐私保护理论[7]不同，对抗性面部隐私保护是基于这样的原理：通过对面部图像进行微小的扰动，可以生成对抗性样本[8]。这些扰动对人类来说是不可察觉的，但却能误导深度学习模型，使其产生错误的识别结果，从而导致面部识别系统无法准确识别真实身份。对抗性攻击通常分为两类：白盒攻击和黑盒攻击。当攻击者能够获取目标模型的全部信息，包括其结构和参数时，就可以设计出针对该模型的特定对抗性样本，这就是白盒攻击[9]。但在现实场景中，发布在社交媒体上的个人图像往往无法提前得知是否会成为某个特定模型的攻击目标。因此，面部隐私保护研究通常侧重于黑盒场景，利用对抗性样本的可迁移性[10]。这样一来，借助替代面部识别模型引导的对抗性样本，就能够有效防御来自未知黑盒面部识别系统的攻击。例如，一些研究通过在原始图像中添加噪声或修补块来引入对抗性扰动以实现隐私保护。TIP-IM[11]通过学习受噪声约束的对抗性扰动来隐藏原始身份，而AdvHat[12]则通过在图像中添加由对抗性扰动构成的修补块来保护隐私。不过，这些方法通常直接在图像空间中进行优化，会导致受保护图像出现明显的伪影，进而降低视觉质量[13]。受到不受图像空间扰动限制的无约束对抗性样本[14]、[15]的成功启示，一些研究[11]、[16]、[17]、[18]开始利用这类对抗性样本来保护面部图像，使其免受未知面部识别系统的追踪。其中一个值得关注的方向是对抗性化妆，因为化妆作为一种更为自然的对抗性特征，可以无缝融入图像中，使得修改后的图像难以被察觉。例如，AMT-GAN[11]和DiffAM[19]通过将参考图像中的化妆风格转移到原始图像上来实现隐私保护。然而，这些方法需要额外的参考图像，而且每次面对新的目标身份时都需要重新训练整个模型，因此并不适合实际应用。Clip2Protect[13]则通过使用基于文本的化妆提示来避免对参考图像的需求。不过，当文本提示无法精确控制化妆效果时，生成的图像往往与预期的化妆效果存在偏差。因此，基于化妆的隐私保护方法仍然存在诸多局限性。受扩散模型强大的图像生成能力的启发，一些研究开始利用这些模型对面部图像进行难以察觉的修改，生成对抗性面部图像，从而规避基于化妆方法的局限性[20]。例如，Liu等人[21]提出了基于扩散自编码器的DiffProtect方法。受益于扩散模型在图像反演领域的进展，Salar等人[22]提出了WeakenDP，这是一种利用DDIM反演技术生成对抗性面部图像的方法[23]。然而，扩散模型本身具备净化对抗性噪声的能力[24]、[25]，它倾向于将经过扰动的潜向量重新投影到纯净的数据流形上，从而自然去除潜空间中引入的对抗性噪声，这反而降低了这些对抗性面部图像的隐私保护效果。尽管WeakenDP[22]发现Null-Text引导[26]可以减弱这种净化效应，但扩散模型净化的核心目的仍是去除与其数据流形无关的噪声[22]、[24]。如图1(a)所示，以往的方法[21]、[22]通常是在替代面部识别模型的引导下直接优化原始图像的潜表示。然而，他们的方法并不能确保所添加的噪声与扩散模型的数据流形相一致。因此，要实现理想的隐私保护效果仍然面临很大挑战。为减轻扩散模型净化作用对隐私保护的负面影响，一种方法是快速识别出能够在对抗性优化过程中抵抗净化的强鲁棒性对抗性特征。受DDIM插值具有特征传递能力的启发[23]，我们提出了一种基于自适应对抗性插值的面部隐私保护方法。这一方法的灵感来源于这样的观察：DDIM插值能够逐步在两个都包含与数据流形相匹配特征的图像之间传递特征。因此，我们的目标是通过对抗性优化，将目标图像中的强鲁棒性对抗性特征传递到受保护的图像中。如图1(b)所示，与直接优化原始图像潜表示的以往方法不同，我们设计了一个自适应插值矩阵，在原始图像和目标图像的潜表示之间进行插值，从而生成受保护的图像。为了在保持与原始图像结构一致性的同时实现隐私保护，我们不仅采用了对抗性优化损失函数，还加入了自注意力损失函数，以确保受保护的图像在结构上与原始图像保持一致。总体而言，我们的主要贡献如下：•我们提出了一种基于扩散模型的隐私保护框架，该框架利用自适应对抗性插值来减轻对抗性净化作用对保护性能的负面影响。我们的方法有效降低了对抗性净化对保护效果的影响，从而提升了生成图像的隐私保护能力。•与以往直接在潜在扩散模型中利用对抗性损失函数修改潜空间的方法不同，我们的优化目标是原始图像和目标图像之间的插值矩阵。这样我们就可以从目标图像中提取出与扩散模型数据流形相匹配的特征，进而有效地对面部识别模型发起对抗性攻击。•在CelebA-HQ和LADN数据集上进行的实验表明，在相同且公平的实验条件下，我们的方法不仅具有更高的保护成功率，还能保持良好的视觉质量。本文的其余部分结构如下：第2节回顾相关研究；第3节详细介绍我们框架的架构和实现方式；第4节展示实验结果并与其他方法进行比较；第5节分析存在的局限性；第6节对全文进行总结。

片段摘录：面部隐私保护作为非结构化生物特征信息的一种，与受传统隐私保护方法保护的结构性数值数据有所不同[27]、[28]。为了在保护面部隐私的同时保持图像的可用性，近期研究将图像生成模型引入隐私保护领域，比如生成面部图像[22]或视网膜图像[29]，从而推动了面部隐私保护研究的发展[30]。以下内容总结了几种具有代表性的面部隐私保护方法。

方法论：在本节中，我们首先明确问题定义，然后介绍我们方法的整体框架，最后详细阐述各个模块的设计和算法。

实验设置：数据集。为确保与以往研究进行公平比较，我们在CelebA-HQ[46]和LADN[47]数据集上开展实验。CelebA-HQ包含了从CelebA数据集中筛选出的3万张高分辨率图像。遵循[11]、[22]的研究方法，我们选取了1000张图像用于实验。LADN数据集包含333张无化妆图像和302张有化妆图像，我们同样选择了332张无化妆图像用于测试。对于这两个数据集，所选的图像都被分为四组，每组分别用于不同的实验目的。

讨论：虽然模仿真实身份可以有效隐藏原始身份，但这种做法会引发伦理问题，因为被模仿的身份属于真实个体。早期的方法采用身份混淆技术，即最大化D(F(z),F(x))，以此生成与原始身份尽可能差异较大的受保护面部图像。然而，直接最大化身份差异往往会导致图像看起来不自然，而且仍然容易受到某些重识别方法的攻击。

结论：未经授权的面部识别技术能够在海量图像集合中追踪特定身份，对个人隐私构成严重威胁。得益于扩散模型强大的生成能力，近期研究开始探索其在面部隐私保护方面的应用潜力。然而，由于扩散模型本身具有净化特性，精心设计的隐私保护型对抗性扰动可能在去噪过程中被清除，从而削弱其保护效果。

CRediT作者贡献声明：徐志峰：写作——审阅与编辑、写作——初稿撰写、可视化、验证、软件、资源、方法论、研究、形式分析、数据整理、概念构建。赵一茹：写作——审阅与编辑、监督、研究、形式分析、概念构建。赵磊：写作——审阅与编辑、监督、项目管理、资金筹集、概念构建。

利益冲突声明：作者声明不存在任何可能影响本文研究的已知财务利益或个人关系。

致谢：本研究得到了国家自然科学基金（项目编号：U2436205、62532008、62172305）以及中国博士后科学基金会-湖北省联合资助项目（项目编号：2025T054HB）的支持。徐志峰|赵一茹|赵磊