UEMask：个性化扩散模型中用于隐私保护的高保真不可学习样本

《Neurocomputing》：UEMask: High-fidelity unlearnable examples for privacy protection in personalized diffusion models

　　

摘要 个性化文本到图像（T2I）微调方法，例如 DreamBooth，使模型能够从仅少数几张参考照片中合成出逼真的特定身份图像。虽然功能强大，但这种能力也放大了隐私风险，因为公开共享的图像可能被利用来生成冒名或未经同意的内容。一种常见的防御方法是将图像转换为不可学习样本（UE），通过注入保护性扰动，使下游个性化模型无法可靠地学习身份相关特征。然而，大多数现有方法依赖于全局加性扰动，这往往会引入明显的视觉伪影，降低受保护人脸图像在社交分享中的实用价值。为解决这一局限，我们提出了 UEMask，一种基于逐像素乘法掩码的新型保护框架。具体来说，UEMask 优化一个有界掩码来调制原始图像，并引入一个 $L_1$ 正则化项，鼓励掩码与单位掩码之间的偏差保持稀疏。该设计明确限制了被修改像素的数量，同时保留大多数像素不变。因此，该方法减少了冗余扰动，更好地保留了受保护图像的视觉保真度。在多个数据集上的大量实验表明，UEMask 相较于最先进的基线方法实现了更有利的保真度与保护效果之间的权衡。所提出的方法还在不同提示词、模型版本和微调方法下保持了有效的保护性能。我们的代码已在 https://github.com/103410/UEMask.git 开源。

引言 近年来，文本到图像（T2I）生成技术取得了快速发展，能够从自然语言提示中合成照片级真实感图像。这一能力正在重塑内容创作、设计原型和视觉叙事等领域的工作流程，降低了高质量视觉内容的创作门槛。除通用合成外，个性化技术进一步使用户能够将特定主体身份绑定到用户提供的标记上，从而在多种提示下可控地生成该主体。特别是 DreamBooth [1] 通过在少量图像上微调预训练扩散模型，使这种个性化成为可能。通过为目标主体引入唯一标识符，并使用仅少量参考图像对模型进行优化，DreamBooth 使模型能够学习该主体的独特外观和特征，同时保留原始扩散模型的生成能力。

尽管具有实用性，T2I 模型也引发了严重的隐私担忧：公开共享的照片可能被利用来生成未经同意的、侵占他人身份的内容。一条有前景的防御路线是通过添加细微扰动将发布的图像转换为不可学习样本（UE），使下游个性化模型无法可靠地提取或记住身份相关的视觉特征，从而生成低质量或失真的个性化输出。在这一方向上，现有保护方法已从通用图像编辑防御逐渐演进到针对个性化 T2I 模型的保护。早期的方法如 PhotoGuard [2] 主要聚焦于破坏恶意的图像编辑。随后，随着个性化 T2I 模型成为主要隐私威胁，Anti-DreamBooth [3]、AdvDM [4] 和 Mist [5] 等方法将对抗性保护扩展到个性化生成，通过针对特征学习优化扰动。更近期的研究从不同方面进一步改进了这一范式。SimAC [6] 和 DisDiff [7] 聚焦于更强或更高效的保护；SDS [8] 降低了计算开销；MYOPIA [9] 引入外部感知约束以提升视觉保真度。同时，基于生成器的保护框架，如 RID [10] 和 GAP-Diff [11]，旨在通过学习扰动生成器来降低迭代优化的成本。总体而言，现有方法以加性扰动策略为主，无论是通过直接迭代优化还是学习的扰动生成器，而一些近期方法还额外干预了注意力机制。

然而，许多现有方法通常在整个图像上应用全局加性扰动。实际上，在模型个性化过程中使用的身份相关线索通常集中在局部面部区域，而非均匀分布在整个图像中。因此，全局应用扰动可能对无关区域引入不必要的修改，导致冗余失真，而无法带来同等的保护增益。这一局限在实际场景中尤为关键，例如用户希望在线分享高质量人像图像——上传到社交媒体平台的照片或内容创作者发布的职业形象照片——同时防止这些图像被滥用于未经授权的个性化。如图 1 所示，即使全局加性扰动引入的细微伪影也会明显降低共享图像的视觉质量和审美价值。

因此，一个核心挑战由此产生：如何在保持图像针对个性化不可学习性的同时，维持足够高的视觉保真度以满足实际图像分享的需求？

为解决这一挑战，我们引入了 UEMask（示例如图 2 所示），一个包含两个关键组件的新型框架。首先，我们将保护建模为逐像素乘法掩码 $\mathbf{m}$，该掩码阻碍 T2I 模型从受保护图像中学习身份特征。其次，我们引入 $L_1$ 正则化项以鼓励乘法掩码的稀疏性，从而在保持竞争性保护性能的同时提升受保护图像的视觉保真度。与 MYOPIA 等稀疏加性扰动方法相比，UEMask 不需要额外的外部感知约束或硬编码掩码；相反，它通过掩码优化和稀疏正则化自适应地学习稀疏乘法调制模式。

具体而言，为减轻全局扰动导致的保真度下降，我们将优化变量从加性噪声转移为控制掩码。与传统的加性扰动方法不同——后者通常根据梯度更新输入图像或加性扰动变量，然后通过 $\mathbf{x}_p = \mathbf{x}_0 + \epsilon$ 应用扰动——UEMask 优化一个乘法掩码并通过 $\mathbf{x}_p = \mathbf{x}_0 \odot \mathbf{m}$ 应用。因此，有效的图像修改由原始图像内容和学习的掩码共同决定，而非作为直接添加的噪声模式引入。在此框架下，掩码值为 1 表示对应像素保持不变。我们采用投影梯度法（PGD）[12] 来优化此掩码。在此基础上，我们引入 $L_1$ 正则化项以明确限制被修改像素的数量：不同于倾向于更广泛分布扰动的 $L_2$ 约束，$L_1$ 惩罚鼓励稀疏性并将扰动预算集中在更小的像素子集上。在 CelebA-HQ [13] 和 VGGFace2 [14] 上的大量实验表明，我们的方法实现了有利的保真度与保护效果权衡。特别地，在约匹配感知失真水平（由 LPIPS [15] 衡量）的条件下，乘法公式在大多数评估指标上取得了最佳或次佳的保护性能，且在多数情况下取得了最佳结果。

我们的贡献总结如下：

- 我们提出了 UEMask，一种通过可学习的逐像素乘法掩码而非直接优化的加性扰动来保护人像图像免受 T2I 模型未经授权的个性化的新型框架。图像依赖的调制破坏了下游个性化过程中的身份特征学习。
- 我们集成 $L_1$ 正则化以强制稀疏性并控制被修改像素的数量，在保持不可学习性的同时提升视觉保真度。
- 在多个数据集和设置上的大量评估表明，我们的方法实现了有利的保真度与保护效果权衡。

以下为本论文剩余部分的结构：第 2 节回顾该领域的研究工作；第 3 节提供本研究所需的理论背景；第 4 节详细介绍所提出的 UEMask；第 5 节展示实验结果与分析；第 6 节讨论所提方法的局限性、实际影响和潜在扩展；第 7 节总结全文并讨论未来研究方向。

章节摘要

安全检测与抗攻击系统 安全检测与抗攻击控制也在逻辑动态系统、离散事件系统和信息物理系统中得到了广泛研究。该方向的研究聚焦于系统级属性，如状态可检测性、监督控制以及针对传感器、执行器或通信攻击的韧性。例如，Xing 和 Shen [16] 提供了一份信息物理系统在网络攻击下的安全控制综述，总结了具有代表性的攻击

扩散模型 扩散模型 [23] 包含两个过程：前向过程和反向过程。在前向过程中，高斯噪声在一系列步骤中迭代添加到输入图像上，最终将图像转换为近似高斯噪声。在反向过程中，模型通过迭代预测并去除预测的噪声来从噪声输入中重建清晰图像。具体来说，前向过程由一个调度器 $\beta_t$ 控制，它决定了噪声如何被

概览 如图 3 所示，UEMask 构建受保护的目标图像（阶段 I），以破坏下游文本到图像（T2I）模型的个性化。与依赖加性扰动的先前方法不同，UEMask 将保护建模为逐元素乘法调制。给定输入图像 $\mathbf{x}_0$，我们定义受保护图像为：

$$\mathbf{x}_p = \mathbf{x}_0 \odot \mathbf{m}$$

其中 $\mathbf{m}$ 是一个掩码，$\odot$ 表示 Hadamard 积。这种乘法公式用逐像素调制取代了加性噪声注入。在阶段 II 中，我们

实验设置

数据集 我们在两个广泛使用的脸数据集上进行了实验：CelebA-HQ [13] 和 VGGFace2 [14]。CelebA-HQ 是从原始 CelebA 数据集派生的 30,000 张高分辨率名人肖像的精选集。VGGFace2 是一个大规模数据集，包含 9131 个身份的超过 330 万张图像。为保持方法间的一致性，我们采用 Anti-DB [3] 发布的处理后的 CelebA-HQ 和 VGGFace2 分割集，其中每个身份关联 12 张图像，所有图像均被缩放至

真实社交场景 在真实社交媒体平台上，人像图像通常被上传用于头像展示、日常分享、内容创作和个人品牌建设。在此过程中，平台可能会自动调整图像大小、重新压缩、转换文件格式、裁剪用于预览或头像，并应用视觉增强。这些操作可能改变受保护图像的分布并可能部分削弱优化后的保护模式。因此，社交分享应被视为一个

结论 在本工作中，我们提出了 UEMask，一种基于稀疏正则化乘法掩码的新型图像保护框架，缓解了全局加性扰动基不可学习样本通常引入的视觉退化。通过对掩码偏差施加 $L_1$ 正则化项，UEMask 鼓励更多掩码值保持接近单位掩码并抑制不必要的修改。这一设计在保持保真度的同时提升了受保护图像的视觉保真度

CRediT 作者贡献声明 Zhouyang Pang：原创草稿撰写、方法论、概念构思。Renyang Liu：审稿与编辑、项目管理、概念构思。Tingchao Fu：可视化、形式分析、数据整理。Haoran Li：验证、方法论、调查研究。Ruqin Zhang：可视化、调查研究。Bingbing Song：审稿与编辑、软件、资源。Wei Zhou：监督、资源、资金获取。

利益冲突声明 作者声明，他们没有已知的可能影响本文所报告工作的财务利益或个人关系。

致谢 本工作得到了云南省研究项目（项目编号：202503AG380006、202401AT070474、202501AU070059、202403AP140021）、国家自然科学基金委员会（项目编号：62562061、62502422、62462067）以及云南省教育厅科学研究项目（项目编号：2025J0006、2024J0010、2025J0007）的支持。

Zhouyang Pang 目前正在中国昆明云南大学攻读硕士学位。他的研究兴趣包括扩散模型的隐私保护技术，特别聚焦于不可学习样本以防止未经授权的模型训练和个性化生成。

Zhouyang Pang|Renyang Liu|Tingchao Fu|Haoran Li|Ruqin Zhang|Bingbing Song|Wei Zhou