《Neurocomputing》：EmbedGuard: Hierarchical concept detection and embedding steering for safe text-to-image generation
编辑推荐：
•EmbedGuard-Max 在 T2I 模型中针对 Ring-A-Bell 攻击取得了 0.2% 的攻击成功率 (ASR)。•EmbedGuard 有效地抑制了有害内容，同时保持了图像质量。•即插即用集成：增加了 0.56 秒的延迟，并支持 SD 和 FLUX.1。引言文
- •
EmbedGuard-Max 在 T2I 模型中针对 Ring-A-Bell 攻击取得了 0.2% 的攻击成功率 (ASR)。
- •
EmbedGuard 有效地抑制了有害内容，同时保持了图像质量。
- •
即插即用集成：增加了 0.56 秒的延迟，并支持 SD 和 FLUX.1。
引言
文生图 (T2I) 模型（如 DALL-E 3 [2] 和 Stable Diffusion [37]）使用户能够从简单的文本提示生成高质量且视觉上吸引人的图像，使图像创作比以往任何时候都更加普及。然而，这种便利性也引入了潜在风险，因为这些模型可能被误用来生成受版权保护的内容、公众人物的深度伪造图像、有偏见的输出或工作场所不宜 (NSFW) 的图像。因此，开发有效且可靠的安全保障措施对于减轻 T2I 系统带来的安全和社交风险变得越来越重要。
为了应对与 T2I 模型相关的安全挑战日益增长的问题，研究人员提出了多种防御策略 [3], [10], [43]。其中，参数编辑概念擦除方法 [24], [47], [49] 旨在通过修改模型参数来消除或抑制生成特定有害概念的能力。然而，此类方法实施起来可能很复杂，可能会留下部分有害概念，并且可能会降低整体生成性能。另一种广泛应用的内容审核 [36], [46] 策略专注于在输入和输出阶段检查和过滤有害内容。通过关键词黑名单 [11] 进行文本过滤可以阻止显式术语，但很容易被提示操纵绕过。使用 NSFW 分类器 [37] 进行的输出图像审查是被动式的，且受分类器性能限制。
为了克服上述局限性，我们提出了 EmbedGuard，一种新颖的概念感知嵌入防御框架。与基于关键词黑名单或文本分类器的方法 [25] 相比，EmbedGuard 在更深层的语义级别运行。它直接在文本编码器的嵌入空间内构建防御，通过识别有害概念并将其表示引导至安全区域。为了实现概念感知，EmbedGuard 利用预训练文本编码器的层次语义属性，为每个目标有害概念在不同抽象级别上定义稳定的语义中心（锚点）。EmbedGuard 评估输入令牌与有害概念锚点之间的多语义深度关联。至关重要的是，该检测机制纳入了误报缓解策略。通过分析令牌的跨层语义稳定性，它重新评估初始评估结果，纠正与目标有害概念无关的内容的误报，防止不必要的干预。当检测到风险时，可学习嵌入变换 (LET) 模块通过非线性映射将风险令牌嵌入引导至语义更安全的表示，同时保留创意意图和图像质量。
如图 1 所示，EmbedGuard 在生成安全图像时，无需修改预训练 T2I 模型的任何参数，同时很大程度上保留其生成性能。作为我们结果的预览，图 2 说明了 EmbedGuard 的核心优势。左侧，定性比较显示，虽然基线方法要么未能移除目标概念（例如 ESD 和 SPM），要么引入了显著的图像退化（例如 ESD），但 EmbedGuard 成功擦除了“梵高”风格和 NSFW 内容，同时保持了高图像保真度。右侧，定量总结通过定位在左下角附近来体现这种权衡，表明强大的概念擦除性能（低 ASR）同时保持了图像质量（低 FID）。
我们的主要贡献总结如下：
- •
我们提出了 EmbedGuard，一种在文本嵌入空间中运行的概念感知嵌入防御框架，用于提高 T2I 模型的安全性，无需修改预训练模型参数，且推理开销最小。
- •
我们开发了一种层次检测和验证机制，结合层特定概念匹配与跨层相似性变化，以细化令牌级风险决策并构建已验证的风险掩码。该掩码识别高风险令牌嵌入，并激活一个轻量级变换，该变换使用不安全 - 安全对齐和身份保留约束进行训练。
- •
大量实验表明，EmbedGuard 在标准基准测试中取得了强劲的表现，并对评估的对抗攻击具有竞争性的鲁棒性。我们新颖的误报缓解策略有助于在最小影响安全提示的情况下实现这种鲁棒性。
章节摘要
文生图生成模型
T2I 生成领域近年来取得了显著进步，以 DALL-E 3 [2]、Stable Diffusion [37] 和 Midjourney [26] 等开创性模型为代表。得益于深度学习，特别是扩散模型和 Transformer 架构 [44] 的突破，现代 T2I 系统在图像保真度、多样性和文本 - 图像对齐方面取得了显著改进。为了促进语言引导的图像合成，预训练的视觉 - 语言模型和语言模型如
方法
本节介绍了 EmbedGuard 框架，如图 3 所示。首先，第 3.1 节介绍了H 层次C 概念D 检测 (HCD) 模块，该模块利用多个编码器层的语义信息进行概念风险评估。接下来，第 3.2 节描述了F 误报P 缓解S 策略 (FPMS)，该策略进一步细化检测结果以提高语义一致性。最后，对于经 FPMS 确认的高风险嵌入，L 可学习E 嵌入T
测试数据集
为了全面评估 EmbedGuard 在减轻 T2I 模型有害内容生成方面的有效性，我们使用了不当图像提示 (I2P) 数据集 [38]。I2P 被用作旨在评估不当内容生成风险的基准，包含 4703 个可能导致不合适图像的真实世界文本提示。该数据集涵盖了七大类不当内容：仇恨、骚扰、暴力、自残、性内容、令人震惊的
局限性与讨论
EmbedGuard 依赖于预定义的概念锚点和策划的不安全 - 安全训练对，其语义覆盖范围可能会限制其对新兴有害概念和复杂上下文语义的有效性。此外，从关键词对中学到的安全替代方案可能不适合每个提示上下文。虽然 FPMS 减少了误报，但更强的干预仍然可能影响良性输入，这反映在 Max 配置下较高的误报率上。未来的工作将探索更丰富的
结论
为了应对与文生图 (T2I) 模型相关的安全风险日益增长的问题，本文介绍了 EmbedGuard，一种概念感知安全增强框架，提供了减轻有害内容生成的有效且实用的手段。EmbedGuard 利用文本编码器嵌入空间编码的语义知识构建其概念感知防御。HCD 能够准确识别复杂语义上下文中的有害概念。可学习嵌入变换
CRediT 作者贡献声明
Yixiang Pan: 软件、方法论、形式分析、数据管理、概念化。Zhouyan He: 写作 - 审阅与编辑、写作 - 原稿、资源。Ting Luo: 写作 - 审阅与编辑、监督、资源、项目管理。Wenpeng Xing: 验证、软件。Yufeng Li: 可视化、验证。Meng Han: 调查。
生成式 AI 和 AI 辅助技术在写作过程中的声明
作者在准备本手稿过程中使用了 AI 辅助工具进行语法检查、拼写纠正和格式改进。GPT-6 也被用于构建实验中描述的隐性性提示和生物医学提示集。所有内容、分析和结论仍由作者独自负责。
利益冲突声明
作者声明他们没有任何已知的竞争性经济利益或个人关系可能影响本文报告的工作。
致谢
本工作得到国家自然科学基金（批准号：62471264）和宁波市自然科学基金（批准号：2024J022 和 2024J457）的支持。
Yixiang Pan 获得了中国宁波大学计算机技术硕士学位。他目前在中国南京大学攻读博士学位。他的研究兴趣包括人工智能安全、大语言模型安全、对抗攻击和生成模型的安全。
Yixiang Pan|Zhouyan He|Ting Luo|Wenpeng Xing|Yufeng Li|Meng Han
