大语言模型越狱提示检测中跨数据集泛化的实证研究

《Knowledge-Based Systems》：An empirical study of cross-dataset generalization in LLM jailbreak prompt detection

　　

• •
  对五个数据集中八个越狱检测器进行污染审计的基准测试。
• •
  留出源数据的迁移学习反转了分布内检测器的排名。
• •
  冻结的MiniLM嵌入与线性头部在不同数据集间迁移效果最好。
• •
  成对审计排除了受污染的DAN-jackhhao迁移对。
• •
  该优势在类别权重均衡及面对ModernBERT时仍然成立。

引言

部署在面向消费者产品中的大型语言模型（LLM）依赖于对齐程序来拒绝有害、隐私或其他不允许的内容。越狱提示词是指绕过这些拒绝机制的精心构造输入，表现为社区论坛上的社交工程模板[1]、算法优化的对抗性后缀[2]，以及被采纳为越狱正向示例用于基准测试的精选有害行为分类体系[3]、[4]。诸如Meta的PromptGuard[5]和NVIDIA的NemoGuard JailbreakDetect[6]等生产级护栏被部署在托管的LLM API前端，并定期报告接近天花板的检测分数：嵌入分类器的F1超过0.95[7]，微调后的BERT准确率为0.984[8]，相关的提示注入检测器也有类似数字[9]。然而，除了少数例外，这些数字来自将单个语料库分割为来自同一来源、爬取窗口和攻击模板的训练/测试分区。以这种方式训练的分类器可能记忆表面规律，而在迁移到以不同方式收集的提示时表现不佳。“当基准测试撒谎时”[10]报告了在留一数据集评估下越狱和提示注入分类器的实测泛化差距，而绕过演示[11]已经用分布外输入经验性地规避了基于BERT的护栏。目前仍然缺乏的是对越狱检测中检测器族在源数据留出迁移下的系统性、经污染审计的比较。分布偏移当然是一个众所周知的机器学习问题。这里的贡献不在于它存在，而在于对越狱检测中该问题的污染审计、量化描述，以及一个通用直觉无法预测的发现：冻结的轻量级嵌入分类器迁移效果优于更高容量的微调变换器，包括最近的ModernBERT编码器，逆转了通常的容量排序。

本研究开发的基准测试涵盖五个公开的英文越狱数据集（AdvBench、DAN、HarmBench、JailbreakBench、jackhhao）。除了实践中最常见的检测器族的代表性配置外，还包括一个原始均值池化BERT-base线性探针基线，以分离编码器的训练目标与冻结效果，同时注意类别加权和其他设计选择在各方法间并未完全均衡。贡献如下：

• 1.
  一个污染感知的跨数据集基准测试，涵盖五个数据集、八个检测器和三种协议（每种十个随机种子），并对所有十个无序数据集对进行成对精确文本审计。
• 2.
  识别分布偏移下鲁棒的配置。冻结的MiniLM-L6 Sentence-BERT嵌入[12]加上类别平衡的逻辑回归头部（“MiniLM+LR”）是本研究设置下源数据留出迁移中最强的检测器，逆转了与微调BERT-base的分布内排序。
• 3.
  BERT-base族内的有限范围比较。解耦基线表明，对于BERT-base，编码器的训练目标可能比编码器是冻结还是微调对跨数据集鲁棒性贡献更大，尽管该比较并未完全隔离所有混淆变量。
• 4.
  关于数据集组成的探索性观察。DAN和jackhhao共享$\ge 79\text{\%}$的越狱提示，但迁移到第三方目标时表现截然不同。在本基准测试中，良性分布和攻击分布无法清晰分离，因此这被报告为未来工作的方向而非既定机制。

研究设计概览见图1。

章节摘要

越狱提示数据集

公开的越狱语料库涵盖多种构建风格。“Do Anything Now”（DAN）数据集由Shen等人[1]从2022年12月至2023年12月期间收集的15,140个来自Reddit、Discord和提示分享网站的ChatGPT提示中编译而成，其中1405个是越狱提示。本研究使用同一仓库中较早的2023-05-07快照（见第3节）。Zou等人[2]提出了AdvBench，包含520个有害行为，设计为Greedy

数据集

本研究使用五个公开可用的英文越狱数据集，其提示可从原始来源合理恢复，发布日期在2023年7月至2024年4月之间（表2）。所有标签均为二分类：1表示越狱，0表示良性。正向（“越狱”）标签分配给数据集提供的任何攻击示例提示，无论是社交工程越狱模板还是有害行为目标。这是一个基准测试设计选择而非

方法

本文评估的所有八种方法均为以原始提示文本作为输入的二分类器。每种方法内部应用各自的分词或嵌入步骤。

评估协议

每种方法在三种协议下使用十个随机种子进行评估。报告的数字对应种子均值。

(P1) 分布内。每个数据集按70/10/20分为训练、验证和测试。模型在70%分区上训练，在适用的情况下在10%验证分区上进行早停，并在20%测试分区上报告指标。

(P2) 跨数据集迁移。对于每个有序数据集对$(A,B)$，其中$A\ne B$，$A$中归一化文本出现在$B$中的任何行将

分布内性能

表5显示微调的变换器BERT和ModernBERT在分布内F1中得分最高（均值均为0.940），紧随其后的是嵌入和TF–IDF方法，聚集在0.87至0.91之间。这些数值与文献中报道的已发表单语料库数字一致。更具体地说，DAN被发现是所有方法普遍最困难的数据集，这与其10.6%的正向率和较长的嘈杂论坛风格良性样本有关。

探索性分析：良性构成与迁移

如第3节所述，DAN和jackhhao共享大部分越狱提示，但零良性行，其类别平衡相差五倍（DAN为10.6%正向，jackhhao为50.0%）。如果跨数据集失败主要由未见过的攻击驱动，预计两个源数据集会以相似方式迁移到第三个数据集。相反，如果由设置中不共享的部分驱动，则两者应迁移得截然不同。良性构成、类别平衡和语域

讨论

分解MiniLM+LR差距。基线中隐含的三个比较被用来探究MiniLM+LR中每个设计选择的贡献。将线性头部换成梯度提升树（MiniLM+XGBoost）使跨数据集F1从0.608降至0.463。将编码器换成大$15\times$的Arctic-Embed并使用随机森林头部则降至0.436，而在相同的线性探针流程下将MiniLM的对比式句子相似度嵌入替换为原始均值池化的BERT-base

局限性与范围

编码器覆盖范围。微调和冻结预训练的BERT基线使用BERT-base，ModernBERT作为最近（2024年12月）的微调编码器包含在内。它在源数据留出迁移下同样崩溃。RoBERTa、DeBERTa-v3、OpenAI文本嵌入、解码器风格LLM表示以及低秩适应（LoRA）风格参数高效微调未进行评估。解耦结果是关于BERT-base的证据，而非关于端到端微调或冻结编码器作为家族的证据。

结论

在五个英文越狱语料库和三种评估协议中，经过成对污染审计，分布内分数高于0.9在源数据留出迁移下崩溃，分布内排序发生反转：冻结的MiniLM Sentence-BERT嵌入搭配线性头部是最具迁移鲁棒性的检测器，优于微调的BERT-base和更新的ModernBERT。均衡权重消融实验表明该优势并非仅仅是类别重加权的产物，

代码可用性

所有基准测试配置的源代码，包括嵌入生成、基线训练、成对污染审计和评估脚本，可在以下地址获取：https://github.com/szavrak/llm-jailbreak-cross-dataset-benchmark。

在稿件准备过程中使用生成式AI和AI辅助技术的声明

在准备本工作期间，作者使用了ChatGPT、Claude和Gemini来协助代码编写、起草、写作和润色稿件。使用这些工具后，作者根据需要审查和编辑了内容，并对已发表文章的内容承担全部责任。

竞争利益声明

作者声明不存在已知的可能影响本论文报告工作的竞争经济利益或个人关系。

Sultan Zavrak