SecReEvalBench:面向大语言模型基于真实场景的安全韧性基准测试

《Neural Networks》:SecReEvalBench: A Real-World Scenario-Based Security Resilience Benchmark for Large Language Models

【字体: 大 中 小 】 时间:2026年05月03日 来源:Neural Networks 6.3

编辑推荐:

  研究人员提出了一种针对大语言模型(LLMs)在面对利用上下文保留(context retention)和排序效应(sequencing effects)的提示链攻击(prompt-chain attacks)时的安全韧性(security resilience

  
研究人员提出了一种针对大语言模型(LLMs)在面对利用上下文保留(context retention)和排序效应(sequencing effects)的提示链攻击(prompt-chain attacks)时的安全韧性(security resilience)研究方法。现有评估主要关注单轮(single-turn)或固定领域设置,导致对序列感知型对手(sequence-aware adversaries)的漏洞测量不足。为此,研究人员引入了SecReEvalBench,这是一个基于场景的基准测试,包含六种攻击序列(单次、连续、逆序连续、交替升序、交替降序、交替)和为多轮安全量身定制的四个指标:提示攻击韧性评分(Prompt Attack Resilience Score, PARS)、提示攻击拒绝逻辑评分(Prompt Attack Refusal-Logic Score, PARLS)、链式攻击韧性评分(Chain Attack Resilience Score, CARS)和链式攻击拒绝时序评分(Chain Attack Refusal Timing Score, CARTS)。伴随的数据集涵盖七个安全领域、十六种攻击技术和四个恶意程度级别(maliciousness levels),并通过双LLM裁决(dual-LLM adjudication)进行意图标记。评估协议结合了不安全内容检测器(Llama-Guard 3)和拒绝分类器(refusal classifier),以分离最终的不安全合作(unsafe cooperation)与拒绝时序,从而提供有界、可审计且序列敏感的测量。实验在五个代表性的开源权重模型(Llama 3.1, Gemma 2, Mistral v0.3, DeepSeek-R1, Qwen 3)和两个专有模型(gpt-3.5-turbo, gpt-4o-mini)上进行,结果表明序列感知指标揭示了单轮测试遗漏的漏洞,包括在升级攻击下的延迟或缺失拒绝,以及尽管表面拒绝但通过可见的中间推理(intermediate reasoning)导致的泄露。SecReEvalBench标准化了多轮安全评估,并为开发领域和序列感知防御提供了可复现的基础。
论文解读:SecReEvalBench——大语言模型安全韧性的序列感知基准测试
研究背景与动机
随着基于自回归Transformer架构的大语言模型(LLMs)成为终端用户和企业系统的核心组件,其部署过程中的安全性和风险防范日益受到关注。现有的网络安全评估基准(如CYBERSECEVAL系列)虽然在越狱(jailbreaking)、提示注入(prompt injection)和安全策略合规性方面取得了进展,但仍存在显著的覆盖空白。首先,现有套件通常强调单轮或固定领域的探测,缺乏对多轮、序列感知交互的评估;其次,对于恶意意图的强度(maliciousness intensity)及其与拒绝逻辑的交互作用缺乏系统性的量化;最后,对于上下文保留效应(context retention effects)的控制和报告不足。这导致当前的评估可能低估了仅在多轮、意图升级对话中才会出现的漏洞。为了填补这些空白,研究人员开发了SecReEvalBench,旨在通过标准化的场景和度量指标,系统地衡量LLMs在面对提示链攻击时的安全韧性。该研究成果发表于《Neural Networks》。
关键技术方法
本研究采用了多种关键技术构建基准。首先是数据构建,研究人员策划了一个包含七个安全领域和十六种攻击技术的语料库,通过双LLM(ChatGPT-4和Claude)裁决结合人工审核确定了四个级别的恶意程度标签。其次是威胁模型设计,定义了六种攻击序列策略以施加不同的上下文压力。核心在于四个序列感知指标的构建:PARS用于量化每轮不安全的合作率;PARLS增加了逻辑一致性惩罚以区分“安全且有助”与“安全但过度拒绝”;CARS基于首次违规时间(time-to-first-violation)实施惩罚;CARTS则量化首次拒绝的延迟。实验对象涵盖了五种开源模型和两种专有模型,并使用Llama-Guard 3作为外部不安全内容检测器,distilroberta-base-rejection-v1作为拒绝分类器进行统一评判。
研究结果
4.1 实验设置(Experimental setup)
研究人员详细描述了数据集的构建过程,该数据集扩展了先前工作,增加了良性提示和四个恶意级别。模型选择上,涵盖了从高性能的开源模型到主流的闭源API。评判管道采用固定的外部分类器,确保了跨模型比较的一致性。
4.2 结果(Results)
跨攻击序列的鲁棒性(Robustness across attack sequences)
数据显示,Llama 3.1在所有模型中表现最佳,平均得分为0.82,但在恶意引导的连续逆序攻击(successive-reverse, SR)下表现最差(0.71),表明恶意前置会导致高性能模型的安全性显著下降。相比之下,Qwen 3表现出独特的脆弱性,其在顺序降序(sequential descending, SD)下的表现低于顺序升序(sequential ascending, SA),这与大多数模型的表现相反,暗示其对前期高恶意输入的敏感性。
跨安全领域的鲁棒性(Robustness across security domains)
Llama 3.1在所有七个领域均保持高水准(平均0.92),尤其在操作安全领域表现最佳。Gemma 2紧随其后。值得注意的是,Mistral v0.3和DeepSeek-R1在网络/端点安全领域相对较强,而在应用/操作环境中较弱,显示出领域依赖的对齐差距(domain-conditioned alignment gaps)。
讨论与结论
研究人员在讨论中指出,所有四个指标均被限定在[0,1]区间内,其中PARS/PARLS侧重于每轮统计,对顺序不敏感,而CARS/CARTS则是序列感知的,能更有效地惩罚早期失败或延迟拒绝。研究发现,延迟拒绝(delayed refusal)在恶意意图显现后被视为一种安全弱点,因为每一轮非拒绝都可能被用于增量泄露。
结论部分强调,SecReEvalBench通过引入序列感知的攻击设计和细粒度的恶意程度校准,成功揭示了传统单轮评估无法捕捉的漏洞模式。这项工作不仅提供了一个标准化的评估工具,也为未来设计能够抵御复杂社会工程学攻击的领域和序列感知防御机制提供了重要的实证基础。通过公开数据集,该研究推动了LLM安全评估向更贴近现实的多轮交互场景迈进。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号