基于激活引导的推理时大语言模型安全对齐防御方法

《Computation》:Amplifying Latent Safety in Large Language Models via Gated Activation Steering

【字体: 大 中 小 】 时间:2026年10月22日 来源:Computation 2.6

编辑推荐:

   摘要

  

摘要

安全对齐的语言模型通常会识别出请求是有害的,但仍会遵从该请求。我们将这种内部识别与可观察行为之间的差距转化为推理时的防御手段。所提出的激活引导方法使用一个乘法算子,沿有害识别方向放大残差流分量。干预强度与模型自身对请求的评估成正比。当未内部识别到危害时,第二个加法项沿拒绝方向引导激活。从模型激活计算的两个线性探针门控这两个分量。模型权重保持不变,推理既不需要微调,也不需要调用外部模型。外部安全分类器仅在部署前用于为第二个探针提供训练目标。我们评估了来自三个系列的五个模型:Qwen3-1.7B、Qwen3-4B、Qwen3-8B、Gemma-2-9B-it和Mistral-7B-Instruct,分别在BF16和NF4精度下。在SORRY-Bench上成功的攻击减少40%到68%。无需重新调整超参数,该方法在HarmBench上消除了67%到79%的有害响应。MMLU准确率最多下降0.7个百分点,而对词法危险的良性提示的过度拒绝增加4到8个百分点。经过引导的NF4模型比未修改的BF16对应模型产生的有害响应减少36%到62%。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号