S-Eval：面向大型语言模型的自动化安全评估及改进方法

《ACM Transactions on Software Engineering and Methodology》：S-Eval: Towards Automated Safety Evaluation with Enhancement for Large Language Models

提出S-Eval框架，通过专家测试LLM生成220,000测试用例覆盖102风险维度，安全批判LLM提供定量可解释评估，宪法防御实现非侵入式约束，高效有效自适应且已在阿里部署验证效果。

　　

摘要

大型语言模型（LLMs）凭借其革命性和新兴的能力，彻底改变了自然语言处理领域。然而，最近的证据表明，LLMs可能会生成违反社会规范的有害内容，这引发了关于部署这些先进模型所带来的安全风险的重大担忧。因此，在部署LLMs之前，对其进行严格和全面的安全评估至关重要。尽管有这样的需求，但由于LLM生成领域的广泛性，目前仍然缺乏一个统一和标准化的风险分类体系来系统地反映LLM内容的安全性，缺乏自动化评估技术来高效地探索潜在风险，以及缺乏及时缓解风险的防御机制。

为填补这一空白，我们提出了S-Eval，一个基于LLM的新型自动化安全评估框架。S-Eval包含三个关键组成部分：一个专家测试LLM、一个新型的安全评估LLM以及宪法防御机制。专家测试LLM负责根据所提出的风险管理框架（包括8个风险维度及102个子风险）自动生成测试用例；安全评估LLM能够提供定量且可解释的安全评估结果，从而提高对LLM风险的认识；宪法防御机制则能够以非侵入性的方式实施差异化的安全约束。与以往的研究相比，S-Eval在几个方面具有显著优势：(i) 高效性——我们构建了一个多维度、开放式的基准测试，包含220,000个测试用例，涵盖了102个风险，并通过该基准测试对29个具有影响力的LLMs进行了安全评估；整个过程完全自动化，无需人工干预。(ii) 有效性——广泛的验证表明，S-Eval能够更全面地评估LLM的风险，并提供可解释的深度见解；我们的宪法防御机制可以有效缓解这些风险。(iii) 适应性——S-Eval能够灵活配置，以适应LLMs的快速进化以及随之而来的新安全威胁、测试生成方法、安全评估方法和防御机制的变化。我们还进一步研究了超参数、语言和推理对模型安全性的影响，这为未来的研究指明了方向。S-Eval已在我们的行业合作伙伴阿里巴巴集团得到应用，用于对服务于数百万用户的多个LLMs进行自动化安全评估，证明了其在实际场景中的有效性。