超越排行榜：大型语言模型评估、基准测试及方法论的科学综述

《IEEE Access》：Beyond the Leaderboard: A Survey of the Science of Evaluation, Benchmarking, and Methodologies for Large Language Models

　　

摘要：

人工智能领域正面临着评估危机。尽管各种基准测试层出不穷，人们也在公共排行榜上不断追求最先进的成绩，但人们对这些指标真正所衡量内容的信心却在逐渐减弱。大型语言模型（LLMs）如今在已建立的基准测试中始终优于人类表现。然而，它们的实际应用效果常常受到脆弱性、缺乏常识以及容易生成有害或事实错误内容的影响而大打折扣。本文认为，这种脱节源于将评估视为一种竞争性的事后考虑，而非一门严谨的计量科学。我们认为，当前以静态基准测试和单一关注准确性为特征的评估范式，根本无法充分评估现代LLMs的复杂多维能力。本调查旨在通过四个主要贡献为LLM评估科学提供全面的参考。首先，我们对评估进行了历史分析，追溯了其从传统的词汇重叠指标发展到当今庞大、全面的框架的过程。其次，我们引入了一种系统的评估方法分类法，将其分为五种关键范式：静态基准测试、动态和自适应评估、交互式和主体性评估、人类参与评估以及基于模型的评估（LLM作为裁判）。第三，我们对该领域存在的问题进行了批判性分析，重点关注数据污染的生存威胁、排行榜痴迷带来的不良激励，以及基准测试表现与真实能力之间的普遍不匹配。最后，我们提出了一个新的概念框架——基准测试生命周期（Benchmark Lifecycle），以专业化评估工具的设计、验证、部署、监控和退役过程。通过将评估视为一门科学学科，我们希望超越排行榜的局限，构建一个更加稳健、可靠的评估体系...

显示更多