《Array》：Measuring the ceiling: Evidence that easy-to-medium cybersecurity MCQ benchmarks have saturated for current-generation LLMs
编辑推荐：
一项可复现的、基于实时应用程序编程接口（live-API）的证据表明，对于当前世代的模型而言，易到中等难度的网络安全多项选择题（MCQ）——这类题目构成了大多数现有基准题库的主体——已经在该题库上达到了饱和。研究人员评估了八款前沿及准前沿大语言模型（LLM），
一项可复现的、基于实时应用程序编程接口（live-API）的证据表明，对于当前世代的模型而言，易到中等难度的网络安全多项选择题（MCQ）——这类题目构成了大多数现有基准题库的主体——已经在该题库上达到了饱和。研究人员评估了八款前沿及准前沿大语言模型（LLM），使用了涵盖七个安全维度的250道网络安全题目，并且正确答案的位置在整个题库中是均衡分布的，以防止固定位置的猜测行为抬高分数。其中一个模型取得了满分，所有八个模型的得分均达到或超过97.6%；最高分与最低分之间的差距仅为2.4个百分点。由于该题库主要集中在难度等级1至3（共250道题中的200道），因此饱和度的发现仅限于难度谱系中较容易的一端。在扩展的困难题目尾部（难度等级4至5，共50道题），得分范围从90.0%到100%，这表明在最具挑战性的题目上，区分度重新显现。配对的项目级McNemar检验显示，在进行多重比较校正后，这八个模型之间不存在统计学上的显著差异。一项针对答案提取的响应级验证揭示了测量伪影如何轻易地伪装成能力差距：在早期的一次协议运行中，一个严格的第一个字母解析器导致两个推理模式模型的得分分别被低估了8.8分和25.6分；而通过完整的响应捕获进行重新测量——并对每一次解析器分歧进行人工验证——使得所有八个模型的得分都提升至97.6%到100%。剩余的失败案例包括21次生成预算耗尽（占总调用量的1.05%），即推理模式模型将全部输出预算用于内部推理而未发出任何答案，以及一次明确的错误字母选择。研究人员进一步证明，由基于先前世代基准趋势校准的确定性模拟预测出的分数，与当前参考模型的实时分数之间存在39.2分的巨大差距（比观察到的100%天花板低41.2分），而当同样的模拟基于当前数据重新校准时，这一差距缩小至4.4分——这与该差距反映的是校准陈旧性而非结构性模拟错误的观点一致。基于这些发现，研究人员主张：（1）易到中等难度的网络安全MCQ基准应被明确重新定位为底线测试——它们可以标记表现不佳的模型，但无法对胜任的模型进行排名；（2）基准饱和应被视为一种可发表的研究产出，用以追踪评估前沿的移动；（3）如果要在前沿领域维持MCQ的区分度，就必须持续补充困难题目的储备。研究人员发布了完整的评估流程、题库、响应轨迹和评分逻辑作为可复现的研究成果。
研究背景与问题
随着大型语言模型（LLM）在网络安全领域的应用加速，如漏洞分类、威胁情报分析和安全代码审查等，对其能力的可靠评估变得至关重要。当前，网络安全评估实践严重依赖多项选择题（MCQ）基准，例如CyberSecEval、CyberMetric和SecBench。然而，一个核心假设很少被直接检验：随着模型能力的提升，这种评估格式是否仍能有效区分不同模型？本研究旨在实证检验这一假设，其动机源于观察到基准测试存在生命周期——它们会被创建、用于测量、最终饱和并被取代。鉴于此前两年发布的基准报告得分多在40%-70%范围，而当前模型性能飞速提升，研究者亟需确定易到中等难度的MCQ是否已达到其有用极限。
研究内容与结论
研究人员开发了CyberEval框架，对来自六家供应商的八款前沿及准前沿LLM进行了评估。研究使用了一个包含250道网络安全问题的题库，覆盖七个安全维度，并确保正确答案位置均衡分布以防猜测偏差。主要结论是：所有八款模型的得分均在97.6%至100%之间，最高与最低分差仅为2.4个百分点，表明易到中等难度的MCQ已完全饱和，无法再对当前世代的模型进行有效排名。然而，在扩展的困难题目子集（50道四级和五级题目）上，得分范围扩大至90%-100%，显示出区分度仍然存在。此外，研究发现，早期的答案提取方法因未能正确处理推理模式模型的输出，导致了显著的测量伪影，经修正后所有模型得分均大幅提升。研究还揭示了一个模拟校准差距：基于旧数据校准的模拟预测远低于实际测量值，而重新校准后差距显著缩小，证实了差距源于校准数据的时效性而非模拟方法本身的结构缺陷。
重要意义
这项研究的核心贡献在于提供了确凿证据，表明当前最常用的网络安全MCQ评估工具对于排名主流模型已失效。它推动了对MCQ基准角色的根本性反思——应从排名工具转变为“底线测试”，即仅用于筛选明显不合格的模型，而非区分优秀模型。同时，研究强调了持续更新困难题库的必要性，并为评估实践提出了具体建议，如将基准饱和视为可发表的科研产出。这项工作对于指导组织正确解读基准分数、避免基于过时或无效指标做出部署决策具有重要意义。
关键技术方法
- 1.
CyberEval评估框架设计：构建了一个包含250道题目的题库，覆盖漏洞知识、威胁情报、安全编码、事件响应、合规治理、取证分析和安全架构七个维度，并采用平衡正确答案位置的设计（A/B/C/D各约62-63次）。题目难度分为1-5级，其中200道集中在1-3级（易到中等），50道为4-5级（困难）。
- 2.
标准化提示模板与API评估协议：使用统一的提示模板要求模型仅回复单个字母（A-D），并通过两家API服务商（DoubleWordAI和OpenRouter）对所有八款模型进行实时API调用评估，设置温度参数为0.0以确保输出确定性，生成预算统一设为2048个token以避免推理模式模型因预算不足而无法输出答案。
- 3.
稳健的答案提取与验证方法：采用三级回退解析策略提取答案，并使用三种不同的宽松解析器进行交叉验证。在收到审稿人反馈后，研究人员进行了完整的响应捕获重新测量，对每一次解析器分歧进行人工裁定，从而识别并纠正了因严格首字母解析器导致的测量伪影。
- 4.
统计分析方法：使用Wilson 95%置信区间报告点估计值，并对所有28个模型配对进行精确McNemar检验（使用Bonferroni校正），以评估在共享项目方差下观测到的分数差异是否具有统计意义。
- 5.
模拟校准差距分析：通过对比基于旧数据校准的确定性模拟预测与实际测量值，并基于当前数据重新校准模拟，来量化并归因模拟预测误差的来源。
研究结果
5.1 主要结果：MCQ饱和
通过对经过验证的重新测量数据进行计算，结果显示：Claude-Sonnet-4.6模型在250道题中获得满分，所有八款模型得分均在97.6%及以上，最高与最低分差仅为2.4个百分点。所有模型均远超90%的底线测试阈值。在28个模型配对中，仅有Claude-Sonnet-4.6与Qwen-3.5-9B一对在α=0.05水平上名义显著（p=0.031），但在Bonferroni校正水平（α≈0.0018）下无一显著。这表明在该题库和样本量下，无法检测到八款模型间的统计显著差异，排名空间已被完全压缩。
5.2 模拟校准差距
基于先前世代校准的确定性模拟预测得分为58.8%，比参考模型DeepSeek-V4-Flash的实际得分（98.0%）低39.2个百分点，比观测到的100%天花板低41.2个百分点。当基于当前数据重新校准后，同一模拟机制预测得分为93.6%，与参考模型实时得分的差距缩小至4.4个百分点。这一结果与差距源于校准数据陈旧性而非模拟结构缺陷的解释一致。
5.3 测量伪影与验证
早期协议运行中使用严格首字母解析器导致两个推理模式模型（Qwen-3.6-35B和Qwen-3.5-9B）的得分被分别低估了8.8和25.6个百分点。通过完整的响应捕获重新测量，并对每一次解析器分歧进行人工裁定，所有八款模型得分均提升至97.6%-100%，且在2000条响应中零分歧。剩余失败案例包括21次生成预算耗尽（占1.05%），即推理模式模型将所有输出预算用于内部推理而未输出答案，以及一次明确的错误字母选择。
5.4 困难题目尾部的区分度
在40道新增的困难题目（4-5级）上，得分范围从87.5%到100%。难度标注携带显著的实证信号，指定难度等级与观测错误率之间的Spearman相关系数为ρ=0.26（p<0.0001），表明在困难题目上区分度得以恢复。
讨论与结论
讨论部分总结：研究人员基于研究结果提出三项核心论点。第一，易到中等难度的网络安全MCQ基准应被明确重新定义为“底线测试”——它们可以有效标记表现明显不佳的模型（如低于90%阈值的模型值得进一步审查），但对于得分高于此阈值的模型无法提供进一步的区分能力，更不能保证其在真实部署场景中的表现。第二，基准饱和本身应被视为一种有价值且可发表的研究产出，它能够跟踪评估前沿的动态变化，并为后续更难基准的开发提供依据。第三，为了在网络安全LLM的前沿领域维持MCQ的区分能力，必须持续不断地补充和更新困难题目库，因为模型能力的快速提升会迅速使静态评估工具失效。
研究结论翻译：基于这些发现，研究人员主张：（1）易到中等难度的网络安全MCQ基准应被明确重新定位为底线测试——它们可以标记表现不佳的模型，但无法对胜任的模型进行排名；（2）基准饱和应被视为一种可发表的研究产出，用以追踪评估前沿的移动；以及（3）如果要在前沿领域维持MCQ的区分度，就必须持续补充困难题目的储备。
