《AppliedMath》：Bench of Euler: A Benchmark for Evaluating the Problem-Solving Abilities of Large Language Models
编辑推荐：
大语言模型（LLM）近来提升了问题解决能力，能够以日益增高的准确率求解复杂数学问题，这促使需要开发更具挑战性的基准测试。近年来，LLM在多个基准数据集上的表现亦不断提升，从而推动了强调更深层算法推理的评估框架的发展。本研究提出了Bench of Euler，一
大语言模型（LLM）近来提升了问题解决能力，能够以日益增高的准确率求解复杂数学问题，这促使需要开发更具挑战性的基准测试。近年来，LLM在多个基准数据集上的表现亦不断提升，从而推动了强调更深层算法推理的评估框架的发展。本研究提出了Bench of Euler，一个包含954个来自“欧拉计划”的挑战性数学与计算谜题的基准测试，旨在评估复杂的多步数学推理能力。求解这些谜题需要深入的算法推导，因为基于暴力枚举的解法在数学上不可行。该基准按问题难度进一步划分为若干等级，以实现结构化评估。多个现成的开源与专有模型，以及基础模型与推理模型已在Bench of Euler上进行了评估，其中OpenAI表现最佳的gpt-4o模型取得了43.21%的最高准确率。为评估算法效率，模型被要求生成Python代码，并在具备严格超时约束的隔离沙箱中执行。对表现最佳模型的失败分析显示，它们无法有效优化解决方案，导致执行期间出现超出时间限制（TLE）错误，且输出往往不完整或近似。此外，二次评估（second-pass）平均性能提升约2.09%，表明在所采用的解码协议下，第二次随机采样的收益有限。
近年来，大语言模型（LLM）在数学推理与问题求解方面取得了显著进步，已能处理从基础文本生成到国际奥林匹克级别复杂问题的多层次任务。然而，现有基准如GSM8K、MATH和HARDMath在难度范围、主题覆盖和推理深度上存在局限，无法充分反映模型在深层算法推理和高效求解方面的能力。随着模型在多个基准上的性能持续饱和，亟需一种规模适中、难度分布合理且能有效区分模型能力的评估框架。为此，研究人员构建了Bench of Euler——一个基于Project Euler集合、包含954个挑战性数学和计算谜题的基准，覆盖数论（number theory）、组合数学（combinatorics）、几何（geometry）、逻辑（logic）、算术（arithmetic）、代数（algebra）、优化（optimization）、概率（probability）等九个数学领域，并按难度分为四个近等大小的等级带（B1至B4）。该研究发表于《AppliedMath》。
### 1. 引言
随着LLM在多个传统数学基准上逼近饱和，研究人员指出，现有评估体系多集中于本科至研究生水平的有限难度区间，难以检验模型在真实世界复杂问题上的算法推理能力。为填补这一空白，他们系统评估了22个开源与专有、基础与推理增强模型在Bench of Euler上的表现，发现即便最强模型openai/gpt-4o的准确率也未超过50%，且性能随难度提升急剧下降。这一结果表明，当前LLM在复杂多步数学推理与算法优化方面仍存在明显短板。
### 2. 问题定义
研究将问题求解形式化为序列生成过程：给定自然语言问题描述，模型需输出可执行的Python代码，代码由外部评估系统运行后产生数值结果。准确率通过Pass@k指标衡量，要求模型在严格的超时限制（60秒）内生成正确输出，并与标准答案精确匹配。该定义区别于纯代码生成基准（如HumanEval），强调数学建模和算法效率的联合评估。
### 3. 数据集
研究人员从Project Euler存档中通过算法自动抓取954个问题，按难度百分比遵循倒平方律分布划分为四个带：B1（<25%）、B2（25%–50%）、B3（50%–75%）、B4（>75%），各带分别包含239、239、238和238个问题。数据以结构化JSON格式存储，包含问题ID、题目链接、HTML表述、主题标签、求解人数、难度比例和标准答案等字段。预处理步骤包括清除错误HTML标记、标准化数学表达式和简化措辞。问题主题分布中，数论占比最大（约31%），其次为组合数学（约20%）、几何（约10%），其余涵盖逻辑、算术、代数、优化、概率和其他交叉领域。
### 4. 实验
研究采用统一提示词，要求模型生成“优化的Python脚本”以计算精确数值答案。Pass@1使用确定性解码（温度），Pass@2使用温度0.7的随机采样。所有代码在Google Colab标准CPU实例（Intel Xeon @ 2.20GHz，12.7 GB RAM，Python 3.10）上执行，每问题最多60秒，输出与真实答案经精确字符串匹配判定。整个评估耗时约三周，共发起1908次查询（每模型954问题×2次）。
#### 4.1 总体表现
实验结果显示，OpenAI的gpt-4o（基础变体）在Pass@1达到43.21%，Pass@2达到45.57%，为所有模型中最高；紧随其后的推理模型o3-pro分别为42.60%和44.81%，Claude-opus-4-thinking为41.85%和44.29%。按模型类别汇总，推理模型平均在Pass@1高出基础模型5.8个百分点，Pass@2高出6.1个百分点；但这一优势并非普遍成立——最强基础模型gpt-4o在两项指标上均超越了所有五个推理模型。配对McNemar检验确认gpt-4o与o3-pro、claude-opus-4-thinking之间的排名差异具有统计显著性（p<0.05），排除了采样噪声的干扰。
#### 4.2 分带表现
带级分析表明，gpt-4o在B1上表现优异，Pass@1准确率高达95.67%，Pass@2达到96.46%，但所有模型在B4上均无法解答任何问题（0.00%）。为区分高端能力，研究者以B3为参考带，发现grok-3-reasoner表现最佳，Pass@1为15.75%，Pass@2为19.86%，而其他提供商领先模型的Pass@1范围为4.98%–15.75%、Pass@2范围为6.69%–19.86%。此外，提供商相对性能分析显示，在B2带中OpenAI模型显著领先，相比最接近的xAI高出49.61%的加权优势。
#### 4.3 失败模式分析
对模型生成代码的失败类型进行分类，逻辑错误是最常见类型（平均占比最高），其次为超时（TLE），语法错误最少。常见逻辑错误包括搜索空间剪枝不充分、差一（off-by-one）索引错误，以及用近似启发式替代精确枚举。TLE错误的普遍存在表明模型在算法效率优化方面存在系统性不足，无法在严格时间约束下达标。
### 5. 局限性
研究者指出了三项主要局限。其一，数据污染风险：Project Euler自2001年起公开，大量问题及其解法广泛存在于在线资源中，尤其B1问题最易受记忆效应影响，而B3和B4受污染影响较小。其二，统计限制：Pass@2仅基于2次随机采样，方差较大，小差异不宜过度解读，未来应使用更大的k值（如50–100）以提高估计稳定性。其三，失败模式分类粒度较粗，未针对每个问题做人工逐项审计，更细粒度的逻辑错误子分类留待后续工作。
### 6. 结论
本研究提出了Bench of Euler，一个算法化构建、难度分级的基准，包含954个Project Euler问题，划分为四个难度带和九个数学主题。通过22个大规模LLM的系统评估，研究发现：最优模型准确率不足50%，推理增强模型在类平均上略优但个体差异显著，且所有模型在最高难度带上完全失效。该基准能够有效揭示当前LLM在算法推理和代码效率上的关键缺口，可以作为未来模型开发的压力测试工具。后续工作可引入代码执行反馈回路、神经-符号混合求解器、针对算法推理的课程预训练，以及更严格的污染审计和更大规模的采样评估，从而推动下一代超大规模语言模型（VLLM）向更强的计算智能发展。
