摘要
尽管大语言模型（LLM）在逻辑任务中表现出较高的成功率，但其成功究竟源于真正的推理能力还是对统计模式的记忆，目前仍有争议。本研究提出了一种新颖的、多维度的、基于扰动和会话的行为测试框架，用于评估大语言模型的算术推理能力。为降低数据污染的潜在影响，研究者对来自 DROP、GSM8k 和 MATH 数据集的文本进行了结构化操作。研究对七个不同的模型（DeepSeek-r1、DeepSeek-v2、Gemma、Llama 3.1、Llama 3.2、Mistral、Qwen）进行了全面分析，在 90 道独立的基础题目上，分别施加 2 种不同的格式约束和 4 种不同的呈现场景，共分析了 5040 条响应结果。该评估结合了三项定量指标和六项定性指标，重点考察会话层面的脆弱性。结果显示，在测试情境中，当呈现条件、格式或约束条件发生变化时，模型均出现了性能下降和逻辑断裂的现象。此外，具有思考机制的模型往往无法在时间限制内完成具有挑战性的任务，而非从其推理过程中获益。最终，这些发现表明，仅凭基准测试的准确率可能无法反映模型具备稳健的推理能力，因此亟需建立更深入、更细致的评估协议，重点关注认知一致性和错误成因分析，而非仅仅追求准确率指标。
