《Sage Open》：Evaluation of Artificial Intelligence Performance in the Mathematical Problem-Solving Process
编辑推荐：
本研究考察了广泛使用的聊天机器人能否支持中学数学学习，通过分析其对土耳其语八年级代数问题的回应。研究采用定性描述性案例研究（qualitative descriptive case study）设计，研究人员向两个AI模型（ChatGPT-4和Gemini）提
本研究考察了广泛使用的聊天机器人能否支持中学数学学习，通过分析其对土耳其语八年级代数问题的回应。研究采用定性描述性案例研究（qualitative descriptive case study）设计，研究人员向两个AI模型（ChatGPT-4和Gemini）提出了十道开放式题目（不含图形或符号），使用标准化提示词（prompt），并依据专家界定的四个步骤（问题理解、策略选择、执行与验证）对解答进行评估。研究人员开发了一套分析性量规（analytic rubric），并由五位数学教育专家进行内容效度验证；人工评分信度较高（Cohen's κ = 0.81）。为纳入学习者视角，十名八年级学生评判了这些解释的清晰度和有用性。所有题目、提示词及分析均以土耳其语进行。研究结果显示，ChatGPT得分83/100，Gemini得分71.5/100，且两个模型在认知要求较高的非常规题目上均表现不佳。研究讨论了教学应用启示，并概述了局限性（样本量小、仅涉及单一学段、提示词调优极少）以及开展更广泛、多模型、多学段评估的途径。
论文解读
一、研究背景与问题提出
在21世纪教育背景下，社会需求的变化与信息通信技术的快速发展深刻影响着教与学的全过程。人工智能（Artificial Intelligence, AI）作为教育技术中快速演进的组成部分，正被越来越多的利益相关者视为能够增强学习过程、支持知识创造并促进人类发展的变革性力量，同时也引发了重要的教育学与伦理学考量。数学教育领域尤其如此——问题解决能力被广泛视为学生在整个教育过程中应发展的最核心能力之一，在布卢姆教育目标分类学（Bloom's taxonomy）中处于分析、评价和创造等高阶思维层面，对认知发展、学业成就和应对现实挑战的能力具有基础性作用。
尽管已有大量研究分别探讨了AI与问题解决在数学教育中的重要性，但对ChatGPT和Gemini在中学校级代数问题上的具体表现研究仍相对有限。现有研究主要聚焦于语言学习、写作辅助和通识教育等领域，对AI生成的数学解答采用基于步骤的分析框架（涵盖问题理解、策略选择、执行与验证）进行系统评估的研究尤为稀缺，尤其是在非英语教学情境中。此外，AI工具虽能提供实时反馈和个性化支持，但也存在生成不准确内容、解释缺乏透明度等隐患，这在强调推理透明性和解题步骤清晰性的数学教育中尤为关键。因此，系统评估主流AI聊天机器人在代数问题解决中的表现，对于指导其教学整合具有重要的理论与实践价值。
二、研究设计与核心发现
本研究采用定性描述性案例研究（qualitative descriptive case study）方法，以土耳其八年级代数问题为测试载体，对ChatGPT-4和Gemini两个AI模型的问题解决表现进行了系统比较。研究选取了十道开放式代数题，题目均以纯文本形式呈现以避免模型误读，并依据Posamentier和Krulik（2008）的问题解决策略框架进行分类。研究人员采用标准化提示词“解决以下问题并逐步解释你的推理过程”向两个模型逐一提问，未使用任何额外的脚手架或提示词调优。所有题目、提示词和交互均以土耳其语进行，以匹配目标学习者群体并避免翻译失真。
研究核心发现如下：ChatGPT总得分83/100，显著高于Gemini的71.5/100。在分步评估中，ChatGPT在大多数题目上表现更优，而Gemini在部分题目上未能给出有效解答。两个模型在程序性代数问题（如线性方程、表达式求值）上表现良好，但在需要逻辑推理、抽象思维和多步规划的非常规题目（如第1、4、10题）上均存在明显困难。在替代解题方法的多样性方面，ChatGPT共提出38种替代方案，Gemini提出34种，两者在标准代数问题上均能生成多样化策略，但ChatGPT在缺乏程序模板的非常规情境中展现出更强的灵活性。值得注意的是，Gemini在部分题目中倾向于采用编程导向的技术性方法（如伪代码、迭代搜索），这可能对中学阶段学生构成认知障碍。在策略运用方面，两个模型与专家识别的策略类别存在部分重叠，但深度和多样性均不及专家水平。学生反馈显示，多数学生认可AI解答的有用性和清晰度，但也有学生反映部分解答过于复杂、解释不足或数值计算过多而缺乏说明。
三、主要技术方法
研究人员采用的主要技术方法包括：其一，基于Posamentier和Krulik（2008）问题解决策略框架开发分析性量规（analytic rubric），将解题过程分解为问题理解、策略选择、执行和验证四个步骤，由五位数学教育专家进行内容效度验证，两位独立评分者的Cohen's κ系数为0.81，表明评分信度较高；其二，采用定性内容分析法（content analysis）对AI生成的解答进行系统编码和主题分类，编码由两位研究者独立完成并交叉核对；其三，通过不同用户账户重新提交相同问题以检验模型回应的一致性；其四，采用目的性抽样（purposive sampling）选取十名八年级学生（六女四男，来自一所公立中学，数学成绩水平混合）对AI解答的清晰度和有用性进行学习者视角评估。
四、研究结果
4.1 ChatGPT和Gemini的问题解决表现
通过量规评分，ChatGPT获得83分，Gemini获得71.5分，表明ChatGPT在数学问题解决方面整体优于Gemini。两个模型在需要逻辑推理、抽象思维和策略规划的非常规题目（第1、4、10题）上均表现不佳，而在程序性代数问题上表现稳定。此外，ChatGPT对自身解答评分为78分，Gemini自评为73分。
4.2 替代解题方法的提供
ChatGPT共提出38种替代解题方法，Gemini提出34种。在第1题中，ChatGPT提出了创造性的数值配对策略，而Gemini未提供替代方案；在第9题中情况相反，Gemini提出了六种替代方法（包括计算和数论方法），多于ChatGPT的四种。Gemini在部分题目中倾向于使用编程导向的方法，而两个模型在第6题和第10题中采用了相似的常规数学推理策略（如系统案例分析、组合数学、树状图）。
4.3 问题解决策略的运用
两个模型在多数题目中采用了与专家相似的主题策略类别，如分析与逻辑推理、启发式与探索性思维等，但策略深度和多样性均不及专家。在需要抽象思维或表征灵活性的题目上，两个模型难以在不同推理模式间切换；而在程序性、结构明确的题目上，模型与专家分类的吻合度更高。
4.4 学生视角的反馈
十名八年级学生的反馈显示，多数学生对AI解答的有用性和质量持积极态度，特别认可解题步骤的准确性和语言的清晰度。部分学生表示AI解答帮助他们更快地解决问题并提供了多种方法选择。然而，也有学生反映部分解答过于复杂、解释不足或数值计算过多而缺乏说明，提示AI生成的解答虽可能正确，但并不总是适合每位学习者的认知水平。
五、讨论与结论
研究讨论指出，ChatGPT在数学问题解决任务中优于Gemini，这一差异可能反映了两者在自然语言处理架构和训练目标上的底层区别。然而，两个模型在认知要求较高的题目上均表现出局限性，表明大语言模型（Large Language Models, LLMs）在非常规数学任务上仍有明显短板。研究强调，AI聊天机器人在教育中的价值不仅取决于答案的正确性，还取决于教学适宜性——一个能生成正确答案的工具，如果推理过程不透明或与学习者的认知发展水平不匹配，仍可能在教学上失效。学生反馈中“过于复杂”与“解释不足”并存的现象，说明困惑的来源不仅在于AI内容本身，更在于其与学习者认知准备度的匹配程度。
研究结论指出，ChatGPT和Gemini等聊天机器人有潜力增强学生的问题解决能力并使数学课堂更加有效，但必须为学生提供适当的使用指导，并验证AI生成回应的准确性。教师在这一过程中扮演着不可替代的角色——他们需要帮助学生培养批判性思维，引导他们验证AI输出的中间步骤，并通过代入检验等方式将AI回应与课堂所授的正式代数原则进行对比。研究建议，教育机构和政策制定者应建立明确的AI使用指南和伦理框架，涵盖数据隐私、学术诚信、偏见预防等方面；教师培训项目应加强AI素养教育，包括提示词工程、错误检测、伦理意识和教学适应性调整。最终，AI应作为认知辅助工具而非权威来源被纳入数学教学，教师监督和教学脚手架是确保其有效整合的关键保障。
