ArMATH++:面向阿拉伯语数学应用题求解的数据增强、合成数据生成与模型基准评测

《Egyptian Informatics Journal》:ArMATH++: Enhancing Arabic mathematical word problem solvers through data augmentation and synthetic data generation

【字体: 大 中 小 】 时间:2026年10月23日 来源:Egyptian Informatics Journal 4.2

编辑推荐:

  数学应用题(math word problem, MWP)是一类著名的数学问题,需要自然语言理解(natural language understanding)与数学推理(mathematical reasoning)相结合。MWP求解器(solver)应理解

  
数学应用题(math word problem, MWP)是一类著名的数学问题,需要自然语言理解(natural language understanding)与数学推理(mathematical reasoning)相结合。MWP求解器(solver)应理解问题上下文(context)、识别相关数量(relevant quantities)、推断关系(relationships),并最终推导出求解方程(solving equation)。为开发此类求解器,应构建合适的MWP数据集(dataset)用于训练。尽管不同语言均存在MWP数据集,公开可获得的可靠阿拉伯语MWP数据集较少。针对这一空白,研究人员研究了最新的数据增强策略(data augmentation strategies)及其面向阿拉伯语的适配,并将其应用于最具前景的阿拉伯语MWP数据集ArMATH,以扩展其词汇表(vocabulary)和泛化能力(generalization capabilities)。实验表明,增强训练数据有助于模型更好地求解MWP,使方程准确率(equation accuracy)和答案准确率(answer accuracy)分别提高5.2和5.1,达到73和74.2。研究引入了可靠的阿拉伯语MWP数据集ArMATH++。ArMATH++包含33,918个样本(samples),可用于训练深度神经网络(deep neural networks)和微调(finetuning)大规模语言模型(large language models, LLMs)。
研究背景方面,数学应用题(math word problem, MWP)以自然语言描述现实情境,需要理解问题语境、识别数量、推断关系并推导求解方程;与直接给出数学表达式的题目不同,其求解依赖自然语言理解与数学推理。深度学习在自然语言理解等复杂任务中已有进展,但MWP求解仍具挑战,且大规模标注数据集是训练和评估MWP求解器的重要基础。英语和中文已有MAWPS、SVAMP、math23k等数据集,而阿拉伯语可公开获得的可靠MWP数据集较少,导致阿拉伯语MWP求解器性能难以与英语、中文 counterpart 相比。新建阿拉伯语MWP数据集成本高、耗时,且需要数学与阿拉伯语语言结构专业知识;教育平台和网站上的多数MWP数据集受版权保护,限制公开使用。为此,研究人员采用数据增强与合成数据生成来缓解数据不足。ArMATH为公开阿拉伯语MWP数据集,包含6,000题,其中3,533题来自creative writing,2,467题受math23k启发,包含883个unique templates。研究人员将多种数据增强策略适配至阿拉伯语并应用于ArMATH,同时利用现代生成模型补充合成样本,最终构建ArMATH++,并比较其对求解器性能的影响。研究结论显示,最终数据集新增27,918个样本,总样本33,918,约为原数据集的4.65倍;摘要与结论报告方程准确率和答案准确率分别提高5.2和5.1,达到73和74.2;McNemar检验结果(McNemar’s χ2=24.64,p<0.001)表明提升具有统计显著性。其意义在于提供可靠的阿拉伯语MWP数据集,可用于训练深度神经网络和微调LLMs,并支持阿拉伯语MWP求解研究与相关教育、计算应用。

关键技术方法(不超过250字):以公开ArMATH数据集为基础(6,000题;3,533题creative writing,2,467题受Math23k启发;883个unique templates),将原5折交叉验证改为60%/20%/20%训练/验证/测试划分(3,600/1,200/1,200),仅增强训练集。采用逆问题增强(inverse-problem augmentation)的三步流程(数量选择、问题转换、方程反转)、保持方程增强(equation-preserving augmentation)(回译(back translation)、文本重排(text reordering)、词典/同义词替换、命名实体替换(name-entity replacement))以及少样本提示(few-shot prompting)合成生成(Llama3.1-8B、deepseek-r1-14B、phi4-14B、gemma3-12B、qwen3-14B),并经LLM投票与三名专家人工验证(Fleiss’ kappa=0.86);以归一化graph2tree为基准模型。

研究结果如下。5.4.1 主要结果:通过比较各增强/生成方法在归一化graph2tree上的方程准确率、答案准确率及新增样本数,发现不同方法贡献不均:gemma3-12B新增样本最多(5,672条),原文称Phi LLM取得最佳准确率提升(分别提高2.2和2.2);合并所有生成样本后新增27,918条,总样本达33.9K,摘要与结论报告方程和答案准确率分别提升5.2和5.1至73和74.2;配对预测比较显示106个样本由错误转为正确、45个样本退化,McNemar检验χ2=24.64、p<0.001,说明提升非随机波动。5.4.2 ArMATH++分布分析:通过命名实体识别(named entity recognition, NER)、词云与方程模板统计,发现部分实体比例保持,Persons增加而Equations比例下降;词云多为不同疑问词,未显示对特定问题类型或crafted vocabulary的偏置;操作类别分布与ArMATH大致一致,unique equation templates由883增至2,116,平均方程长度、问题长度和操作数可比,说明合成生成保留原语料结构特征并扩大覆盖。5.4.3 消融研究:通过比较仅训练、仅增强、仅合成生成及合并设置,发现增强新增13,735条并使方程/答案准确率提高2.4/3.2,合成生成新增14,183条并提高3.7/3.6,同时增加1,315个新词;合并设置最高,表明二者互补。模型泛化分析使用seq2seq(sequence-to-sequence, seq2seq)的MathEN、S-Aligned、Transformer Seq2Seq及seq2tree(sequence-to-tree, seq2tree)的GTS(Goal-driven tree-structured, GTS)等架构,所有模型在ArMATH++上均获提升,说明数据集并非仅适配单一架构。5.4.4 合成数据错误分类:通过LLM投票和专家审计发现,LLM投票拒绝率为10.7%,专家评估拒绝率为5.7%;专家将错误分为answer error、equation error、grammar error、context error和irrelevant五类,answer error与context error分别在LLM投票和专家审计中占主导,并存在合法样本被误判及重复样本。5.4.5 错误分析:通过检查测试样本中常见错误方程,发现增强模型在“Hanan为家庭成员之一”类问题上生成更接近正确方程;也会被冗余/无关数值误导;还可生成数学正确但比ground truth更复杂的方程。总体表明增强提升准确率,但模型仍可能依赖无关值且不总生成最简形式。

讨论与结论部分总结:研究人员回顾多种数据增强技术及其阿拉伯语适配,将其应用于ArMATH,扩展27,918个新样本,使原规模扩大4.65倍;实验表明增强训练数据帮助模型更好求解MWP,方程和答案准确率分别提高5.2和5.1至73和74.2;McNemar检验确认提升统计显著,改进预测数明显多于退化数,说明ArMATH++相对ArMATH提供有意义且统计可靠的提升。ArMATH++共33,918个样本,是可用于训练深度神经网络和微调LLMs的可靠阿拉伯语MWP数据集;研究显示增强与合成数据在改善阿拉伯语MWP求解方面具有前景,同时指出更深层推理与泛化的机会及剩余挑战。研究结论部分翻译如下:在本研究中,研究人员回顾了多种数据增强技术及其面向阿拉伯语的适配,并将其应用于阿拉伯语MWP数据集ArMATH,以27,918个新样本扩展该数据集,使其原始规模扩大至4.65倍。实验表明,增强训练数据有助于模型更好地求解MWP,使方程准确率和答案准确率分别提高5.2和5.1,达到73和74.2。此外,McNemar检验的统计分析确认这些提升具有统计显著性(McNemar’s χ2=24.64,p<0.001),表明所提出的数据增强与质量控制流程有效;改进预测数量显著多于退化数量,进一步证实ArMATH++相对于原始ArMATH提供有意义且统计可靠的提升。ArMATH++共包含33,918个样本,是一个可靠的阿拉伯语MWP数据集,可用于训练深度神经网络和微调LLMs。总体而言,本研究表明增强与合成数据在改进阿拉伯语MWP求解方面具有前景,同时指向未来模型在更深层推理与泛化方面的机会。然而,分析显示准确率提升的同时仍存在挑战;未来工作将聚焦解决这些限制,例如偶尔依赖问题中的无关数值以及求解棘手问题,还将通过用棘手问题丰富训练数据集以及试验新模型架构如大规模语言模型微调来进一步增强模型性能。这代表着朝开发成熟的基于LLM的阿拉伯语MWP求解器迈出一步,这类求解器可通过LLM优化技术在资源受限环境中高效运行。综合所有未来方向,研究人员旨在为阿拉伯语研究社区提供可与英语和中文进展相比较的适当资源,从而支持训练深度神经网络和LLMs以构建智能教师助手、学生AI导师和在线教育平台等现实应用。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号